Что нового в Python 3.2¶What’s New In Python 3.2

email¶

Удобство использования пакета email в Python 3 было в значительной степени восстановлено благодаря обширным усилиям Р. Дэвида Мюррея. Проблема заключалась в том, что электронные письма обычно читаются и хранятся в виде bytes, а не str текста, и они могут содержать несколько кодировок в одном письме. Поэтому пакет email пришлось расширить для разбора и генерации сообщений в формате bytes.

• Новые функции message_from_bytes() и message_from_binary_file(), а также новые классы BytesFeedParser и BytesParser позволяют разбирать двоичные данные сообщений в объекты модели.

• При вводе байтов в модель get_payload() по умолчанию будет декодировать тело сообщения с Content-Transfer-Encoding равным 8bit, используя кодировку, указанную в MIME-заголовках, и вернёт результирующую строку.

• При вводе байтов в модель Generator будет преобразовывать тела сообщений с Content-Transfer-Encoding равным 8bit, чтобы вместо него использовалось 7bit Content-Transfer-Encoding.

  Заголовки с незакодированными не-ASCII байтами считаются закодированными по RFC 2047 с использованием набора символов unknown-8bit.

• Новый класс BytesGenerator создаёт вывод в виде байтов, сохраняя любые неизменённые не-ASCII данные, присутствовавшие во входных данных, использованных для построения модели, включая тела сообщений с Content-Transfer-Encoding равным 8bit.

• Класс smtplib SMTP теперь принимает строку байтов в качестве аргумента msg для метода sendmail(), а новый метод send_message() принимает объект Message и может опционально получать адреса from_addr и to_addrs непосредственно из объекта.

(Предложено и реализовано Р. Дэвидом Мюрреем, issue 4661 и issue 10321.)

elementtree¶

Пакет xml.etree.ElementTree и его аналог xml.etree.cElementTree были обновлены до версии 1.3.

Добавлено несколько новых полезных функций и методов:

• xml.etree.ElementTree.fromstringlist() – строит XML-документ из последовательности фрагментов
• xml.etree.ElementTree.register_namespace() для регистрации глобального префикса пространства имён
• xml.etree.ElementTree.tostringlist() для строкового представления, включающего все подсписки
• xml.etree.ElementTree.Element.extend() для добавления последовательности из нуля или более элементов
• xml.etree.ElementTree.Element.iterfind() ищет элемент и дочерние элементы
• xml.etree.ElementTree.Element.itertext() создаёт итератор текста по элементу и его дочерним элементам
• xml.etree.ElementTree.TreeBuilder.end() закрывает текущий элемент
• xml.etree.ElementTree.TreeBuilder.doctype() обрабатывает объявление doctype

Два метода устарели:

• xml.etree.ElementTree.getchildren() используйте list(elem) вместо этого.
• xml.etree.ElementTree.getiterator() используйте Element.iter вместо этого.

Подробнее об обновлении см. в статье Introducing ElementTree на сайте Фредрика Лунда.

(Предложено Florent Xicluna и Fredrik Lundh, issue 6472.)

functools¶

• Модуль functools включает новый декоратор для кэширования вызовов функций. functools.lru_cache() позволяет сохранять результаты повторных запросов к внешнему ресурсу, если ожидается, что они будут одинаковыми.

  Например, добавление декоратора кеширования к функции запроса к базе данных может сократить количество обращений к базе данных для популярных поисковых запросов:

  >>> import functools
  >>> @functools.lru_cache(maxsize=300)
  >>> def get_phone_number(name):
          c = conn.cursor()
          c.execute('SELECT phonenumber FROM phonelist WHERE name=?', (name,))
          return c.fetchone()[0]
  

  >>> for name in user_requests:
          get_phone_number(name)        # cached lookup
  

  Чтобы помочь с выбором эффективного размера кеша, обёрнутая функция оснащается средствами отслеживания статистики кеша:

  >>> get_phone_number.cache_info()
  CacheInfo(hits=4805, misses=980, maxsize=300, currsize=300)
  

  Если таблица phonelist обновляется, устаревшее содержимое кеша можно очистить с помощью:

  >>> get_phone_number.cache_clear()
  

  (Предложено Raymond Hettinger с использованием идей дизайна от Jim Baker, Miki Tebeka и Nick Coghlan; см. recipe 498245, recipe 577479, issue 10586 и issue 10593.)

• Декоратор functools.wraps() теперь добавляет атрибут __wrapped__, указывающий на исходную вызываемую функцию. Это позволяет интроспектировать обёрнутые функции. Он также копирует __annotations__, если она определена. И теперь он корректно пропускает отсутствующие атрибуты, такие как __doc__, которые могут быть не определены для обёрнутой вызываемой функции.

  В приведённом выше примере кеш можно удалить, восстановив исходную функцию:

  >>> get_phone_number = get_phone_number.__wrapped__    # некэшированная функция
  

  (Авторы: Nick Coghlan и Terrence Cole; issue 9567, issue 3445 и issue 8814.)

• Чтобы упростить написание классов с методами полного сравнения, новый декоратор functools.total_ordering() использует существующие методы равенства и неравенства для заполнения остальных методов.

  Например, указание __eq__ и __lt__ позволит total_ordering() добавить __le__, __gt__ и __ge__:

  @total_ordering
  class Student:
      def __eq__(self, other):
          return ((self.lastname.lower(), self.firstname.lower()) ==
                  (other.lastname.lower(), other.firstname.lower()))
      def __lt__(self, other):
          return ((self.lastname.lower(), self.firstname.lower()) <
                  (other.lastname.lower(), other.firstname.lower()))
  

  С помощью декоратора total_ordering остальные методы сравнения заполняются автоматически.

  (Автор: Raymond Hettinger.)

• Чтобы облегчить перенос программ с Python 2, функция functools.cmp_to_key() преобразует старую функцию сравнения в современную функцию ключа:

  >>> # порядок сортировки с учётом локали
  >>> sorted(iterable, key=cmp_to_key(locale.strcoll))
  

  Примеры сортировки и краткое руководство по сортировке см. в руководстве Sorting HowTo.

  (Автор: Raymond Hettinger.)

itertools¶

• Модуль itertools имеет новую функцию accumulate(), созданную по образцу оператора scan из APL и функции accumulate из Numpy:

  >>> from itertools import accumulate
  >>> list(accumulate([8, 2, 50]))
  [8, 10, 60]
  

  >>> prob_dist = [0.1, 0.4, 0.2, 0.3]
  >>> list(accumulate(prob_dist))      # кумулятивное распределение вероятностей
  [0.1, 0.5, 0.7, 1.0]
  

  Пример использования accumulate() см. в примерах для модуля random.

  (Автор: Raymond Hettinger с учётом предложений по дизайну от Mark Dickinson.)

collections¶

• Класс collections.Counter теперь имеет две формы вычитания на месте: существующий оператор -= для насыщающего вычитания и новый метод subtract() для обычного вычитания. Первый подходит для мультимножеств, которые имеют только положительные счётчики, а второй больше подходит для случаев, допускающих отрицательные счётчики:

  >>> tally = Counter(dogs=5, cat=3)
  >>> tally -= Counter(dogs=2, cats=8)    # насыщающее вычитание
  >>> tally
  Counter({'dogs': 3})
  

  >>> tally = Counter(dogs=5, cats=3)
  >>> tally.subtract(dogs=2, cats=8)      # обычное вычитание
  >>> tally
  Counter({'dogs': 3, 'cats': -5})
  

  (Автор: Raymond Hettinger.)

• Класс collections.OrderedDict имеет новый метод move_to_end(), который принимает существующий ключ и перемещает его в первую или последнюю позицию упорядоченной последовательности.

  По умолчанию элемент перемещается в последнюю позицию. Это эквивалентно обновлению записи с помощью od[k] = od.pop(k).

  Быстрая операция перемещения в конец полезна для изменения порядка следования записей. Например, упорядоченный словарь можно использовать для отслеживания порядка доступа, упорядочивая записи от самых старых к самым недавно запрошенным.

  >>> d = OrderedDict.fromkeys(['a', 'b', 'X', 'd', 'e'])
  >>> list(d)
  ['a', 'b', 'X', 'd', 'e']
  >>> d.move_to_end('X')
  >>> list(d)
  ['a', 'b', 'd', 'e', 'X']
  

  (Автор: Raymond Hettinger.)

• Класс collections.deque получил два новых метода: count() и reverse(), что делает их более взаимозаменяемыми с объектами list:

  >>> d = deque('simsalabim')
  >>> d.count('s')
  2
  >>> d.reverse()
  >>> d
  deque(['m', 'i', 'b', 'a', 'l', 'a', 's', 'm', 'i', 's'])
  

  (Автор: Raymond Hettinger.)

threading¶

Модуль threading имеет новый класс синхронизации Barrier, который заставляет несколько потоков ждать, пока все они не достигнут общей точки барьера. Барьеры полезны для того, чтобы задача с несколькими предусловиями не запускалась, пока все предшествующие задачи не будут завершены.

Барьеры могут работать с произвольным числом потоков. Это обобщение механизма рандеву, который определён только для двух потоков.

Реализованные как двухфазный циклический барьер, объекты Barrier подходят для использования в циклах. Отдельные фазы заполнения и опустошения гарантируют, что все потоки будут освобождены (опустошены) до того, как любой из них сможет вернуться и войти в барьер снова. Барьер полностью сбрасывается после каждого цикла.

Пример использования барьеров:

from threading import Barrier, Thread

def get_votes(site):
    ballots = conduct_election(site)
    all_polls_closed.wait()        # не подсчитывать, пока все голосования не закрыты
    totals = summarize(ballots)
    publish(site, totals)

all_polls_closed = Barrier(len(sites))
for site in sites:
    Thread(target=get_votes, args=(site,)).start()

В этом примере барьер обеспечивает правило, что голоса не могут быть подсчитаны на любом избирательном участке, пока все участки не закроются. Обратите внимание, что решение с барьером похоже на решение с threading.Thread.join(), но потоки остаются живыми и продолжают работать (подводить итоги голосования) после пересечения точки барьера.

Если какая-либо из предшествующих задач может зависнуть или быть задержана, барьер можно создать с необязательным параметром timeout. Тогда, если время ожидания истечёт до того, как все предшествующие задачи достигнут точки барьера, все ожидающие потоки освобождаются и возбуждается исключение BrokenBarrierError:

def get_votes(site):
    ballots = conduct_election(site)
    try:
        all_polls_closed.wait(timeout = midnight - time.now())
    except BrokenBarrierError:
        lockbox = seal_ballots(ballots)
        queue.put(lockbox)
    else:
        totals = summarize(ballots)
        publish(site, totals)

В этом примере барьер обеспечивает более надежное правило. Если некоторые избирательные участки не заканчивают работу до полуночи, барьер срабатывает по тайм-ауту, и бюллетени опечатываются и помещаются в очередь для последующей обработки.

Смотрите Barrier Synchronization Patterns для получения дополнительных примеров использования барьеров в параллельных вычислениях. Кроме того, простое и подробное объяснение барьеров приведено в The Little Book of Semaphores, раздел 3.6.

(Предложено Kristján Valur Jónsson с проверкой API от Jeffrey Yasskin в issue 8777.)

datetime and time¶

• Модуль datetime теперь имеет новый тип timezone, который реализует интерфейс tzinfo, возвращая фиксированное смещение UTC и название часового пояса. Это упрощает создание объектов datetime с учётом часового пояса:

  >>> from datetime import datetime, timezone
  
  >>> datetime.now(timezone.utc)
  datetime.datetime(2010, 12, 8, 21, 4, 2, 923754, tzinfo=datetime.timezone.utc)
  
  >>> datetime.strptime("01/01/2000 12:00 +0000", "%m/%d/%Y %H:%M %z")
  datetime.datetime(2000, 1, 1, 12, 0, tzinfo=datetime.timezone.utc)
  

• Кроме того, объекты timedelta теперь можно умножать на float и делить на float и int. И объекты timedelta теперь можно делить друг на друга.

• Метод datetime.date.strftime() больше не ограничен годами после 1900. Новый поддерживаемый диапазон лет – от 1000 до 9999 включительно.

• Когда в кортеже времени используется год из двух цифр, его интерпретация определяется time.accept2dyear. По умолчанию True, что означает, что для двузначного года столетие подбирается по правилам POSIX, управляющим форматом %y strptime.

  Начиная с Py3.2, использование эвристики подбора столетия будет вызывать DeprecationWarning. Вместо этого рекомендуется установить time.accept2dyear в False, чтобы можно было использовать большие диапазоны дат без угадывания:

  >>> import time, warnings
  >>> warnings.resetwarnings()      # удалить фильтры предупреждений по умолчанию
  
  >>> time.accept2dyear = True      # угадать, означает ли 11 число 11 или 2011
  >>> time.asctime((11, 1, 1, 12, 34, 56, 4, 1, 0))
  Warning (from warnings module):
    ...
  DeprecationWarning: Century info guessed for a 2-digit year.
  'Fri Jan  1 12:34:56 2011'
  
  >>> time.accept2dyear = False     # использовать полный диапазон допустимых дат
  >>> time.asctime((11, 1, 1, 12, 34, 56, 4, 1, 0))
  'Fri Jan  1 12:34:56 11'
  

  Несколько функций теперь имеют значительно расширенные диапазоны дат. Когда time.accept2dyear имеет значение false, функция time.asctime() будет принимать любой год, помещающийся в C int, в то время как функции time.mktime() и time.strftime() будут принимать полный диапазон, поддерживаемый соответствующими функциями операционной системы.

(Предложено Александром Белопольским и Виктором Штиннером в выпуске 1289118, выпуске 5094, выпуске 6641, выпуске 2706, выпуске 1777412, выпуске 8013, и выпуске 10827.)

math¶

Модуль math был обновлён и теперь содержит шесть новых функций, вдохновлённых стандартом C99.

Функция isfinite() предоставляет надёжный и быстрый способ обнаружения особых значений. Она возвращает True для обычных чисел и False для Nan или Infinity:

>>> [isfinite(x) for x in (123, 4.56, float('Nan'), float('Inf'))]
[True, True, False, False]

Функция expm1() вычисляет e**x-1 для малых значений x без потери точности, которая обычно сопровождает вычитание почти равных величин:

>>> expm1(0.013671875)   # более точный способ вычисления e**x-1 для малых x
0.013765762467652909

Функция erf() вычисляет интеграл вероятности или функцию ошибок Гаусса. Дополнительная функция ошибок, erfc(), равна 1 - erf(x):

>>> erf(1.0/sqrt(2.0))   # доля нормального распределения в пределах одного стандартного отклонения
0.682689492137086
>>> erfc(1.0/sqrt(2.0))  # доля нормального распределения за пределами одного стандартного отклонения
0.31731050786291404
>>> erf(1.0/sqrt(2.0)) + erfc(1.0/sqrt(2.0))
1.0

Функция gamma() является непрерывным расширением факториала. Подробнее см. http://en.wikipedia.org/wiki/Gamma_function. Поскольку функция связана с факториалами, она быстро растёт даже при малых значениях x, поэтому существует также функция lgamma() для вычисления натурального логарифма гамма-функции:

>>> gamma(7.0)           # шесть факториал
720.0
>>> lgamma(801.0)        # логарифм факториала 800
4551.950730698041

(Автор: Mark Dickinson.)

abc ¶

Модуль abc теперь поддерживает abstractclassmethod() и abstractstaticmethod().

Эти инструменты позволяют определить абстрактный базовый класс, который требует реализации определённого classmethod() или staticmethod():

class Temperature(metaclass=abc.ABCMeta):
    @abc.abstractclassmethod
    def from_fahrenheit(cls, t):
        ...
    @abc.abstractclassmethod
    def from_celsius(cls, t):
        ...

(Патч предоставлен Дэниелом Урбаном; выпуск 5867.)

io¶

У io.BytesIO появился новый метод getbuffer(), который предоставляет функциональность, аналогичную memoryview(). Он создаёт редактируемое представление данных без создания копии. Произвольный доступ к буферу и поддержка срезов хорошо подходят для редактирования на месте:

>>> REC_LEN, LOC_START, LOC_LEN = 34, 7, 11

>>> def change_location(buffer, record_number, location):
        start = record_number * REC_LEN + LOC_START
        buffer[start: start+LOC_LEN] = location

>>> import io

>>> byte_stream = io.BytesIO(
    b'G3805  storeroom  Main chassis    '
    b'X7899  shipping   Reserve cog     '
    b'L6988  receiving  Primary sprocket'
)
>>> buffer = byte_stream.getbuffer()
>>> change_location(buffer, 1, b'warehouse  ')
>>> change_location(buffer, 0, b'showroom   ')
>>> print(byte_stream.getvalue())
b'G3805  showroom   Main chassis    '
b'X7899  warehouse  Reserve cog     '
b'L6988  receiving  Primary sprocket'

(Предложено Антуаном Питру в выпуске 5506.)

reprlib¶

При написании метода __repr__() для пользовательского контейнера легко забыть обработать случай, когда элемент ссылается обратно на сам контейнер. Встроенные объекты Python, такие как list и set, обрабатывают самоссылки, отображая ”...” в рекурсивной части строки представления.

Чтобы упростить написание таких методов __repr__(), в модуле reprlib появился новый декоратор recursive_repr() для обнаружения рекурсивных вызовов __repr__() и подстановки вместо них строки-заполнителя:

>>> class MyList(list):
        @recursive_repr()
        def __repr__(self):
            return '<' + '|'.join(map(repr, self)) + '>'

>>> m = MyList('abc')
>>> m.append(m)
>>> m.append('x')
>>> print(m)
<'a'|'b'|'c'|...|'x'>

(Предложено Рэймондом Хеттингером в выпуске 9826 и выпуске 9840.)

logging¶

В дополнение к описанной выше конфигурации на основе словаря пакет logging содержит множество других улучшений.

Документация по logging была дополнена базовым руководством, продвинутым руководством и поваренной книгой с рецептами логирования. Эти документы – самый быстрый способ изучить логирование.

Функция настройки logging.basicConfig() получила аргумент style для поддержки трёх различных типов форматирования строк. По умолчанию используется “%” для традиционного %-форматирования, может быть установлено “{” для нового стиля str.format(), или “$” для форматирования в стиле оболочки, предоставляемого string.Template. Следующие три конфигурации эквивалентны:

>>> from logging import basicConfig
>>> basicConfig(style='%', format="%(name)s -> %(levelname)s: %(message)s")
>>> basicConfig(style='{', format="{name} -> {levelname} {message}")
>>> basicConfig(style='$', format="$name -> $levelname: $message")

Если до возникновения события логирования не задана конфигурация, теперь используется конфигурация по умолчанию с StreamHandler, направленным в sys.stderr, для событий уровня WARNING и выше. Ранее событие, возникшее до настройки конфигурации, либо вызывало исключение, либо молча отбрасывалось в зависимости от значения logging.raiseExceptions. Новый обработчик по умолчанию хранится в logging.lastResort.

Использование фильтров было упрощено. Вместо создания объекта Filter предикатом может быть любой вызываемый объект Python, возвращающий True или False.

Было сделано множество других улучшений, повышающих гибкость и упрощающих конфигурацию. Полный список изменений в Python 3.2 смотрите в документации модуля.

csv¶

Модуль csv теперь поддерживает новый диалект, unix_dialect, который применяет кавычки для всех полей и использует традиционный стиль Unix с '\n' в качестве разделителя строк. Зарегистрированное имя диалекта – unix.

У csv.DictWriter появился новый метод writeheader() для записи начальной строки с названиями полей:

>>> import csv, sys
>>> w = csv.DictWriter(sys.stdout, ['name', 'dept'], dialect='unix')
>>> w.writeheader()
"name","dept"
>>> w.writerows([
        {'name': 'tom', 'dept': 'accounting'},
        {'name': 'susan', 'dept': 'Salesl'}])
"tom","accounting"
"susan","sales"

(Новый диалект предложен Джеем Талботом в выпуске 5975, а новый метод предложен Эдом Абрахамом в выпуске 1537721.)

contextlib¶

Появился новый и немного умопомрачительный инструмент ContextDecorator, который полезен для создания менеджера контекста, выполняющего двойную роль декоратора функции.

Для удобства эта новая функциональность используется contextmanager(), поэтому не требуется дополнительных усилий для поддержки обеих ролей.

Основная идея в том, что и менеджеры контекста, и декораторы функций могут использоваться для обёрток до и после действия. Менеджеры контекста оборачивают группу инструкций с помощью оператора with, а декораторы функций оборачивают группу инструкций, заключённых в функцию. Поэтому иногда возникает необходимость написать обёртку до или после действия, которую можно использовать в любой роли.

Например, иногда полезно оборачивать функции или группы инструкций логгером, который может отслеживать время входа и время выхода. Вместо того чтобы писать и декоратор функции, и менеджер контекста для этой задачи, contextmanager() предоставляет обе возможности в одном определении:

from contextlib import contextmanager
import logging

logging.basicConfig(level=logging.INFO)

@contextmanager
def track_entry_and_exit(name):
    logging.info('Entering: {}'.format(name))
    yield
    logging.info('Exiting: {}'.format(name))

Ранее это можно было использовать только как менеджер контекста:

with track_entry_and_exit('widget loader'):
    print('Some time consuming activity goes here')
    load_widget()

Теперь его можно использовать и как декоратор:

@track_entry_and_exit('widget loader')
def activity():
    print('Some time consuming activity goes here')
    load_widget()

Попытка выполнять две роли одновременно накладывает некоторые ограничения на технику. Менеджеры контекста обычно имеют возможность возвращать аргумент, используемый оператором with, но для декораторов функций такой аналогии нет.

В приведённом выше примере нет чистого способа для менеджера контекста track_entry_and_exit вернуть экземпляр логгера для использования в теле вложенных операторов.

(Предложено Майклом Фордом в выпуске 9110.)

decimal and fractions¶

Марк Дикинсон разработал элегантную и эффективную схему, гарантирующую, что разные числовые типы данных будут иметь одинаковое хэш-значение всякий раз, когда их фактические значения равны (выпуск 8188):

assert hash(Fraction(3, 2)) == hash(1.5) == \
       hash(Decimal("1.5")) == hash(complex(1.5, 0))

Некоторые детали хэширования раскрываются через новый атрибут sys.hash_info, который описывает разрядность хэш-значения, простой модуль, хэш-значения для бесконечности и nan, а также множитель, используемый для мнимой части числа:

>>> sys.hash_info
sys.hash_info(width=64, modulus=2305843009213693951, inf=314159, nan=0, imag=1000003)

Раннее решение ограничить совместимость различных числовых типов было смягчено. По-прежнему не поддерживается (и не рекомендуется) неявное смешивание в арифметических выражениях, таких как Decimal('1.1') + float('1.1'), поскольку последнее теряет информацию в процессе построения двоичного числа с плавающей точкой. Однако, поскольку существующее значение с плавающей точкой может быть без потерь преобразовано в десятичное или рациональное представление, имеет смысл добавить их в конструктор и поддерживать сравнения смешанных типов.

• Конструктор decimal.Decimal теперь принимает объекты float напрямую, поэтому больше нет необходимости использовать метод from_float() (выпуск 8257).
• Сравнения смешанных типов теперь полностью поддерживаются, так что объекты Decimal можно напрямую сравнивать с float и fractions.Fraction (выпуск 2531 и выпуск 8188).

Аналогичные изменения были внесены в fractions.Fraction, поэтому методы from_float() и from_decimal() больше не нужны (issue 8294):

>>> Decimal(1.1)
Decimal('1.100000000000000088817841970012523233890533447265625')
>>> Fraction(1.1)
Fraction(2476979795053773, 2251799813685248)

Ещё одно полезное изменение для модуля decimal заключается в том, что атрибут Context.clamp теперь стал общедоступным. Это полезно для создания контекстов, соответствующих форматам обмена десятичными числами, определённым в IEEE 754 (см. issue 8540).

(Авторы: Mark Dickinson и Raymond Hettinger.)

ftp¶

Класс ftplib.FTP теперь поддерживает протокол контекстного менеджера, чтобы безусловно перехватывать исключения socket.error и закрывать FTP соединение по завершении:

>>> from ftplib import FTP
>>> with FTP("ftp1.at.proftpd.org") as ftp:
        ftp.login()
        ftp.dir()

'230 Anonymous login ok, restrictions apply.'
dr-xr-xr-x   9 ftp      ftp           154 May  6 10:43 .
dr-xr-xr-x   9 ftp      ftp           154 May  6 10:43 ..
dr-xr-xr-x   5 ftp      ftp          4096 May  6 10:43 CentOS
dr-xr-xr-x   3 ftp      ftp            18 Jul 10  2008 Fedora

Other file-like objects such as mmap.mmap and fileinput.input() also grew auto-closing context managers:

with fileinput.input(files=('log1.txt', 'log2.txt')) as f:
    for line in f:
        process(line)

(Авторы: Tarek Ziadé и Giampaolo Rodolà (issue 4972), а также Georg Brandl (issue 8046, issue 1286).)

Класс FTP_TLS теперь принимает параметр context, который является объектом ssl.SSLContext, позволяющим объединять параметры конфигурации SSL, сертификаты и закрытые ключи в единую (потенциально долгоживущую) структуру.

(Автор: Giampaolo Rodolà; issue 8806.)

popen¶

Функции os.popen() и subprocess.Popen() теперь поддерживают инструкции with для автоматического закрытия файловых дескрипторов.

(Авторы: Antoine Pitrou и Brian Curtin в issue 7461 и issue 10554.)

select¶

Модуль select теперь предоставляет новый постоянный атрибут PIPE_BUF, который указывает минимальное количество байтов, гарантированно не вызывающих блокировку, когда select.select() сообщает, что канал готов к записи.

>>> import select
>>> select.PIPE_BUF
512

(Доступно в Unix-системах. Патч от Sébastien Sablé в issue 9862)

gzip и zipfile¶gzip and zipfile

gzip.GzipFile теперь реализует io.BufferedIOBase абстрактный базовый класс (за исключением truncate()). Он также имеет метод peek() и поддерживает непозиционируемые и дополненные нулями файловые объекты.

Модуль gzip также обзавёлся функциями compress() и decompress() для более удобного сжатия и распаковки в памяти. Имейте в виду, что текст должен быть закодирован как bytes перед сжатием и распаковкой:

>>> s = 'Three shall be the number thou shalt count, '
>>> s += 'and the number of the counting shall be three'
>>> b = s.encode()                        # преобразовать в utf-8
>>> len(b)
89
>>> c = gzip.compress(b)
>>> len(c)
77
>>> gzip.decompress(c).decode()[:42]      # распаковать и преобразовать в текст
'Three shall be the number thou shalt count,'

(Авторы: Anand B. Pillai (issue 3488); а также Antoine Pitrou, Nir Aides и Brian Curtin (issue 9962, issue 1675951, issue 7471, issue 2846).)

Кроме того, класс zipfile.ZipExtFile был переработан для представления файлов, хранящихся внутри архива. Новая реализация значительно быстрее и может быть обёрнута в объект io.BufferedReader для дополнительного ускорения. Она также решает проблему, при которой перемежающиеся вызовы read и readline давали неверные результаты.

(Патч предоставлен Nir Aides в issue 7610.)

tarfile¶

Класс TarFile теперь можно использовать как менеджер контекста. Кроме того, его метод add() получил новую опцию filter, которая управляет тем, какие файлы добавляются в архив, и позволяет редактировать метаданные файлов.

Новая опция filter заменяет старый, менее гибкий параметр exclude, который теперь считается устаревшим. Если указан, необязательный параметр filter должен быть именованным аргументом. Предоставленная пользователем функция фильтрации принимает объект TarInfo и возвращает обновлённый объект TarInfo; если файл нужно исключить, функция может вернуть None:

>>> import tarfile, glob

>>> def myfilter(tarinfo):
       if tarinfo.isfile():             # only save real files
            tarinfo.uname = 'monty'     # redact the user name
            return tarinfo

>>> with tarfile.open(name='myarchive.tar.gz', mode='w:gz') as tf:
        for filename in glob.glob('*.txt'):
            tf.add(filename, filter=myfilter)
        tf.list()
-rw-r--r-- monty/501        902 2011-01-26 17:59:11 annotations.txt
-rw-r--r-- monty/501        123 2011-01-26 17:59:11 general_questions.txt
-rw-r--r-- monty/501       3514 2011-01-26 17:59:11 prion.txt
-rw-r--r-- monty/501        124 2011-01-26 17:59:11 py_todo.txt
-rw-r--r-- monty/501       1399 2011-01-26 17:59:11 semaphore_notes.txt

(Предложено Tarek Ziadé, реализовано Lars Gustäbel в issue 6856.)

hashlib¶

Модуль hashlib имеет два новых постоянных атрибута, перечисляющих алгоритмы хеширования, которые гарантированно присутствуют во всех реализациях, и те, что доступны в текущей реализации:

>>> import hashlib

>>> hashlib.algorithms_guaranteed
{'sha1', 'sha224', 'sha384', 'sha256', 'sha512', 'md5'}

>>> hashlib.algorithms_available
{'md2', 'SHA256', 'SHA512', 'dsaWithSHA', 'mdc2', 'SHA224', 'MD4', 'sha256',
'sha512', 'ripemd160', 'SHA1', 'MDC2', 'SHA', 'SHA384', 'MD2',
'ecdsa-with-SHA1','md4', 'md5', 'sha1', 'DSA-SHA', 'sha224',
'dsaEncryption', 'DSA', 'RIPEMD160', 'sha', 'MD5', 'sha384'}

(Предложено Carl Chenet в issue 7418.)

ast¶

Модуль ast содержит замечательный универсальный инструмент для безопасного вычисления строк выражений с использованием синтаксиса литералов Python. Функция ast.literal_eval() служит безопасной альтернативой встроенной функции eval(), которой легко злоупотребить. Python 3.2 добавляет литералы bytes и set в список поддерживаемых типов: строки, байты, числа, кортежи, списки, словари, множества, булевы значения и None.

>>> from ast import literal_eval

>>> request = "{'req': 3, 'func': 'pow', 'args': (2, 0.5)}"
>>> literal_eval(request)
{'args': (2, 0.5), 'req': 3, 'func': 'pow'}

>>> request = "os.system('do something harmful')"
>>> literal_eval(request)
Traceback (most recent call last):
  ...
ValueError: malformed node or string: <_ast.Call object at 0x101739a10>

(Реализовано Бенджамином Петерсоном и Георгом Брандлем.)

os¶

В разных операционных системах используются различные кодировки для имён файлов и переменных окружения. Модуль os предоставляет две новые функции, fsencode() и fsdecode(), для кодирования и декодирования имён файлов:

>>> filename = 'Sehenswürdigkeiten'
>>> os.fsencode(filename)
b'Sehensw\xc3\xbcrdigkeiten'

Некоторые операционные системы разрешают прямой доступ к закодированным байтам в окружении. В таком случае константа os.supports_bytes_environ будет равна true.

For direct access to encoded environment variables (if available), use the new os.getenvb() function or use os.environb which is a bytes version of os.environ.

(Автор: Victor Stinner.)

shutil¶

Функция shutil.copytree() получила две новые опции:

• ignore_dangling_symlinks: когда symlinks=False, функция копирует файл, на который указывает символическая ссылка, а не саму ссылку. Эта опция подавляет ошибку, возникающую, если файл не существует.
• copy_function: вызываемый объект, который будет использоваться для копирования файлов. По умолчанию используется shutil.copy2().

(Автор: Tarek Ziadé.)

Кроме того, модуль shutil теперь поддерживает операции архивирования для файлов ZIP, несжатых файлов TAR, а также файлов TAR, сжатых с помощью gzip и bzip2. Также есть функции для регистрации дополнительных форматов архивов (например, файлов TAR, сжатых с помощью xz, или пользовательских форматов).

Основными функциями являются make_archive() и unpack_archive(). По умолчанию обе работают с текущим каталогом (который можно задать с помощью os.chdir()) и со всеми подкаталогами. Имя файла архива должно быть указано с полным путём. Операция архивирования не является разрушительной (исходные файлы остаются без изменений).

>>> import shutil, pprint

>>> os.chdir('mydata')                               # перейти в каталог исходного кода
>>> f = shutil.make_archive('/var/backup/mydata',
                            'zip')                   # archive the current directory
>>> f                                                # показать имя архива
'/var/backup/mydata.zip'
>>> os.chdir('tmp')                                  # перейти к распаковке
>>> shutil.unpack_archive('/var/backup/mydata.zip')  # восстановить данные

>>> pprint.pprint(shutil.get_archive_formats())      # отобразить известные форматы
[('bztar', "bzip2'ed tar-file"),
 ('gztar', "gzip'ed tar-file"),
 ('tar', 'uncompressed tar file'),
 ('zip', 'ZIP file')]

>>> shutil.register_archive_format(                  # зарегистрировать новый формат архива
        name = 'xz',
        function = xz.compress,                      # callable archiving function
        extra_args = [('level', 8)],                 # arguments to the function
        description = 'xz compression'
)

(Автор: Tarek Ziadé.)

sqlite3¶

Модуль sqlite3 был обновлён до версии pysqlite 2.6.0. У него появились две новые возможности.

• Атрибут sqlite3.Connection.in_transit равен true, если есть активная транзакция с незафиксированными изменениями.
• Методы sqlite3.Connection.enable_load_extension() и sqlite3.Connection.load_extension() позволяют загружать расширения SQLite из файлов ”.so”. Одно из известных расширений – это расширение полнотекстового поиска, распространяемое вместе с SQLite.

(Авторы: R. David Murray и Shashwat Anand; issue 8845.)

html¶

Был добавлен новый модуль html с единственной функцией escape(), которая используется для экранирования зарезервированных символов в HTML-разметке:

>>> import html
>>> html.escape('x > 2 && x < 7')
'x &gt; 2 &amp;&amp; x &lt; 7'

socket¶

В модуле socket появилось два улучшения.

• У объектов сокетов теперь есть метод detach(), который переводит сокет в закрытое состояние без фактического закрытия нижележащего файлового дескриптора. Последний затем можно использовать повторно для других целей. (Добавлено Antoine Pitrou; issue 8524.)
• socket.create_connection() теперь поддерживает протокол контекстного менеджера, чтобы безусловно перехватывать исключения socket.error и закрывать сокет по завершении. (Автор: Giampaolo Rodolà; issue 9794.)

ssl¶

Модуль ssl добавил ряд возможностей для удовлетворения общих требований безопасных (шифрованных, аутентифицированных) интернет-соединений:

• Новый класс SSLContext служит контейнером для постоянных данных SSL, таких как настройки протокола, сертификаты, закрытые ключи и различные другие параметры. Он включает метод wrap_socket() для создания SSL-сокета из SSL-контекста.
• Новая функция ssl.match_hostname() поддерживает проверку подлинности сервера для протоколов более высокого уровня, реализуя правила HTTPS (из RFC 2818), которые также подходят для других протоколов.
• Функция-конструктор ssl.wrap_socket() теперь принимает аргумент ciphers. Строка ciphers перечисляет разрешённые алгоритмы шифрования в формате, описанном в документации OpenSSL.
• При сборке с новыми версиями OpenSSL модуль ssl теперь поддерживает расширение Server Name Indication протокола TLS, позволяющее использовать несколько «виртуальных хостов» с разными сертификатами на одном IP-порту. Это расширение поддерживается только в режиме клиента и активируется передачей аргумента server_hostname в ssl.SSLContext.wrap_socket().
• В модуль ssl были добавлены различные параметры, такие как OP_NO_SSLv2, который отключает небезопасный и устаревший протокол SSLv2.
• Расширение теперь загружает все шифры и алгоритмы дайджестов OpenSSL. Если некоторые SSL-сертификаты не удаётся проверить, они сообщаются как ошибка «неизвестный алгоритм».
• Версию используемой OpenSSL теперь можно получить через атрибуты модуля ssl.OPENSSL_VERSION (строка), ssl.OPENSSL_VERSION_INFO (кортеж из 5 элементов) и ssl.OPENSSL_VERSION_NUMBER (целое число).

(Автор: Antoine Pitrou; issue 8850, issue 1589, issue 8322, issue 5639, issue 4870, issue 8484 и issue 8321.)

nntp¶

Модуль nntplib получил переработанную реализацию с улучшенной семантикой байтов и текста, а также более практичными API. Эти улучшения нарушают совместимость с версией nntplib в Python 3.1, которая сама по себе была частично неработоспособной.

Также была добавлена поддержка безопасных соединений как через неявный (с помощью nntplib.NNTP_SSL), так и явный (с помощью nntplib.NNTP.starttls()) TLS.

(Авторы: Antoine Pitrou (issue 9360) и Andrew Vant (issue 1926).)

сертификаты¶certificates

http.client.HTTPSConnection, urllib.request.HTTPSHandler и urllib.request.urlopen() теперь принимают необязательные аргументы для проверки сертификата сервера относительно набора центров сертификации, как рекомендуется при публичном использовании HTTPS.

(Добавлено Antoine Pitrou, issue 9003.)

imaplib¶

Поддержка явного TLS для стандартных IMAP4-соединений была добавлена через новый метод imaplib.IMAP4.starttls.

(Авторы: Lorenzo M. Catucci и Antoine Pitrou, issue 4471.)

http.client¶

В модуле http.client был сделан ряд небольших улучшений API. Устаревшие простые ответы HTTP 0.9 больше не поддерживаются, а параметр strict объявлен устаревшим во всех классах.

Классы HTTPConnection и HTTPSConnection теперь имеют параметр source_address, представляющий собой кортеж (host, port), указывающий, откуда устанавливается HTTP-соединение.

Добавлена поддержка проверки сертификатов и виртуальных хостов HTTPS в HTTPSConnection.

Метод request() у объектов соединения принимал необязательный аргумент body, чтобы можно было использовать файловый объект для передачи содержимого запроса. Теперь же аргумент body также принимает итерируемый объект, при условии, что он содержит явный заголовок Content-Length. Этот расширенный интерфейс стал гораздо более гибким.

Для установки HTTPS-соединения через прокси-сервер появился новый метод set_tunnel(), который задаёт хост и порт для туннелирования HTTP Connect.

Для соответствия поведению http.server библиотека HTTP-клиента теперь также кодирует заголовки в кодировке ISO-8859-1 (Latin-1). Для входящих заголовков она уже это делала, так что теперь поведение согласовано для входящего и исходящего трафика. (См. работу Armin Ronacher в issue 10980.)

unittest¶

Модуль unittest получил ряд улучшений: поддержка обнаружения тестов для пакетов, более простое экспериментирование в интерактивной оболочке, новые методы тестовых случаев, улучшенные диагностические сообщения при сбоях тестов и более понятные имена методов.

• Вызов из командной строки python -m unittest теперь может принимать пути к файлам вместо имён модулей для запуска конкретных тестов (issue 10620). Новая система обнаружения тестов может находить тесты внутри пакетов, находя любой тест, импортируемый из корневой директории. Корневая директория может быть задана опцией -t, шаблон для сопоставления файлов – с помощью -p, а директория для начала поиска – с помощью -s:

  $ python -m unittest discover -s my_proj_dir -p _test.py

  (Предложено Michael Foord.)

• Экспериментировать в интерактивной оболочке стало проще, поскольку класс unittest.case.TestCase теперь можно создавать без аргументов:

  >>> TestCase().assertEqual(pow(2, 3), 8)
  

  (Предложено Michael Foord.)

• В модуле unittest появились два новых метода: assertWarns() и assertWarnsRegex(), которые проверяют, что заданный тип предупреждения вызывается тестируемым кодом:

  with self.assertWarns(DeprecationWarning):
      legacy_function('XYZ')
  

  (Автор: Antoine Pitrou, issue 9754.)

  Ещё один новый метод, assertCountEqual(), используется для сравнения двух итерируемых объектов, чтобы определить, равны ли количества их элементов (то есть одинаковые ли элементы присутствуют с одинаковым числом вхождений, независимо от порядка):

  def test_anagram(self):
      self.assertCountEqual('algorithm', 'logarithm')
  

  (Автор: Raymond Hettinger.)

• Одной из ключевых особенностей модуля unittest является стремление выдавать информативную диагностику при сбое теста. Когда это возможно, сбой записывается вместе с diff (разницей) вывода. Это особенно полезно при анализе логов неудачных тестовых запусков. Однако, поскольку diff'ы могут быть объёмными, появился новый атрибут maxDiff, который задаёт максимальную длину отображаемых diff'ов.

• Кроме того, имена методов в модуле были приведены в порядок.

  Например, assertRegex() – это новое имя для assertRegexpMatches(), которое было названо неправильно, потому что тест использует re.search(), а не re.match(). Другие методы, использующие регулярные выражения, теперь названы с краткой формой «Regex» вместо «Regexp» – это соответствует именам в других реализациях unittest, совпадает со старым названием модуля re в Python и имеет однозначное верблюжье написание.

  (Предложено Raymond Hettinger; реализовано Ezio Melotti.)

• Чтобы повысить согласованность, некоторые давно существующие псевдонимы методов объявляются устаревшими; вместо них следует использовать предпочтительные имена:

  Старое имя	Предпочтительное имя
  assert_()	assertTrue()
  assertEquals()	assertEqual()
  assertNotEquals()	assertNotEqual()
  assertAlmostEquals()	assertAlmostEqual()
  assertNotAlmostEquals()	assertNotAlmostEqual()

  Аналогично, методы TestCase.fail*, устаревшие в Python 3.1, как ожидается, будут удалены в Python 3.3. См. также раздел Deprecated aliases в документации unittest.

  (Автор: Ezio Melotti; issue 9424.)

• Метод assertDictContainsSubset() был объявлен устаревшим, поскольку он был реализован с ошибкой: аргументы передавались в неправильном порядке. Это создавало трудноуловимые иллюзии, когда тесты вида TestCase().assertDictContainsSubset({'a':1, 'b':2}, {'a':1}) завершались неудачей.

  (Автор: Raymond Hettinger.)

random¶

Целочисленные методы модуля random теперь лучше обеспечивают равномерное распределение. Ранее они вычисляли выборки с помощью int(n*random()), что давало небольшое смещение, когда n не являлось степенью двойки. Теперь несколько выборок делаются из диапазона до следующей степени двойки, и выборка сохраняется только в том случае, если она попадает в диапазон 0 <= x < n. Затронутые функции и методы: randrange(), randint(), choice(), shuffle() и sample().

(Автор: Raymond Hettinger; issue 9025.)

poplib¶

Класс POP3_SSL теперь принимает параметр context, который является объектом ssl.SSLContext, позволяющим объединять параметры конфигурации SSL, сертификаты и закрытые ключи в одну (потенциально долгоживущую) структуру.

(Автор: Giampaolo Rodolà; issue 8807.)

asyncore¶

asyncore.dispatcher теперь предоставляет метод handle_accepted(), возвращающий пару (sock, addr). Этот метод вызывается при фактическом установлении соединения с новым удалённым узлом. Он предназначен для замены устаревшего метода handle_accept() и избавляет пользователя от необходимости напрямую вызывать accept().

(Автор: Giampaolo Rodolà; issue 6706.)

tempfile¶

Модуль tempfile получил новый контекстный менеджер TemporaryDirectory, обеспечивающий простое и детерминированное удаление временных каталогов:

with tempfile.TemporaryDirectory() as tmpdirname:
    print('created temporary dir:', tmpdirname)

(Авторы: Neil Schemenauer и Nick Coghlan; issue 5178.)

inspect¶

• Модуль inspect содержит новую функцию getgeneratorstate() для простого определения текущего состояния генератора-итератора:

  >>> from inspect import getgeneratorstate
  >>> def gen():
          yield 'demo'
  >>> g = gen()
  >>> getgeneratorstate(g)
  'GEN_CREATED'
  >>> next(g)
  'demo'
  >>> getgeneratorstate(g)
  'GEN_SUSPENDED'
  >>> next(g, None)
  >>> getgeneratorstate(g)
  'GEN_CLOSED'
  

  (Авторы: Rodolpho Eckhardt и Nick Coghlan, issue 10220.)

• Для поддержки поиска без возможности активации динамического атрибута модуль inspect содержит новую функцию getattr_static(). В отличие от hasattr(), это настоящий поиск только для чтения, который гарантированно не изменяет состояние во время поиска:

  >>> class A:
          @property
          def f(self):
              print('Running')
              return 10
  
  >>> a = A()
  >>> getattr(a, 'f')
  Running
  10
  >>> inspect.getattr_static(a, 'f')
  <property object at 0x1022bd788>
  

(Предложено Michael Foord.)

pydoc¶

Модуль pydoc теперь предоставляет значительно улучшенный интерфейс веб-сервера, а также новый параметр командной строки -b для автоматического открытия окна браузера для отображения этого сервера:

$ pydoc3.2 -b

(Автор: Ron Adam; issue 2001.)

dis¶

Модуль dis получил две новые функции для инспекции кода: code_info() и show_code(). Обе предоставляют подробную информацию об объекте кода для переданной функции, метода, строки исходного кода или объекта кода. Первая возвращает строку, вторая выводит её:

>>> import dis, random
>>> dis.show_code(random.choice)
Name:              choice
Filename:          /Library/Frameworks/Python.framework/Versions/3.2/lib/python3.2/random.py
Argument count:    2
Kw-only arguments: 0
Number of locals:  3
Stack size:        11
Flags:             OPTIMIZED, NEWLOCALS, NOFREE
Constants:
   0: 'Choose a random element from a non-empty sequence.'
   1: 'Cannot choose from an empty sequence'
Names:
   0: _randbelow
   1: len
   2: ValueError
   3: IndexError
Variable names:
   0: self
   1: seq
   2: i

Кроме того, функция dis() теперь принимает строковые аргументы, так что распространённую идиому dis(compile(s, '', 'eval')) можно сократить до dis(s):

>>> dis('3*x+1 if x%2==1 else x//2')
  1           0 LOAD_NAME                0 (x)
              3 LOAD_CONST               0 (2)
              6 BINARY_MODULO
              7 LOAD_CONST               1 (1)
             10 COMPARE_OP               2 (==)
             13 POP_JUMP_IF_FALSE       28
             16 LOAD_CONST               2 (3)
             19 LOAD_NAME                0 (x)
             22 BINARY_MULTIPLY
             23 LOAD_CONST               1 (1)
             26 BINARY_ADD
             27 RETURN_VALUE
        >>   28 LOAD_NAME                0 (x)
             31 LOAD_CONST               0 (2)
             34 BINARY_FLOOR_DIVIDE
             35 RETURN_VALUE

В совокупности эти улучшения упрощают изучение того, как реализован CPython, и позволяют самому увидеть, что делает синтаксис языка «под капотом».

(Автор: Nick Coghlan, issue 9147.)

dbm¶

Все модули баз данных теперь поддерживают методы get() и setdefault().

(Предложено Ray Allen в issue 9523.)

ctypes¶

Новый тип ctypes.c_ssize_t представляет тип данных C ssize_t.

site¶

Модуль site содержит три новые функции для вывода подробной информации об установке Python.

• getsitepackages() выводит список всех глобальных каталогов site-packages.
• getuserbase() сообщает базовый каталог пользователя, в котором могут храниться данные.
• getusersitepackages() показывает путь к каталогу site-packages для текущего пользователя.

>>> import site
>>> site.getsitepackages()
['/Library/Frameworks/Python.framework/Versions/3.2/lib/python3.2/site-packages',
 '/Library/Frameworks/Python.framework/Versions/3.2/lib/site-python',
 '/Library/Python/3.2/site-packages']
>>> site.getuserbase()
'/Users/raymondhettinger/Library/Python/3.2'
>>> site.getusersitepackages()
'/Users/raymondhettinger/Library/Python/3.2/lib/python/site-packages'

Удобно, что часть функциональности site доступна напрямую из командной строки:

$ python -m site --user-base
/Users/raymondhettinger/.local
$ python -m site --user-site
/Users/raymondhettinger/.local/lib/python3.2/site-packages

(Автор: Tarek Ziadé, issue 6693.)

sysconfig¶

Новый модуль sysconfig упрощает поиск путей установки и переменных конфигурации, которые различаются между платформами и установками.

Модуль предоставляет простые функции доступа для получения информации о платформе и версии:

• get_platform() возвращает такие значения, как linux-i586 или macosx-10.6-ppc.
• get_python_version() возвращает строку версии Python, например «3.2».

Он также предоставляет доступ к путям и переменным, соответствующим одной из семи именованных схем, используемых distutils. К ним относятся posix_prefix, posix_home, posix_user, nt, nt_user, os2, os2_home:

• get_paths() создаёт словарь, содержащий пути установки для текущей схемы установки.
• get_config_vars() возвращает словарь переменных, зависящих от платформы.

Также имеется удобный интерфейс командной строки:

C:\Python32>python -m sysconfig
Platform: "win32"
Python version: "3.2"
Current installation scheme: "nt"

Paths:
        data = "C:\Python32"
        include = "C:\Python32\Include"
        platinclude = "C:\Python32\Include"
        platlib = "C:\Python32\Lib\site-packages"
        platstdlib = "C:\Python32\Lib"
        purelib = "C:\Python32\Lib\site-packages"
        scripts = "C:\Python32\Scripts"
        stdlib = "C:\Python32\Lib"

Variables:
        BINDIR = "C:\Python32"
        BINLIBDEST = "C:\Python32\Lib"
        EXE = ".exe"
        INCLUDEPY = "C:\Python32\Include"
        LIBDEST = "C:\Python32\Lib"
        SO = ".pyd"
        VERSION = "32"
        abiflags = ""
        base = "C:\Python32"
        exec_prefix = "C:\Python32"
        platbase = "C:\Python32"
        prefix = "C:\Python32"
        projectbase = "C:\Python32"
        py_version = "3.2"
        py_version_nodot = "32"
        py_version_short = "3.2"
        srcdir = "C:\Python32"
        userbase = "C:\Documents and Settings\Raymond\Application Data\Python"

(Перенесено из Distutils Тареком Зиаде.)

pdb¶

Модуль отладчика pdb получил ряд улучшений удобства использования:

• pdb.py теперь имеет опцию -c, которая выполняет команды, заданные в файле сценария .pdbrc.
• Файл сценария .pdbrc может содержать команды continue и next, которые продолжают отладку.
• Конструктор класса Pdb теперь принимает аргумент nosigint.
• Новые команды: l(list), ll(long list) и source для просмотра исходного кода.
• Новые команды: display и undisplay для отображения или скрытия значения выражения, если оно изменилось.
• Новая команда: interact для запуска интерактивного интерпретатора, содержащего глобальные и локальные имена, найденные в текущей области видимости.
• Точки останова можно удалять по номеру.

(Добавлено Георгом Брандлем, Антонио Куни и Ильёй Сандлером.)

configparser¶

Модуль configparser был изменён для улучшения удобства использования и предсказуемости парсера по умолчанию и поддерживаемого им синтаксиса INI. Старый класс ConfigParser был удалён в пользу SafeConfigParser, который, в свою очередь, был переименован в ConfigParser. Поддержка строчных комментариев теперь отключена по умолчанию, а дублирование разделов или опций не допускается в одном источнике конфигурации.

Парсеры конфигураций получили новый API на основе протокола отображения:

>>> parser = ConfigParser()
>>> parser.read_string("""
[DEFAULT]
location = upper left
visible = yes
editable = no
color = blue

[main]
title = Main Menu
color = green

[options]
title = Options
""")
>>> parser['main']['color']
'green'
>>> parser['main']['editable']
'no'
>>> section = parser['options']
>>> section['title']
'Options'
>>> section['title'] = 'Options (editable: %(editable)s)'
>>> section['title']
'Options (editable: no)'

Новый API реализован поверх классического API, поэтому пользовательские подклассы парсеров должны иметь возможность использовать его без изменений.

Структура INI-файла, принимаемая парсерами конфигураций, теперь может быть настроена. Пользователи могут задавать альтернативные разделители опция/значение и префиксы комментариев, изменять имя секции DEFAULT или переключать синтаксис интерполяции.

Реализована поддержка подключаемой интерполяции, включая дополнительный обработчик интерполяции ExtendedInterpolation:

>>> parser = ConfigParser(interpolation=ExtendedInterpolation())
>>> parser.read_dict({'buildout': {'directory': '/home/ambv/zope9'},
                      'custom': {'prefix': '/usr/local'}})
>>> parser.read_string("""
    [buildout]
    parts =
      zope9
      instance
    find-links =
      ${buildout:directory}/downloads/dist

    [zope9]
    recipe = plone.recipe.zope9install
    location = /opt/zope

    [instance]
    recipe = plone.recipe.zope9instance
    zope9-location = ${zope9:location}
    zope-conf = ${custom:prefix}/etc/zope.conf
    """)
>>> parser['buildout']['find-links']
'\n/home/ambv/zope9/downloads/dist'
>>> parser['instance']['zope-conf']
'/usr/local/etc/zope.conf'
>>> instance = parser['instance']
>>> instance['zope-conf']
'/usr/local/etc/zope.conf'
>>> instance['zope9-location']
'/opt/zope'

Был также введён ряд небольших возможностей, таких как поддержка указания кодировки в операциях чтения, указание значений по умолчанию для get-функций или чтение напрямую из словарей и строк.

(Все изменения предоставлены Łukasz Langa.)

urllib.parse¶

Для модуля urllib.parse был внесён ряд улучшений удобства использования.

Функция urlparse() теперь поддерживает адреса IPv6, как описано в RFC 2732:

>>> import urllib.parse
>>> urllib.parse.urlparse('http://[dead:beef:cafe:5417:affe:8FA3:deaf:feed]/foo/')
ParseResult(scheme='http',
            netloc='[dead:beef:cafe:5417:affe:8FA3:deaf:feed]',
            path='/foo/',
            params='',
            query='',
            fragment='')

Функция urldefrag() теперь возвращает именованный кортеж:

>>> r = urllib.parse.urldefrag('http://python.org/about/#target')
>>> r
DefragResult(url='http://python.org/about/', fragment='target')
>>> r[0]
'http://python.org/about/'
>>> r.fragment
'target'

Кроме того, функция urlencode() теперь стала гораздо более гибкой: она принимает аргумент query как строку, так и тип bytes. Если это строка, то параметры safe, encoding и error передаются в quote_plus() для кодирования:

>>> urllib.parse.urlencode([
         ('type', 'telenovela'),
         ('name', '¿Dónde Está Elisa?')],
         encoding='latin-1')
'type=telenovela&name=%BFD%F3nde+Est%E1+Elisa%3F'

Как подробно описано в Parsing ASCII Encoded Bytes, все функции urllib.parse теперь принимают на вход ASCII-закодированные байтовые строки, при условии, что они не смешиваются с обычными строками. Если в качестве параметров заданы ASCII-закодированные байтовые строки, возвращаемые типы также будут ASCII-закодированными байтовыми строками:

>>> urllib.parse.urlparse(b'http://www.python.org:80/about/')
ParseResultBytes(scheme=b'http', netloc=b'www.python.org:80',
                 path=b'/about/', params=b'', query=b'', fragment=b'')

(Работа Ника Коглана, Дэна Мана и Сентила Кумарана в issue 2987, issue 5468 и issue 9873.)

mailbox¶

Благодаря согласованным усилиям Р. Дэвида Мюррея, модуль mailbox был исправлен для Python 3.2. Проблема заключалась в том, что mailbox изначально был спроектирован с текстовым интерфейсом, но email-сообщения лучше представлять через bytes, поскольку разные части сообщения могут иметь разные кодировки.

Решение задействовало двоичную поддержку пакета email для разбора произвольных email-сообщений. Кроме того, решение потребовало ряда изменений API.

Как и ожидалось, метод add() для объектов mailbox.Mailbox теперь принимает двоичный ввод.

StringIO и ввод из текстового файла устарели. Кроме того, строковый ввод будет завершаться ошибкой на раннем этапе, если используются символы не в ASCII. Ранее ошибка возникала при обработке письма на более позднем этапе.

Также добавлена поддержка двоичного вывода. Метод get_file() теперь возвращает файл в двоичном режиме (ранее он некорректно устанавливал текстовый режим). Кроме того, появился новый метод get_bytes(), который возвращает bytes-представление сообщения, соответствующее заданному key.

По-прежнему можно получить недвоичный вывод с помощью метода старого API get_string(), но такой подход не очень полезен. Вместо этого лучше извлекать сообщения из объекта Message или загружать их из двоичного ввода.

(Предоставлено Р. Дэвидом Мюрреем, при участии Штеффена Даоде Нурпмезо и начального патча от Виктора Стиннера в issue 9124.)

turtledemo¶

Демонстрационный код для модуля turtle был перемещён из каталога Demo в основную библиотеку. Он включает более десятка примеров сценариев с живыми отображениями. Находясь в sys.path, его теперь можно запускать напрямую из командной строки:

$ python -m turtledemo

(Перемещено из каталога Demo Александром Белопольским в issue 10199.)