Что нового в Python 3.7¶What’s New In Python 3.7

PEP 563: Отложенное вычисление аннотаций¶PEP 563: Postponed Evaluation of Annotations

Появление аннотаций типов в Python выявило две серьёзные проблемы удобства использования функциональности аннотаций, добавленной в PEP 3107 и доработанной в PEP 526:

• аннотации могли использовать только имена, уже доступные в текущей области видимости, то есть не поддерживали прямые ссылки любого рода; и

• аннотирование исходного кода отрицательно сказывалось на времени запуска программ Python.

Обе проблемы решаются отложенным вычислением аннотаций. Вместо компиляции кода, который выполняет выражения в аннотациях в момент их определения, компилятор сохраняет аннотацию в строковой форме, эквивалентной AST соответствующего выражения. При необходимости аннотации можно разрешить во время выполнения с помощью typing.get_type_hints(). В обычных случаях, когда это не требуется, хранение аннотаций обходится дешевле (поскольку короткие строки интернируются интерпретатором) и ускоряет запуск.

С точки зрения удобства, аннотации теперь поддерживают прямые ссылки, что делает следующий синтаксис допустимым:

class C:
    @classmethod
    def from_string(cls, source: str) -> C:
        ...

    def validate_b(self, obj: B) -> bool:
        ...

class B:
    ...

Поскольку это изменение нарушает совместимость, в Python 3.7 новое поведение необходимо включать для каждого модуля отдельно с помощью импорта __future__:

from __future__ import annotations

В Python 3.10 оно станет поведением по умолчанию.

PEP 538: Принудительное приведение устаревшей локали C¶PEP 538: Legacy C Locale Coercion

Постоянной проблемой в серии Python 3 было определение разумной стратегии по умолчанию для обработки предположения о текстовой кодировке «7-битный ASCII», которое в настоящее время подразумевается использованием локали C или POSIX по умолчанию на платформах, отличных от Windows.

PEP 538 обновляет интерфейс командной строки интерпретатора по умолчанию, чтобы автоматически приводить эту локаль к доступной локали на основе UTF-8, как описано в документации новой переменной окружения PYTHONCOERCECLOCALE. Автоматическая установка LC_CTYPE таким образом означает, что и сам интерпретатор, и C-расширения, учитывающие локаль (такие как readline), будут предполагать использование UTF-8 в качестве кодировки текста по умолчанию вместо ASCII.

Определение поддержки платформы в PEP 11 также было обновлено, чтобы ограничить полную поддержку обработки текста должным образом настроенными локалями, отличными от ASCII.

В рамках этого изменения обработчик ошибок по умолчанию для stdin и stdout теперь равен surrogateescape (вместо strict) при использовании любой из определённых целевых локалей приведения (в настоящее время C.UTF-8, C.utf8 и UTF-8). Обработчик ошибок по умолчанию для stderr по-прежнему равен backslashreplace, независимо от локали.

Приведение локали по умолчанию выполняется без вывода сообщений, но для помощи в отладке потенциальных проблем интеграции, связанных с локалью, можно запросить явные предупреждения (выводимые непосредственно в stderr), установив PYTHONCOERCECLOCALE=warn. Эта настройка также заставит среду выполнения Python выдавать предупреждение, если устаревшая локаль C остаётся активной при инициализации основного интерпретатора.

Хотя принудительное приведение локали из PEP 538 имеет преимущество, влияя также на модули расширения (например, GNU readline) и дочерние процессы (включая те, что выполняют не-Python-приложения и старые версии Python), у него есть недостаток: требуется, чтобы на работающей системе была доступна подходящая целевая локаль. Чтобы лучше справиться со случаем, когда подходящая целевая локаль недоступна (как, например, на RHEL/CentOS 7), Python 3.7 также реализует PEP 540: Режим принудительной UTF-8 во время выполнения.

PEP 540: Принудительный режим UTF-8 во время выполнения¶PEP 540: Forced UTF-8 Runtime Mode

Новую опцию командной строки -X utf8 и PYTHONUTF8 переменную окружения можно использовать для включения режима UTF-8 в CPython.

В режиме UTF-8 CPython игнорирует настройки локали и по умолчанию использует кодировку UTF-8. Обработчики ошибок для потоков sys.stdin и sys.stdout устанавливаются в surrogateescape.

Принудительный режим UTF-8 позволяет изменить обработку текста во встроенном интерпретаторе Python без изменения настроек локали приложения-хоста.

Хотя режим UTF-8 из PEP 540 имеет преимущество работы независимо от того, какие локали доступны в системе, у него есть недостаток: он не влияет на модули расширения (например, GNU readline), дочерние процессы, выполняющие не-Python приложения, и дочерние процессы, работающие под старыми версиями Python. Чтобы снизить риск повреждения текстовых данных при обмене с такими компонентами, Python 3.7 также реализует PEP 540: Принудительный режим UTF-8 во время выполнения).

Режим UTF-8 включается по умолчанию, когда локаль установлена в C или POSIX, а функция принудительной смены локали PEP 538 не может изменить её на альтернативу на основе UTF-8 (будь то из-за установленной PYTHONCOERCECLOCALE=0, установленной LC_ALL или отсутствия подходящей целевой локали).

PEP 553: Встроенная функция breakpoint()¶PEP 553: Built-in breakpoint()

Python 3.7 включает новую встроенную функцию breakpoint() как простой и единообразный способ войти в отладчик Python.

Встроенная функция breakpoint() вызывает sys.breakpointhook(). По умолчанию последняя импортирует pdb, а затем вызывает pdb.set_trace(), но привязка sys.breakpointhook() к выбранной функции позволяет breakpoint() войти в любой отладчик. Кроме того, переменную окружения PYTHONBREAKPOINT можно установить в вызываемый объект выбранного отладчика. Установите PYTHONBREAKPOINT=0, чтобы полностью отключить встроенную breakpoint().

PEP 539: Новый C API для локальной памяти потоков¶PEP 539: New C API for Thread-Local Storage

Хотя Python предоставляет C API для поддержки локального хранилища потоков, существующий API локального хранилища потоков (TLS) использовал int для представления ключей TLS на всех платформах. Обычно это не было проблемой для официально поддерживаемых платформ, но такой подход не является ни совместимым с POSIX, ни переносимым в практическом смысле.

PEP 539 changes this by providing a new Thread Specific Storage (TSS) API to CPython which supersedes use of the existing TLS API within the CPython interpreter, while deprecating the existing API. The TSS API uses a new type Py_tss_t instead of int to represent TSS keys–an opaque type the definition of which may depend on the underlying TLS implementation. Therefore, this will allow to build CPython on platforms where the native TLS key is defined in a way that cannot be safely cast to int.

Обратите внимание: на платформах, где нативный ключ TLS определён таким образом, что его нельзя безопасно привести к int, все функции существующего TLS API будут пустышками и немедленно вернут код ошибки. Это явно указывает на то, что старый API не поддерживается на платформах, где его нельзя надёжно использовать, и что не будет предпринято попыток добавить такую поддержку.

PEP 562: Настройка доступа к атрибутам модуля¶PEP 562: Customization of Access to Module Attributes

Python 3.7 позволяет определять __getattr__() в модулях, и он будет вызываться, когда атрибут модуля не найден обычным способом. Определение __dir__() в модулях теперь также разрешено.

Типичный пример, где это может быть полезно – устаревание атрибутов модуля и ленивая загрузка.

PEP 564: Новые функции времени с наносекундным разрешением¶PEP 564: New Time Functions With Nanosecond Resolution

Разрешение тактов в современных системах может превышать ограниченную точность числа с плавающей запятой, возвращаемого функцией time.time() и её вариантами. Чтобы избежать потери точности, PEP 564 добавляет шесть новых «наносекундных» вариантов существующих функций-таймеров в модуль time:

• time.clock_gettime_ns()

• time.clock_settime_ns()

• time.monotonic_ns()

• time.perf_counter_ns()

• time.process_time_ns()

• time.time_ns()

Новые функции возвращают количество наносекунд в виде целого числа.

Измерения показывают, что на Linux и Windows разрешение time.time_ns() примерно в 3 раза лучше, чем разрешение time.time().

PEP 565: Показывать DeprecationWarning в __main__¶PEP 565: Show DeprecationWarning in __main__

Обработка DeprecationWarning по умолчанию была изменена таким образом, что эти предупреждения снова показываются по умолчанию, но только если код, вызывающий их, выполняется непосредственно в модуле __main__. В результате разработчики однофайловых скриптов и те, кто использует Python интерактивно, снова начнут видеть предупреждения об устаревании для используемых API, но предупреждения об устаревании, вызванные импортированными модулями приложений, библиотек и фреймворков, по-прежнему будут скрыты по умолчанию.

В результате этого изменения стандартная библиотека теперь позволяет разработчикам выбирать между тремя разными вариантами поведения при выводе предупреждений об устаревании:

• FutureWarning: всегда отображается по умолчанию; рекомендуется для предупреждений, которые должны видеть конечные пользователи приложения (например, об устаревших настройках конфигурации приложения).

• DeprecationWarning: отображается по умолчанию только в __main__ и при запуске тестов; рекомендуется для предупреждений, которые должны видеть другие разработчики Python, когда обновление версии может привести к изменению поведения или ошибке.

• PendingDeprecationWarning: отображается по умолчанию только при запуске тестов; предназначено для случаев, когда будущее обновление версии изменит категорию предупреждения на DeprecationWarning или FutureWarning.

Ранее оба DeprecationWarning и PendingDeprecationWarning были видны только при запуске тестов, из-за чего разработчики, которые в основном пишут однофайловые скрипты или используют Python в интерактивном режиме, могли быть застигнуты врасплох критическими изменениями в используемых ими API.

PEP 560: Базовая поддержка модуля typing и обобщённых типов¶PEP 560: Core Support for typing module and Generic Types

Изначально PEP 484 был спроектирован таким образом, чтобы не вносить никаких изменений в ядро интерпретатора CPython. Теперь аннотации типов и модуль typing широко используются сообществом, поэтому это ограничение снято. PEP вводит два специальных метода – __class_getitem__() и __mro_entries__. Эти методы теперь используются большинством классов и специальных конструкций в typing. В результате скорость различных операций с типами возросла до 7 раз, обобщённые типы можно использовать без конфликтов метаклассов, а также исправлено несколько давних ошибок в модуле typing.

PEP 552: Хэш-файлы .pyc¶PEP 552: Hash-based .pyc Files

Традиционно Python проверял актуальность файлов кеша байт-кода (т.е. файлов .pyc) путём сравнения метаданных исходного файла (время последнего изменения и размер) с метаданными, сохранёнными в заголовке файла кеша при его создании. Хотя этот метод эффективен, у него есть недостатки. Если временные метки файловой системы слишком грубы, Python может пропустить обновления исходников, что приводит к путанице у пользователей. Кроме того, наличие временной метки в файле кеша создаёт проблемы для воспроизводимости сборки и систем сборки, основанных на содержимом.

PEP 552 расширяет формат pyc, позволяя использовать хэш исходного файла для проверки актуальности вместо временной метки. Такие файлы .pyc называются «хэш-файлами». По умолчанию Python продолжает использовать проверку на основе временной метки и не создаёт хэш-файлы .pyc во время выполнения. Хэш-файлы .pyc могут быть созданы с помощью py_compile или compileall.

Хэш-файлы .pyc бывают двух вариантов: проверяемые и непроверяемые. Для проверяемых хэш-файлов .pyc Python во время выполнения сверяет их с соответствующими исходными файлами, а для непроверяемых – нет. Непроверяемые хэш-файлы .pyc являются полезной оптимизацией производительности для сред, где внешняя по отношению к Python система (например, система сборки) отвечает за поддержание файлов .pyc в актуальном состоянии.

См. раздел Инвалидация кешированного байт-кода для получения дополнительной информации.

PEP 545: Переводы документации Python¶PEP 545: Python Documentation Translations

PEP 545 описывает процесс создания и поддержки переводов документации Python.

Добавлено три новых перевода:

• Японский: https://docs.python.org/ja/

• Французский: https://docs.python.org/fr/

• Корейский: https://docs.python.org/ko/

Режим разработки: -X dev¶Development Runtime Mode: -X dev

Новый параметр командной строки -X dev или новая переменная окружения PYTHONDEVMODE могут быть использованы для включения режима разработки CPython. В режиме разработки CPython выполняет дополнительные проверки времени выполнения, которые слишком дороги для включения по умолчанию. Смотрите документацию -X dev для полного описания эффектов этого режима.

contextvars¶

Новый модуль contextvars и набор новых C API вводят поддержку контекстных переменных. Контекстные переменные концептуально похожи на потоковые локальные переменные. В отличие от TLS, контекстные переменные корректно поддерживают асинхронный код.

Модули asyncio и decimal были обновлены для использования и поддержки контекстных переменных «из коробки». В частности, активный десятичный контекст теперь хранится в контекстной переменной, что позволяет операциям с десятичными числами работать с правильным контекстом в асинхронном коде.

dataclasses¶

Новый декоратор dataclass() предоставляет способ объявления классов данных. Класс данных описывает свои атрибуты с помощью аннотаций переменных класса. Его конструктор и другие магические методы, такие как __repr__(), __eq__() и __hash__(), генерируются автоматически.

Пример:

@dataclass
class Point:
    x: float
    y: float
    z: float = 0.0

p = Point(1.5, 2.5)
print(p)   # выдаёт "Point(x=1.5, y=2.5, z=0.0)"

importlib.resources¶

Новый модуль importlib.resources предоставляет несколько новых API и один новый ABC для доступа, открытия и чтения ресурсов внутри пакетов. Ресурсы примерно аналогичны файлам внутри пакетов, но не обязательно должны быть реальными файлами в физической файловой системе. Загрузчики модулей могут предоставлять функцию get_resource_reader(), которая возвращает экземпляр importlib.abc.ResourceReader для поддержки этого нового API. Встроенные загрузчики путей к файлам и загрузчики zip-файлов поддерживают это.

Предложено Barry Warsaw и Brett Cannon в bpo-32248.

argparse¶

Новый метод ArgumentParser.parse_intermixed_args() позволяет перемешивать опции и позиционные аргументы. (Предложено paul.j3 в bpo-14191.)

asyncio¶

Модуль asyncio получил множество новых возможностей, улучшений удобства использования и производительности. Среди заметных изменений:

• Новая пробная функция asyncio.run() может использоваться для запуска корутины из синхронного кода путём автоматического создания и уничтожения цикла событий. (Предложено Yury Selivanov в bpo-32314.)

• asyncio получил поддержку contextvars. loop.call_soon(), loop.call_soon_threadsafe(), loop.call_later(), loop.call_at() и Future.add_done_callback() теперь имеют новый необязательный параметр context, передаваемый только по ключу. Tasks теперь отслеживают свой контекст автоматически. Подробнее см. PEP 567. (Предложено Yury Selivanov в bpo-32436.)

• Добавлена новая функция asyncio.create_task() как сокращение для asyncio.get_event_loop().create_task(). (Предложено Andrew Svetlov в bpo-32311.)

• Новый метод loop.start_tls() может использоваться для обновления существующего соединения до TLS. (Предложено Yury Selivanov в bpo-23749.)

• Новый метод loop.sock_recv_into() позволяет читать данные из сокета напрямую в предоставленный буфер, что позволяет уменьшить количество копирований данных. (Предложено Antoine Pitrou в bpo-31819.)

• Новая функция asyncio.current_task() возвращает текущий выполняющийся экземпляр Task, а новая функция asyncio.all_tasks() возвращает набор всех существующих экземпляров Task в заданном цикле. Методы Task.current_task() и Task.all_tasks() объявлены устаревшими. (Предложено Andrew Svetlov в bpo-32250.)

• Новый пробный класс BufferedProtocol позволяет реализовывать потоковые протоколы с ручным управлением буфером приёма. (Предложено Yury Selivanov в bpo-32251.)

• Новая функция asyncio.get_running_loop() возвращает текущий выполняющийся цикл и возбуждает исключение RuntimeError, если цикл не выполняется. Это отличается от asyncio.get_event_loop(), который создаёт новый цикл событий, если таковой не выполняется. (Предложено Yury Selivanov в bpo-32269.)

• Новый корутинный метод StreamWriter.wait_closed() позволяет ожидать закрытия потокового писателя. Новый метод StreamWriter.is_closing() можно использовать для определения, закрывается ли писатель. (Предложено Andrew Svetlov в bpo-32391.)

• Новый loop.sock_sendfile() метод-корутина позволяет отправлять файлы с помощью os.sendfile, когда это возможно. (Автор: Andrew Svetlov в bpo-32410.)

• Новые методы Future.get_loop() и Task.get_loop() возвращают экземпляр цикла событий, в котором были созданы задача или future. Server.get_loop() позволяет сделать то же самое для объектов asyncio.Server. (Авторы: Yury Selivanov в bpo-32415 и Srinivas Reddy Thatiparthy в bpo-32418.)

• Теперь можно управлять тем, как экземпляры asyncio.Server начинают обслуживание. Ранее сервер начинал обслуживание сразу при создании. Новый именованный аргумент start_serving для loop.create_server() и loop.create_unix_server(), а также для Server.start_serving() и Server.serve_forever() позволяет разделить создание сервера и его запуск. Новый метод Server.is_serving() возвращает True, если сервер обслуживает запросы. Объекты Server теперь являются асинхронными контекстными менеджерами:

  srv = await loop.create_server(...)
  
  async with srv:
      # некоторый код
  
  # На данный момент srv закрыт и больше не принимает новые соединения.
  

  (Автор: Yury Selivanov в bpo-32662.)

• Объекты колбэков, возвращаемые loop.call_later(), получили новый метод when(), который возвращает абсолютную временную метку запланированного колбэка. (Автор: Andrew Svetlov в bpo-32741.)

• Метод loop.create_datagram_endpoint() получил поддержку Unix-сокетов. (Автор: Quentin Dawans в bpo-31245.)

• Функции asyncio.open_connection(), asyncio.start_server(), методы loop.create_connection(), loop.create_server(), loop.create_accepted_socket() и соответствующие им варианты для UNIX-сокетов теперь принимают именованный аргумент ssl_handshake_timeout. (Автор: Neil Aspinall в bpo-29970.)

• Новый метод Handle.cancelled() возвращает True, если колбэк был отменён. (Автор: Marat Sharafutdinov в bpo-31943.)

• Исходный код asyncio был преобразован для использования синтаксиса async/await. (Автор: Andrew Svetlov в bpo-32193.)

• Новый метод ReadTransport.is_reading() можно использовать для определения состояния чтения транспорта. Кроме того, вызовы ReadTransport.resume_reading() и ReadTransport.pause_reading() теперь являются идемпотентными. (Автор: Yury Selivanov в bpo-32356.)

• Методы цикла событий, принимающие пути к сокетам, теперь поддерживают передачу объектов, подобных пути. (Автор: Yury Selivanov в bpo-32066.)

• В asyncio TCP-сокеты в Linux теперь создаются с TCP_NODELAY флагом, установленным по умолчанию. (Авторы: Yury Selivanov и Victor Stinner в bpo-27456.)

• Исключения, возникающие в отменённых задачах, больше не логируются. (Автор: Yury Selivanov в bpo-30508.)

• Новые классы WindowsSelectorEventLoopPolicy и WindowsProactorEventLoopPolicy. (Автор: Yury Selivanov в bpo-33792.)

Некоторые API asyncio были объявлены устаревшими.

binascii¶

Функция b2a_uu() теперь принимает необязательный именованный аргумент backtick. Если он равен true, нули представляются символом '`' вместо пробелов. (Автор: Xiang Zhang в bpo-30103.)

calendar¶

Класс HTMLCalendar получил новые атрибуты класса, которые упрощают настройку CSS-классов в создаваемом HTML-календаре. (Автор: Oz Tiram в bpo-30095.)

collections¶

collections.namedtuple() теперь поддерживает значения по умолчанию. (Автор: Raymond Hettinger в bpo-32320.)

compileall¶

compileall.compile_dir() получил новый параметр invalidation_mode, который можно использовать для включения хеш-инвалидации .pyc. Режим инвалидации также можно указать в командной строке с помощью нового аргумента --invalidation-mode. (Автор: Benjamin Peterson в bpo-31650.)

concurrent.futures¶

ProcessPoolExecutor и ThreadPoolExecutor теперь поддерживают новые аргументы конструктора initializer и initargs. (Автор: Antoine Pitrou в bpo-21423.)

ProcessPoolExecutor теперь может принимать контекст multiprocessing через новый аргумент mp_context. (Автор: Thomas Moreau в bpo-31540.)

contextlib¶

Новый nullcontext() – это более простой и быстрый контекстный менеджер без действий, чем ExitStack. (Автор: Jesse-Bakker в bpo-10049.)

Новые asynccontextmanager(), AbstractAsyncContextManager и AsyncExitStack были добавлены в дополнение к их синхронным аналогам. (Авторы: Jelle Zijlstra в bpo-29679 и bpo-30241, а также Alexander Mohr и Ilya Kulakov в bpo-29302.)

cProfile¶

Командная строка cProfile теперь принимает -m module_name в качестве альтернативы пути к скрипту. (Автор: Sanyam Khurana в bpo-21862.)

crypt¶

Модуль crypt теперь поддерживает хеширование методом Blowfish. (Вклад Сергея Сторчака в bpo-31664.)

Функция mksalt() теперь позволяет указывать количество раундов хэширования. (Вклад Сергея Сторчака в bpo-31702.)

datetime¶

Новый метод datetime.fromisoformat() создает объект datetime из строки в одном из форматов, выдаваемых datetime.isoformat(). (Вклад Пола Ганссла в bpo-15873.)

Класс tzinfo теперь поддерживает смещения меньше минуты. (Вклад Александра Белопольского в bpo-5288.)

dbm¶

dbm.dumb теперь поддерживает чтение файлов только для чтения и больше не записывает индексный файл, если он не был изменен.

decimal¶

Модуль decimal теперь использует контекстные переменные для хранения десятичного контекста. (Вклад Юрия Селиванова в bpo-32630.)

dis¶

Функция dis() теперь умеет дизассемблировать вложенные объекты кода (код включений, генераторных выражений и вложенных функций, а также код, используемый для построения вложенных классов). Максимальная глубина рекурсии дизассемблирования управляется новым параметром depth. (Вклад Сергея Сторчака в bpo-11822.)

distutils¶

README.rst теперь включён в список стандартных файлов README пакета distutils и поэтому входит в состав исходных дистрибутивов. (Вклад Райана Гонсалеса в bpo-11913.)

enum¶

Класс Enum обзавелся новым свойством класса _ignore_, позволяющим перечислять имена свойств, которые не должны становиться членами перечисления. (Вклад Итана Фурмана в bpo-31801.)

В Python 3.8 попытка проверить не-Enum объекты в классах Enum приведет к возбуждению TypeError (например, 1 in Color); аналогично, попытка проверить не-Flag объекты у члена Flag приведет к возбуждению TypeError (например, 1 in Perm.RW); в настоящее время обе операции возвращают False и являются устаревшими. (Вклад Итана Фурмана в bpo-33217.)

functools¶

functools.singledispatch() теперь поддерживает регистрацию реализаций с использованием аннотаций типов. (Вклад Лукаша Ланги в bpo-32227.)

gc¶

Новая функция gc.freeze() позволяет заморозить все объекты, отслеживаемые сборщиком мусора, и исключить их из будущих сборок. Это может быть использовано перед вызовом POSIX fork(), чтобы сделать GC дружественным к копированию при записи или ускорить сборку. Новая функция gc.unfreeze() отменяет эту операцию. Кроме того, gc.get_freeze_count() может использоваться для получения количества замороженных объектов. (Вклад Ли Цзэкуня в bpo-31558.)

hmac¶

Модуль hmac теперь содержит оптимизированную однократную функцию digest(), которая до трех раз быстрее, чем HMAC(). (Вклад Кристиана Хаймеса в bpo-32433.)

http.client¶

HTTPConnection и HTTPSConnection теперь поддерживают новый аргумент blocksize для улучшения пропускной способности загрузки. (Вклад Нир Соффера в bpo-31945.)

http.server¶

SimpleHTTPRequestHandler теперь поддерживает HTTP-заголовок If-Modified-Since. Сервер возвращает статус ответа 304, если целевой файл не был изменен после времени, указанного в заголовке. (Вклад Пьера Кентеля в bpo-29654.)

SimpleHTTPRequestHandler принимает новый аргумент directory в дополнение к новому аргументу командной строки --directory. С этим параметром сервер обслуживает указанный каталог; по умолчанию он использует текущий рабочий каталог. (Вклад Стефана Виртеля и Жюльена Палара в bpo-28707.)

Новый класс ThreadingHTTPServer использует потоки для обработки запросов с помощью ThreadingMixin. Он используется, когда http.server запускается с -m. (Вклад Жюльена Палара в bpo-31639.)

idlelib и IDLE¶idlelib and IDLE

Множество исправлений для автодополнения. (Вклад Луи Лу в bpo-15786.)

Module Browser (в меню File, ранее назывался Class Browser), теперь отображает вложенные функции и классы в дополнение к функциям и классам верхнего уровня. (Вклад Гильерме Поло, Шерил Сабеллы и Терри Джан Риди в bpo-1612262.)

Диалог Settings (Options, Configure IDLE) был частично переписан для улучшения как внешнего вида, так и функциональности. (Вклад Шерил Сабеллы и Терри Джан Риди в нескольких тикетах.)

Образец шрифта теперь включает подборку нелатинских символов, чтобы пользователи могли лучше оценить эффект выбора конкретного шрифта. (Предложено Terry Jan Reedy в bpo-13802.) Образец можно редактировать, добавляя другие символы. (Предложено Serhiy Storchaka в bpo-31860.)

Функции IDLE, ранее реализованные как расширения, теперь реализованы как обычные функции. Их настройки перенесены с вкладки «Расширения» на другие вкладки диалоговых окон. (Предложено Charles Wohlganger и Terry Jan Reedy в bpo-27099.)

Обновлена опция контекста кода редактора. Окно отображает все строки контекста до maxlines. Нажатие на строку контекста перемещает редактор к этой строке. Цвета контекста для пользовательских тем добавлены на вкладку «Подсветка» диалогового окна настроек. (Предложено Cheryl Sabella и Terry Jan Reedy в bpo-33642, bpo-33768 и bpo-33679.)

В Windows новый вызов API сообщает Windows, что tk масштабируется под DPI. На Windows 8.1+ или 10, при неизменённых свойствах совместимости DPI двоичного файла Python и разрешении монитора более 96 DPI, это должно сделать текст и линии более чёткими. В остальных случаях это не должно оказывать эффекта. (Предложено Terry Jan Reedy в bpo-33656.)

Новое в 3.7.1:

Вывод длиннее N строк (по умолчанию 50) сворачивается в кнопку. N можно изменить в разделе PyShell на вкладке General диалогового окна Settings. Меньшее количество строк, но возможно очень длинных, можно свернуть, щелкнув правой кнопкой по выводу. Свёрнутый вывод можно развернуть на месте двойным щелчком по кнопке, либо в буфер обмена или отдельное окно щелчком правой кнопки по кнопке. (Предложено Tal Einat в bpo-1529353.)

Описанные выше изменения были перенесены в версии поддержки 3.6.

НОВОЕ в 3.7.4:

Добавлен пункт «Run Customized» в меню Run для запуска модуля с пользовательскими настройками. Введённые аргументы командной строки добавляются в sys.argv. Они снова отображаются в поле при следующем запуске с настройками. Также можно отключить обычный перезапуск главного модуля Shell. (Предложено Cheryl Sabella, Terry Jan Reedy и другими в bpo-5680 и bpo-37627.)

Новое в 3.7.5:

Добавлена опциональная нумерация строк для окон редактора IDLE. Окна открываются без номеров строк, если не задано иное на вкладке «Общие» диалога конфигурации. Номера строк для существующего окна показываются и скрываются в меню Options. (Предложено Tal Einat и Saimadhav Heblikar в bpo-17535.)

importlib¶

ABC importlib.abc.ResourceReader был введён для поддержки загрузки ресурсов из пакетов. См. также importlib.resources. (Предложено Barry Warsaw, Brett Cannon в bpo-32248.)

importlib.reload() теперь вызывает ModuleNotFoundError, если у модуля отсутствует spec. (Предложено Garvit Khatri в bpo-29851.)

importlib.find_spec() теперь вызывает ModuleNotFoundError вместо AttributeError, если указанный родительский модуль не является пакетом (т.е. у него отсутствует атрибут __path__). (Предложено Milan Oberkirch в bpo-30436.)

Новый importlib.source_hash() можно использовать для вычисления хеша переданного исходного кода. Файл .pyc, основанный на хеше, содержит значение, возвращаемое этой функцией.

io¶

Новый метод TextIOWrapper.reconfigure() можно использовать для перенастройки текстового потока с новыми настройками. (Предложено Antoine Pitrou в bpo-30526 и INADA Naoki в bpo-15216.)

ipaddress ¶

Новые методы subnet_of() и supernet_of() классов ipaddress.IPv6Network и ipaddress.IPv4Network можно использовать для проверок принадлежности сети. (Предложено Michel Albert и Cheryl Sabella в bpo-20825.)

itertools¶

itertools.islice() теперь принимает integer-like objects в качестве аргументов start, stop и slice. (Предложено Will Roberts в bpo-30537.)

locale¶

Новый аргумент monetary для locale.format_string() можно использовать, чтобы преобразование использовало денежные разделители тысяч и строки группировки. (Предложено Garvit в bpo-10379.)

Функция locale.getpreferredencoding() теперь всегда возвращает 'UTF-8' на Android или при включённом принудительном режиме UTF-8.

logging¶

Logger instances can now be serialized. (Contributed by Vinay Sajip in bpo-30520.)

Новый метод StreamHandler.setStream() можно использовать для замены потока логгера после создания обработчика. (Предложено Vinay Sajip в bpo-30522.)

Теперь можно указывать именованные аргументы для конструкторов обработчиков в конфигурации, передаваемой в logging.config.fileConfig(). (Предложено Preston Landers в bpo-31080.)

math¶

Новая функция math.remainder() реализует операцию остатка по стандарту IEEE 754. (Предложено Mark Dickinson в bpo-29962.)

mimetypes¶

MIME-тип .bmp изменён с 'image/x-ms-bmp' на 'image/bmp'. (Автор: Nitish Chandra, bpo-22589.)

msilib¶

Новый метод Database.Close() можно использовать для закрытия базы данных MSI. (Автор: Berker Peksag, bpo-20486.)

multiprocessing¶

Новый метод Process.close() явно закрывает объект процесса и освобождает все связанные с ним ресурсы. Если базовый процесс ещё выполняется, возбуждается исключение ValueError. (Автор: Antoine Pitrou, bpo-30596.)

Новый метод Process.kill() можно использовать для завершения процесса с помощью сигнала SIGKILL в Unix. (Автор: Vitor Pereira, bpo-30794.)

Нефоновые потоки, созданные Process, теперь соединяются при завершении процесса. (Автор: Antoine Pitrou, bpo-18966.)

os¶

os.fwalk() теперь принимает аргумент path как bytes. (Автор: Serhiy Storchaka, bpo-28682.)

os.scandir() получил поддержку файловых дескрипторов. (Автор: Serhiy Storchaka, bpo-25996.)

Новая функция register_at_fork() позволяет регистрировать колбэки Python для выполнения при ответвлении процесса (fork). (Автор: Antoine Pitrou, bpo-16500.)

Добавлены функции os.preadv() (объединяет функциональность os.readv() и os.pread()) и os.pwritev() (объединяет функциональность os.writev() и os.pwrite()). (Автор: Pablo Galindo, bpo-31368.)

Аргумент mode функции os.makedirs() больше не влияет на биты прав доступа к файлу для вновь создаваемых каталогов промежуточного уровня. (Добавлено Serhiy Storchaka в bpo-19930.)

os.dup2() теперь возвращает новый файловый дескриптор. Ранее всегда возвращалось None. (Автор: Benjamin Peterson, bpo-32441.)

Структура, возвращаемая os.stat(), теперь содержит атрибут st_fstype в Solaris и его производных. (Автор: Jesús Cea Avión, bpo-32659.)

pathlib¶

Новый метод Path.is_mount() теперь доступен в системах POSIX и может использоваться для определения, является ли путь точкой монтирования. (Автор: Cooper Ry Lees, bpo-30897.)

pdb¶

pdb.set_trace() теперь принимает необязательный именованный аргумент header. Если он передан, значение выводится на консоль прямо перед началом отладки. (Автор: Barry Warsaw, bpo-31389.)

Командная строка pdb теперь принимает -m module_name в качестве альтернативы файлу скрипта. (Автор: Mario Corchero, bpo-32206.)

py_compile¶

py_compile.compile() – и, как следствие, compileall – теперь учитывает переменную окружения SOURCE_DATE_EPOCH, безусловно создавая файлы .pyc для хеш-валидации. Это позволяет гарантировать воспроизводимые сборки файлов .pyc при их нетерпеливом создании. (Автор: Bernhard M. Wiedemann, bpo-29708.)

pydoc¶

Сервер pydoc теперь может привязываться к произвольному имени хоста, задаваемому новым аргументом командной строки -n. (Автор: Feanil Patel, bpo-31128.)

очередь¶queue

Новый класс SimpleQueue представляет собой неограниченную очередь FIFO. (Автор: Antoine Pitrou, bpo-14976.)

re¶

Флаги re.ASCII, re.LOCALE и re.UNICODE можно задать в пределах группы. (Автор: Serhiy Storchaka, bpo-31690.)

re.split() теперь поддерживает разбиение по шаблону типа r'\b', '^$' или (?=-), который соответствует пустой строке. (Автор: Serhiy Storchaka, bpo-25054.)

Регулярные выражения, скомпилированные с флагом re.LOCALE, больше не зависят от локали на этапе компиляции. Настройки локали применяются только при использовании скомпилированного регулярного выражения. (Автор: Serhiy Storchaka, bpo-30215.)

FutureWarning теперь выдаётся, если регулярное выражение содержит конструкции набора символов, которые в будущем изменят семантику, например, вложенные наборы и операции над наборами. (Автор: Serhiy Storchaka, bpo-30349.)

Скомпилированные регулярные выражения и объекты совпадений теперь можно копировать с помощью copy.copy() и copy.deepcopy(). (Автор: Serhiy Storchaka, bpo-10076.)

signal¶

Новый аргумент warn_on_full_buffer функции signal.set_wakeup_fd() позволяет указать, следует ли Python выводить предупреждение в stderr при переполнении буфера пробуждения. (Автор: Nathaniel J. Smith, bpo-30050.)

socket¶

Новый метод socket.getblocking() возвращает True, если сокет находится в блокирующем режиме, и False в противном случае. (Автор: Yury Selivanov, bpo-32373.)

Новая функция socket.close() закрывает переданный файловый дескриптор сокета. Эту функцию следует использовать вместо os.close() для лучшей совместимости между платформами. (Автор: Christian Heimes, bpo-32454.)

Модуль socket теперь предоставляет константы socket.TCP_CONGESTION (Linux 2.6.13), socket.TCP_USER_TIMEOUT (Linux 2.6.37) и socket.TCP_NOTSENT_LOWAT (Linux 3.12). (Вклад Omar Sandoval в bpo-26273 и Nathaniel J. Smith в bpo-29728.)

Добавлена поддержка сокетов socket.AF_VSOCK для обеспечения связи между виртуальными машинами и их хост-системами. (Автор: Cathy Avery, bpo-27584.)

Теперь сокеты по умолчанию автоматически определяют семейство, тип и протокол по файловому дескриптору. (Автор: Christian Heimes, bpo-28134.)

socketserver¶

socketserver.ThreadingMixIn.server_close() теперь ожидает завершения всех потоков, не являющихся демонами. socketserver.ForkingMixIn.server_close() теперь ожидает завершения всех дочерних процессов.

Добавлен новый атрибут класса socketserver.ForkingMixIn.block_on_close для классов socketserver.ForkingMixIn и socketserver.ThreadingMixIn. Установите этот атрибут класса в False, чтобы получить поведение, как до версии 3.7.

sqlite3¶

sqlite3.Connection теперь предоставляет метод backup(), если используемая библиотека SQLite имеет версию 3.6.11 или выше. (Автор: Lele Gaifax, bpo-27645.)

Аргумент database функции sqlite3.connect() теперь принимает любой объект, подобный пути (path-like object), а не только строку. (Автор: Anders Lorentsen, bpo-31843.)

ssl¶

Модуль ssl теперь использует встроенный API OpenSSL вместо match_hostname() для проверки имени хоста или IP-адреса. Значения проверяются во время рукопожатия TLS. Любая ошибка проверки сертификата, включая неудачную проверку имени хоста, теперь вызывает SSLCertVerificationError и прерывает рукопожатие с соответствующим сообщением TLS Alert. Новое исключение содержит дополнительную информацию. Проверку имени хоста можно настроить с помощью SSLContext.hostname_checks_common_name. (Автор: Christian Heimes, bpo-31399.)

Модуль ssl больше не отправляет IP-адреса в расширении SNI TLS. (Автор: Christian Heimes, bpo-32185.)

match_hostname() больше не поддерживает частичные подстановочные знаки (wildcards) типа www*.example.org. (Авторы: Mandeep Singh, bpo-23033 и Christian Heimes, bpo-31399.)

Выбор набора шифров по умолчанию в модуле ssl теперь использует подход на основе чёрного списка вместо жёстко заданного белого списка. Python больше не включает повторно шифры, заблокированные обновлениями безопасности OpenSSL. Выбор набора шифров по умолчанию можно настроить во время компиляции. (Автор: Christian Heimes, bpo-31429.)

Теперь поддерживается проверка сертификатов сервера, содержащих интернационализированные доменные имена (IDN). В рамках этого изменения атрибут SSLSocket.server_hostname теперь хранит ожидаемое имя хоста в A-label форме ("xn--pythn-mua.org"), а не в U-label форме ("pythön.org"). (Авторы: Nathaniel J. Smith и Christian Heimes, bpo-28414.)

Модуль ssl получил предварительную и экспериментальную поддержку TLS 1.3 и OpenSSL 1.1.1. На момент выпуска Python 3.7.0 OpenSSL 1.1.1 всё ещё разрабатывался, а TLS 1.3 ещё не был окончательно стандартизирован. Рукопожатие и протокол TLS 1.3 ведут себя несколько иначе, чем TLS 1.2 и более ранние версии; см. TLS 1.3. (Автор: Christian Heimes, bpo-32947, bpo-20995, bpo-29136, bpo-30622 и bpo-33618)

SSLSocket и SSLObject больше не имеют открытого конструктора. Прямое создание экземпляров никогда не было документированной и поддерживаемой возможностью. Экземпляры должны создаваться методами SSLContext: wrap_socket() и wrap_bio(). (Автор: Christian Heimes, bpo-32951)

API OpenSSL 1.1 для установки минимальной и максимальной версии протокола TLS доступны как SSLContext.minimum_version и SSLContext.maximum_version. Поддерживаемые протоколы обозначены несколькими новыми флагами, такими как HAS_TLSv1_1. (Автор: Christian Heimes, bpo-32609.)

Добавлены SSLContext.post_handshake_auth для включения и ssl.SSLSocket.verify_client_post_handshake() для запуска аутентификации после рукопожатия TLS 1.3. (Предложено Christian Heimes в bpo-34670.)

string¶

string.Template теперь позволяет при необходимости изменять шаблон регулярного выражения для заполнителей в фигурных скобках и без них по отдельности. (Автор: Barry Warsaw, bpo-1198569.)

подпроцесс¶subprocess

Функция subprocess.run() принимает новый именованный аргумент capture_output. Если он равен true, stdout и stderr будут захвачены. Это эквивалентно передаче subprocess.PIPE в качестве аргументов stdout и stderr. (Автор: Bo Bayles, bpo-32102.)

Функция subprocess.run и конструктор subprocess.Popen теперь принимают именованный аргумент text как псевдоним для universal_newlines. (Автор: Andrew Clegg, bpo-31756.)

В Windows значение по умолчанию для close_fds было изменено с False на True при перенаправлении стандартных дескрипторов. Теперь можно установить close_fds в true при перенаправлении стандартных дескрипторов. См. subprocess.Popen. Это означает, что close_fds теперь по умолчанию равен True на всех поддерживаемых платформах. (Автор: Segev Finer, bpo-19764.)

Модуль подпроцессов теперь более корректно обрабатывает KeyboardInterrupt во время subprocess.call(), subprocess.run() или в контекстном менеджере Popen. Он теперь ожидает короткое время завершения дочернего процесса, прежде чем продолжить обработку исключения KeyboardInterrupt. (Автор: Gregory P. Smith, bpo-25942.)

sys¶

Новая функция-перехватчик sys.breakpointhook() вызывается встроенной функцией breakpoint(). (Автор: Barry Warsaw в bpo-31353.)

На Android новая функция sys.getandroidapilevel() возвращает версию Android API, заданную при сборке. (Автор: Victor Stinner в bpo-28740.)

Новая функция sys.get_coroutine_origin_tracking_depth() возвращает текущую глубину отслеживания источника корутины, заданную новой функцией sys.set_coroutine_origin_tracking_depth(). asyncio был преобразован для использования этого нового API вместо устаревшего sys.set_coroutine_wrapper(). (Автор: Nathaniel J. Smith в bpo-32591.)

time¶

PEP 564 добавляет шесть новых функций с разрешением в наносекунды в модуль time:

• time.clock_gettime_ns()

• time.clock_settime_ns()

• time.monotonic_ns()

• time.perf_counter_ns()

• time.process_time_ns()

• time.time_ns()

Добавлены новые идентификаторы часов:

• time.CLOCK_BOOTTIME (Linux): Аналогичен time.CLOCK_MONOTONIC, но также включает любое время, в которое система находилась в приостановленном состоянии.

• time.CLOCK_PROF (FreeBSD, NetBSD и OpenBSD): Высокоточный таймер ЦП для каждого процесса.

• time.CLOCK_UPTIME (FreeBSD, OpenBSD): Время, абсолютное значение которого равно времени работы системы без учёта приостановок, что обеспечивает точное измерение времени непрерывной работы.

Новые функции time.thread_time() и time.thread_time_ns() можно использовать для получения времени ЦП для каждого потока. (Автор: Antoine Pitrou в bpo-32025.)

Новая функция time.pthread_getcpuclockid() возвращает идентификатор часов времени ЦП для конкретного потока.

tkinter¶

Новый класс tkinter.ttk.Spinbox теперь доступен. (Автор: Alan Moore в bpo-32585.)

tracemalloc¶

tracemalloc.Traceback теперь больше похож на обычные трассировки: сортирует фреймы от старых к новым. Traceback.format() теперь принимает отрицательное значение limit, обрезая результат до abs(limit) самых старых фреймов. Для получения прежнего поведения используйте новый аргумент most_recent_first функции Traceback.format(). (Автор: Jesse Bakker в bpo-32121.)

types¶

Новые классы WrapperDescriptorType, MethodWrapperType, MethodDescriptorType и ClassMethodDescriptorType теперь доступны. (Авторы: Manuel Krebber и Guido van Rossum в bpo-29377, а также Serhiy Storchaka в bpo-32265.)

Новая функция types.resolve_bases() разрешает записи MRO динамически, как указано в PEP 560. (Автор: Ivan Levkivskyi в bpo-32717.)

unicodedata¶

Внутренняя база данных unicodedata обновлена до использования Unicode 11. (Автор: Benjamin Peterson.)

unittest¶

Новый параметр командной строки -k позволяет фильтровать тесты по подстроке имени или шаблону, похожему на оболочку Unix. Например, python -m unittest -k foo запускает foo_tests.SomeTest.test_something, bar_tests.SomeTest.test_foo, но не bar_tests.FooTest.test_something. (Автор: Jonas Haag в bpo-32071.)

unittest.mock¶

Атрибуты sentinel теперь сохраняют свою идентичность при copied или pickled. (Автор: Serhiy Storchaka в bpo-20804.)

Новая функция seal() позволяет запечатывать экземпляры Mock, что запретит дальнейшее создание атрибутов-заглушек. Запечатывание применяется рекурсивно ко всем атрибутам, которые сами являются заглушками. (Автор: Mario Corchero в bpo-30541.)

urllib.parse¶

urllib.parse.quote() обновлён с RFC 2396 до RFC 3986, добавляя ~ в набор символов, которые по умолчанию никогда не заключаются в кавычки. (Авторы: Christian Theune и Ratnadeep Debnath в bpo-16285.)

uu¶

Функция uu.encode() теперь принимает необязательный именованный аргумент backtick. Если он равен true, нули представляются символом '`' вместо пробелов. (Автор: Xiang Zhang в bpo-30103.)

uuid¶

Новый атрибут UUID.is_safe передаёт от платформы информацию о том, генерируются ли UUID-идентификаторы методом, безопасным для многопроцессорности. (Автор: Barry Warsaw в bpo-22807.)

uuid.getnode() теперь отдаёт предпочтение глобально управляемым MAC-адресам перед локально управляемыми. Это обеспечивает лучшую гарантию глобальной уникальности UUID, возвращаемых из uuid.uuid1(). Если доступны только локально управляемые MAC-адреса, возвращается первый такой найденный адрес. (Автор: Barry Warsaw, bpo-32107)

warnings¶

Инициализация фильтров предупреждений по умолчанию изменилась следующим образом:

• Предупреждения, включённые через параметры командной строки (включая параметры для -b и новый специфичный для CPython параметр -X dev), всегда передаются механизму предупреждений через атрибут sys.warnoptions.

• Фильтры предупреждений, заданные через командную строку или окружение, теперь имеют следующий порядок приоритета:

  • фильтр BytesWarning для -b (или -bb)

  • любые фильтры, указанные с параметром -W

  • любые фильтры, указанные через переменную окружения PYTHONWARNINGS

  • любые другие специфичные для CPython фильтры (например, фильтр default, добавленный для нового режима -X dev)

  • любые неявные фильтры, определённые непосредственно механизмом предупреждений

• в отладочных сборках CPython все предупреждения теперь показываются по умолчанию (список неявных фильтров пуст)

(Авторы: Nick Coghlan и Victor Stinner в bpo-20361, bpo-32043 и bpo-32230.)

Предупреждения об устаревании снова отображаются по умолчанию в однофайловых скриптах и в интерактивной оболочке. Подробнее см. PEP 565: Show DeprecationWarning in __main__. (Автор: Nick Coghlan в bpo-31975.)

xml¶

В качестве меры защиты от DTD и извлечения внешних сущностей модули xml.dom.minidom и xml.sax больше не обрабатывают внешние сущности по умолчанию. (Предложено Christian Heimes в bpo-17239.)

xml.etree¶

Предикаты ElementPath в методах find() теперь могут сравнивать текст текущего узла с [. = "text"], а не только текст в дочерних узлах. Предикаты также допускают добавление пробелов для улучшения читаемости. (Автор: Stefan Behnel в bpo-31648.)

xmlrpc.server¶

SimpleXMLRPCDispatcher.register_function теперь можно использовать как декоратор. (Автор: Xiang Zhang в bpo-7769.)

zipapp¶

Функция create_archive() теперь принимает необязательный аргумент filter, позволяющий пользователю выбирать, какие файлы должны быть включены в архив. (Автор: Irmen de Jong в bpo-31072.)

Функция create_archive() теперь принимает необязательный аргумент compressed для создания сжатого архива. Также добавлен параметр командной строки --compress для поддержки сжатия. (Автор: Zhiming Wang в bpo-31638.)

zipfile¶

ZipFile теперь принимает новый параметр compresslevel для управления уровнем сжатия. (Автор: Bo Bayles в bpo-21417.)

Поддиректории в архивах, создаваемых ZipFile, теперь сохраняются в алфавитном порядке. (Автор: Bernhard M. Wiedemann в bpo-30693.)

aifc¶

aifc.openfp() устарел и будет удалён в Python 3.9. Используйте aifc.open() вместо него. (Автор: Brian Curtin, bpo-31985.)

asyncio¶

Поддержка прямого await-инга экземпляров asyncio.Lock и других примитивов синхронизации asyncio устарела. Для получения и освобождения ресурса синхронизации необходимо использовать асинхронный менеджер контекста. (Автор: Andrew Svetlov в bpo-32253.)

Методы asyncio.Task.current_task() и asyncio.Task.all_tasks() устарели. (Автор: Andrew Svetlov в bpo-32250.)

collections¶

В Python 3.8 абстрактные базовые классы из collections.abc больше не будут доступны в обычном модуле collections. Это поможет создать более чёткое различие между конкретными классами и абстрактными базовыми классами. (Автор: Serhiy Storchaka в bpo-25988.)

dbm¶

dbm.dumb теперь поддерживает чтение файлов только для чтения и больше не записывает индексный файл, если он не был изменён. Теперь выводится предупреждение об устаревании, если индексный файл отсутствует и воссоздаётся в режимах 'r' и 'w' (в будущих версиях Python это станет ошибкой). (Автор: Serhiy Storchaka в bpo-28847.)

enum¶

В Python 3.8 попытка проверить наличие объектов, не являющихся Enum, в классах Enum будет вызывать TypeError (например, 1 in Color); аналогично, попытка проверить наличие объектов, не являющихся Flag, у элемента Flag будет вызывать TypeError (например, 1 in Perm.RW); в настоящее время обе операции вместо этого возвращают False. (Автор: Ethan Furman в bpo-33217.)

gettext¶

Использование нецелочисленного значения для выбора формы множественного числа в gettext теперь устарело. Оно никогда не работало корректно. (Автор: Serhiy Storchaka в bpo-28692.)

importlib¶

Методы MetaPathFinder.find_module() (заменены на MetaPathFinder.find_spec()) и PathEntryFinder.find_loader() (заменены на PathEntryFinder.find_spec()) оба, устаревшие в Python 3.4, теперь вызывают DeprecationWarning. (Автор: Matthias Bussonnier в bpo-29576)

Абстрактный базовый класс importlib.abc.ResourceLoader устарел в пользу importlib.abc.ResourceReader.

locale¶

locale.format() устарел, используйте locale.format_string() вместо него. (Автор: Garvit, bpo-10379.)

macpath¶

macpath теперь устарел и будет удалён в Python 3.8. (Автор: Chi Hsuan Yen, bpo-9850.)

threading¶

dummy_threading и _dummy_thread устарели. Больше невозможно собрать Python с отключённой поддержкой потоков. Используйте threading вместо них. (Автор: Antoine Pitrou, bpo-31370.)

socket¶

Тихая обрезка значения аргумента в socket.htons() и socket.ntohs() устарела. В будущих версиях Python, если переданный аргумент превышает 16 бит, будет возбуждаться исключение. (Автор: Oren Milman, bpo-28332.)

ssl¶

ssl.wrap_socket() устарел. Используйте ssl.SSLContext.wrap_socket() вместо него. (Автор: Christian Heimes, bpo-28124.)

sunau¶

sunau.openfp() устарел и будет удалён в Python 3.9. Используйте sunau.open() вместо него. (Автор: Brian Curtin, bpo-31985.)

sys¶

sys.set_coroutine_wrapper() и sys.get_coroutine_wrapper() устарели.

Незадокументированная функция sys.callstats() устарела и будет удалена в одной из будущих версий Python. (Автор: Victor Stinner, bpo-28799.)

wave¶

wave.openfp() устарел и будет удалён в Python 3.9. Используйте wave.open() вместо него. (Автор: Brian Curtin, bpo-31985.)

Изменения в поведении Python¶Changes in Python Behavior

• Имена async и await теперь являются зарезервированными ключевыми словами. Код, использующий эти имена как идентификаторы, теперь будет вызывать SyntaxError. (Автор: Jelle Zijlstra в bpo-30406.)

• PEP 479 включён для всего кода в Python 3.7, что означает, что исключения StopIteration, возникающие прямо или косвенно в корутинах и генераторах, преобразуются в исключения RuntimeError. (Автор: Yury Selivanov в bpo-32670.)

• Методы object.__aiter__() больше нельзя объявлять как асинхронные. (Автор: Yury Selivanov в bpo-31709.)

• Из-за недосмотра более ранние версии Python ошибочно принимали следующий синтаксис:

  f(1 for x in [1],)
  
  class C(1 for x in [1]):
      pass
  

  Python 3.7 теперь корректно вызывает исключение SyntaxError, так как выражение-генератор всегда должно находиться непосредственно внутри круглых скобок и не может иметь запятую с любой стороны, а дублирование скобок может быть опущено только в вызовах. (Автор: Serhiy Storchaka в bpo-32012 и bpo-32023.)

• При использовании параметра -m начальный рабочий каталог теперь добавляется в sys.path вместо пустой строки (которая динамически обозначала текущий рабочий каталог на момент каждого импорта). Любые программы, которые проверяют пустую строку или иным образом полагаются на предыдущее поведение, должны быть соответствующим образом обновлены (например, также проверять os.getcwd() или os.path.dirname(__main__.__file__), в зависимости от того, зачем код изначально проверял пустую строку).

Изменения в Python API¶Changes in the Python API

• socketserver.ThreadingMixIn.server_close() теперь ожидает завершения всех не-демонических потоков. Установите новый атрибут класса socketserver.ThreadingMixIn.block_on_close в False, чтобы получить поведение до версии 3.7. (Автор: Victor Stinner в bpo-31233 и bpo-33540.)

• socketserver.ForkingMixIn.server_close() теперь ожидает завершения всех дочерних процессов. Установите новый атрибут класса socketserver.ForkingMixIn.block_on_close в False, чтобы получить поведение до версии 3.7. (Автор: Victor Stinner в bpo-31151 и bpo-33540.)

• Функция locale.localeconv() теперь временно устанавливает локаль LC_CTYPE в значение LC_NUMERIC в некоторых случаях. (Автор: Victor Stinner в bpo-31900.)

• pkgutil.walk_packages() теперь вызывает исключение ValueError, если path является строкой. Ранее возвращался пустой список. (Автор: Sanyam Khurana в bpo-24744.)

• Аргумент строки форматирования для string.Formatter.format() теперь является только позиционным. Передача его как именованного аргумента была объявлена устаревшей в Python 3.5. (Автор: Serhiy Storchaka в bpo-29193.)

• Атрибуты key, value и coded_value класса http.cookies.Morsel теперь доступны только для чтения. Их присваивание было объявлено устаревшим в Python 3.5. Используйте метод set() для их установки. (Автор: Serhiy Storchaka в bpo-29192.)

• Аргумент mode функции os.makedirs() больше не влияет на биты прав доступа вновь создаваемых каталогов промежуточного уровня. Чтобы установить их биты прав доступа, можно установить umask перед вызовом makedirs(). (Автор изменения: Serhiy Storchaka в bpo-19930.)

• Тип struct.Struct.format теперь является str вместо bytes. (Автор: Victor Stinner в bpo-21071.)

• parse_multipart() теперь принимает аргументы encoding и errors и возвращает те же результаты, что и FieldStorage: для полей, не относящихся к файлам, значение, связанное с ключом, является списком строк, а не байтов. (Автор: Pierre Quentel в bpo-29979.)

• Из-за внутренних изменений в socket вызов socket.fromshare() на сокете, созданном с помощью socket.share в старых версиях Python, не поддерживается.

• repr для BaseException теперь не включает завершающую запятую. Большинство исключений затронуты этим изменением. (Автор: Serhiy Storchaka в bpo-30399.)

• repr для datetime.timedelta изменился: теперь в вывод включаются ключевые аргументы. (Автор: Utkarsh Upadhyay в bpo-30302.)

• Поскольку shutil.rmtree() теперь реализована с помощью функции os.scandir(), пользовательский обработчик onerror теперь вызывается с первым аргументом os.scandir вместо os.listdir, когда не удаётся прочитать содержимое каталога.

• Поддержка вложенных наборов и операций над наборами в регулярных выражениях, как в Unicode Technical Standard #18, может быть добавлена в будущем. Это изменит синтаксис. Чтобы облегчить это будущее изменение, пока в неоднозначных случаях будет вызываться FutureWarning. Это включает наборы, начинающиеся с литерала '[' или содержащие литеральные последовательности символов '--', '&&', '~~' и '||'. Чтобы избежать предупреждения, экранируйте их обратной косой чертой. (Автор: Serhiy Storchaka в bpo-30349.)

• Результат разбиения строки по шаблону regular expression, который может совпадать с пустой строкой, был изменён. Например, разбиение по r'\s*' теперь будет разбивать не только по пробельным символам, как раньше, но и по пустым строкам перед всеми непробельными символами и непосредственно перед концом строки. Прежнее поведение можно восстановить, изменив шаблон на r'\s+'. Предупреждение FutureWarning выдавалось для таких шаблонов, начиная с Python 3.5.

  Для шаблонов, которые совпадают как с пустыми, так и с непустыми строками, результат поиска всех совпадений также может измениться в других случаях. Например, в строке 'a\n\n' шаблон r'(?m)^\s*?$' будет совпадать не только с пустыми строками на позициях 2 и 3, но и со строкой '\n' на позициях 2–3. Чтобы сопоставить только пустые строки, шаблон следует переписать как r'(?m)^[^\S\n]*$'.

  re.sub() теперь заменяет пустые совпадения, смежные с предыдущим непустым совпадением. Например, re.sub('x*', '-', 'abxd') теперь возвращает '-a-b--d-' вместо '-a-b-d-' (первый минус между ‘b’ и ‘d’ заменяет ‘x’, а второй минус заменяет пустую строку между ‘x’ и ‘d’).

  (Автор: Serhiy Storchaka в bpo-25054 и bpo-32308.)

• Изменение re.escape(): теперь экранируются только специальные символы регулярных выражений вместо экранирования всех символов, кроме букв ASCII, цифр и '_'. (Автор: Serhiy Storchaka в bpo-29995.)

• Фреймы tracemalloc.Traceback теперь сортируются от самого старого к самому новому для большей согласованности с traceback. (Автор: Jesse Bakker в bpo-32121.)

• В ОС, поддерживающих битовые флаги socket.SOCK_NONBLOCK или socket.SOCK_CLOEXEC, socket.type больше не применяет их. Поэтому проверки вида if sock.type == socket.SOCK_STREAM работают как ожидается на всех платформах. (Автор: Yury Selivanov в bpo-32331.)

• В Windows значение по умолчанию для аргумента close_fds функции subprocess.Popen было изменено с False на True при перенаправлении стандартных дескрипторов. Если ранее вы полагались на то, что дескрипторы наследуются при использовании subprocess.Popen с перенаправлением стандартного ввода-вывода, вам придётся передать close_fds=False, чтобы сохранить прежнее поведение, или использовать STARTUPINFO.lpAttributeList.

• importlib.machinery.PathFinder.invalidate_caches() – который неявно влияет на importlib.invalidate_caches() – теперь удаляет записи в sys.path_importer_cache, для которых установлено значение None. (Автор: Brett Cannon в bpo-33169.)

• В asyncio, loop.sock_recv(), loop.sock_sendall(), loop.sock_accept(), loop.getaddrinfo(), loop.getnameinfo() были изменены, чтобы стать полноценными методами-корутинами в соответствии с их документацией. Ранее эти методы возвращали экземпляры asyncio.Future. (Автор: Yury Selivanov в bpo-32327.)

• asyncio.Server.sockets теперь возвращает копию внутреннего списка серверных сокетов, вместо того чтобы возвращать его напрямую. (Автор: Yury Selivanov в bpo-32662.)

• Struct.format теперь является экземпляром str вместо экземпляра bytes. (Автор: Victor Stinner в bpo-21071.)

• Подпарсеры argparse теперь можно сделать обязательными, передав required=True в ArgumentParser.add_subparsers(). (Автор: Anthony Sottile в bpo-26510.)

• ast.literal_eval() теперь стал строже. Сложение и вычитание произвольных чисел больше не допускаются. (Автор: Serhiy Storchaka в bpo-31778.)

• Calendar.itermonthdates теперь будет последовательно вызывать исключение, если дата выходит за пределы диапазона от 0001-01-01 до 9999-12-31. Для поддержки приложений, которые не могут допускать такие исключения, можно использовать новые Calendar.itermonthdays3 и Calendar.itermonthdays4. Новые методы возвращают кортежи и не ограничены диапазоном, поддерживаемым datetime.date. (Автор: Alexander Belopolsky в bpo-28292.)

• collections.ChainMap теперь сохраняет порядок нижележащих отображений. (Автор: Raymond Hettinger в bpo-32792.)

• Метод submit() классов concurrent.futures.ThreadPoolExecutor и concurrent.futures.ProcessPoolExecutor теперь вызывает RuntimeError, если он вызывается во время завершения работы интерпретатора. (Автор: Mark Nemec в bpo-33097.)

• Конструктор configparser.ConfigParser теперь использует read_dict() для обработки значений по умолчанию, что делает его поведение согласованным с остальным парсером. Ключи и значения не строкового типа в словаре defaults теперь неявно преобразуются в строки. (Автор: James Tocknell в bpo-23835.)

• Несколько недокументированных внутренних импортов были удалены. Один из примеров: os.errno больше не доступен; используйте import errno напрямую. Обратите внимание, что такие недокументированные внутренние импорты могут быть удалены в любое время без предупреждения, даже в микроверсиях.

Изменения в C API¶Changes in the C API

Функция PySlice_GetIndicesEx() считается небезопасной для изменяемых последовательностей. Если индексы среза не являются экземплярами int, а объектами, реализующими метод __index__(), последовательность может быть изменена после передачи её длины в PySlice_GetIndicesEx(). Это может привести к возврату индексов за пределами длины последовательности. Чтобы избежать возможных проблем, используйте новые функции PySlice_Unpack() и PySlice_AdjustIndices(). (Автор: Serhiy Storchaka в bpo-27867.)

Изменения байткода CPython¶CPython bytecode changes

Появилось два новых опкода: LOAD_METHOD и CALL_METHOD. (Автор: Yury Selivanov и INADA Naoki в bpo-26110.)

Опкод STORE_ANNOTATION был удалён. (Автор: Mark Shannon в bpo-32550.)

Изменения только для Windows¶Windows-only Changes

Файл, используемый для переопределения sys.path, теперь называется <python-executable>._pth вместо 'sys.path'. См. раздел Поиск модулей для получения дополнительной информации. (Автор: Steve Dower в bpo-28137.)

Другие изменения в реализации CPython¶Other CPython implementation changes

В рамках подготовки к возможным будущим изменениям в публичном API инициализации CPython (см. PEP 432 – первоначальный, но несколько устаревший черновик), внутренняя логика запуска и управления конфигурацией CPython была значительно переработана. Хотя эти изменения призваны быть полностью прозрачными как для встраиваемых приложений, так и для пользователей обычного CLI CPython, они упоминаются здесь, поскольку рефакторинг меняет внутренний порядок различных операций во время запуска интерпретатора и, следовательно, может выявить ранее скрытые дефекты как во встраиваемых приложениях, так и в самом CPython. (Первоначально добавлено Ником Коглан и Эриком Сноу в рамках bpo-22257, и впоследствии обновлено Ником, Эриком и Виктором Штиннером в ряде других тикетов). Некоторые известные затронутые аспекты:

• PySys_AddWarnOptionUnicode() в настоящее время непригоден для встраиваемых приложений из-за необходимости создания объекта Unicode перед вызовом Py_Initialize. Вместо этого используйте PySys_AddWarnOption().

• Фильтры предупреждений, добавленные встраиваемым приложением с помощью PySys_AddWarnOption(), теперь должны более последовательно иметь приоритет над фильтрами по умолчанию, установленными интерпретатором.

Из-за изменений в настройке фильтров предупреждений по умолчанию установка Py_BytesWarningFlag в значение больше единицы больше не является достаточной для того, чтобы одновременно генерировать сообщения BytesWarning и преобразовывать их в исключения. Вместо этого флаг должен быть установлен (чтобы вызвать выдачу предупреждений), и необходимо добавить явный фильтр предупреждений error::BytesWarning для преобразования их в исключения.

Из-за изменения способа обработки докстрингов компилятором неявный return None в теле функции, состоящем только из докстринга, теперь помечается как происходящий на той же строке, что и докстринг, а не на строке заголовка функции.

Текущее состояние исключения было перемещено из объекта фрейма в корутину. Это упростило интерпретатор и исправило несколько трудноуловимых ошибок, вызванных переключением состояния исключения при входе в генератор или выходе из него. (Добавлено Марком Шенноном в bpo-25612.)