Содержание страницы

Инициализация, финализация и потоки¶Initialization, Finalization, and Threads

Инициализация и завершение работы интерпретатора¶Initializing and finalizing the interpreter

void Py_Initialize()¶: Инициализирует интерпретатор Python. В приложении, встраивающем Python, эта функция должна вызываться перед использованием любых других функций Python/C API; за исключением Py_SetProgramName(), Py_SetPythonHome() и Py_SetPath(). Эта функция инициализирует таблицу загруженных модулей (sys.modules) и создаёт фундаментальные модули builtins, __main__ и sys. Она также инициализирует путь поиска модулей (sys.path). Она не устанавливает sys.argv; для этого используйте PySys_SetArgvEx(). Повторный вызов (без предварительного вызова Py_Finalize()) ничего не делает. Возвращаемого значения нет; ошибка инициализации является фатальной.

void Py_InitializeEx(int initsigs)¶: Эта функция работает как Py_Initialize(), если initsigs равно 1. Если initsigs равно 0, она пропускает инициализацию регистрации обработчиков сигналов, что может быть полезно при встраивании Python.

int Py_IsInitialized()¶: Возвращает true (ненулевое значение), если интерпретатор Python был инициализирован, и false (ноль) в противном случае. После вызова Py_Finalize() возвращает false до тех пор, пока снова не будет вызвана Py_Initialize().

void Py_Finalize()¶

Отменяет всю инициализацию, выполненную Py_Initialize() и последующее использование функций Python/C API, и уничтожает все под-интерпретаторы (см. Py_NewInterpreter() ниже), которые были созданы и ещё не уничтожены после последнего вызова Py_Initialize(). В идеале освобождает всю память, выделенную интерпретатором Python. Повторный вызов (без предварительного повторного вызова Py_Initialize()) ничего не делает. Возвращаемого значения нет; ошибки при финализации игнорируются.

Эта функция предусмотрена по ряду причин. Встраивающее приложение может захотеть перезапустить Python без перезапуска самого приложения. Приложение, загрузившее интерпретатор Python из динамически загружаемой библиотеки (или DLL), может захотеть освободить всю память, выделенную Python, перед выгрузкой DLL. В процессе поиска утечек памяти в приложении разработчик может захотеть освободить всю память, выделенную Python, перед выходом из приложения.

Ошибки и предостережения: Уничтожение модулей и объектов в модулях происходит в случайном порядке; это может привести к сбоям деструкторов (методов __del__()), если они зависят от других объектов (даже функций) или модулей. Динамически загружаемые модули расширений, загруженные Python, не выгружаются. Небольшие объёмы памяти, выделенные интерпретатором Python, могут не освобождаться (если вы обнаружите утечку, сообщите о ней). Память, связанная циклическими ссылками между объектами, не освобождается. Некоторый объём памяти, выделенный модулями расширений, может не освободиться. Некоторые расширения могут работать неправильно, если их процедура инициализации вызывается более одного раза; это может произойти, если приложение вызывает Py_Initialize() и Py_Finalize() более одного раза.

Общепроцессные параметры¶Process-wide parameters

int Py_SetStandardStreamEncoding(const char *encoding, const char *errors)¶

Эту функцию следует вызывать перед Py_Initialize(), если она вообще вызывается. Она задаёт кодировку и обработку ошибок для стандартного ввода-вывода с теми же значениями, что и в str.encode().

Она переопределяет значения PYTHONIOENCODING и позволяет встраиваемому коду управлять кодировкой ввода-вывода, когда переменная окружения не работает.

encoding и/или errors могут быть NULL, чтобы использовать PYTHONIOENCODING и/или значения по умолчанию (в зависимости от других настроек).

Обратите внимание, что sys.stderr всегда использует обработчик ошибок «backslashreplace» независимо от этой (или любой другой) настройки.

Если вызывается Py_Finalize(), эту функцию потребуется вызвать снова, чтобы она повлияла на последующие вызовы Py_Initialize().

Возвращает 0 в случае успеха и ненулевое значение при ошибке (например, при вызове после того, как интерпретатор уже был инициализирован).

Новое в версии 3.4.

void Py_SetProgramName(wchar_t *name)¶: Эту функцию следует вызывать перед первым вызовом Py_Initialize(), если она вообще вызывается. Она сообщает интерпретатору значение аргумента argv[0] для функции main() программы (преобразованное в широкие символы). Это используется Py_GetPath() и некоторыми другими функциями ниже для поиска библиотек времени выполнения Python относительно исполняемого файла интерпретатора. Значение по умолчанию – 'python'. Аргумент должен указывать на широкую символьную строку с завершающим нулём в статической памяти, содержимое которой не изменится за время выполнения программы. Никакой код в интерпретаторе Python не изменит содержимое этой памяти.

wchar* Py_GetProgramName()¶: Возвращает имя программы, установленное с помощью Py_SetProgramName(), или значение по умолчанию. Возвращаемая строка указывает на статическую память; вызывающий код не должен изменять её значение.

wchar_t* Py_GetPrefix()¶: Возвращает префикс для установленных платформонезависимых файлов. Он вычисляется по ряду сложных правил на основе имени программы, заданного с помощью Py_SetProgramName(), и некоторых переменных окружения; например, если имя программы – '/usr/local/bin/python', то префикс – '/usr/local'. Возвращаемая строка указывает на статическую память; вызывающий код не должен изменять её значение. Это соответствует переменной prefix в корневом Makefile и аргументу --prefix для сценария configure во время сборки. Значение доступно в коде Python как sys.prefix. Полезно только на Unix. См. также следующую функцию.

wchar_t* Py_GetExecPrefix()¶

Return the exec-prefix for installed platform-dependent files. This is derived through a number of complicated rules from the program name set with Py_SetProgramName() and some environment variables; for example, if the program name is '/usr/local/bin/python', the exec-prefix is '/usr/local'. The returned string points into static storage; the caller should not modify its value. This corresponds to the exec_prefix variable in the top-level Makefile and the --exec-prefix argument to the configure script at build time. The value is available to Python code as sys.exec_prefix. It is only useful on Unix.

Справочно: exec-prefix отличается от prefix, когда платформозависимые файлы (такие как исполняемые файлы и разделяемые библиотеки) устанавливаются в другое дерево каталогов. В типичной установке платформозависимые файлы могут быть установлены в поддерево /usr/local/plat, а платформонезависимые – в /usr/local.

Вообще говоря, платформа – это комбинация семейств аппаратного и программного обеспечения; например, машины Sparc под управлением ОС Solaris 2.x считаются одной платформой, машины Intel под Solaris 2.x – другой, а машины Intel под Linux – третьей. Разные основные версии одной и той же ОС обычно также образуют разные платформы. Операционные системы, отличные от Unix, – это отдельная история; стратегии установки на этих системах настолько различаются, что префикс и exec-prefix не имеют смысла и устанавливаются в пустую строку. Обратите внимание: скомпилированные файлы байт-кода Python не зависят от платформы (но не от версии Python, под которой они были скомпилированы!).

Системные администраторы знают, как настроить программы mount или automount для общего доступа к /usr/local между платформами, при этом /usr/local/plat будет отдельной файловой системой для каждой платформы.

wchar_t* Py_GetProgramFullPath()¶: Возвращает полное имя исполняемого файла Python; оно вычисляется как побочный эффект вывода пути поиска модулей по умолчанию из имени программы (заданного с помощью Py_SetProgramName() выше). Возвращаемая строка указывает на статическую память; вызывающий код не должен изменять её значение. Значение доступно в коде Python как sys.executable.

wchar_t* Py_GetPath()¶: Возвращает путь поиска модулей по умолчанию; он вычисляется на основе имени программы (заданного с помощью Py_SetProgramName() выше) и некоторых переменных окружения. Возвращаемая строка состоит из последовательности имён каталогов, разделённых символом-разделителем, зависящим от платформы. Символ-разделитель – ':' на Unix и Mac OS X, ';' на Windows. Возвращаемая строка указывает на статическую память; вызывающий код не должен изменять её значение. Список sys.path инициализируется этим значением при запуске интерпретатора; он может быть (и обычно) изменён позже для изменения пути поиска при загрузке модулей.

void Py_SetPath(const wchar_t *)¶

Set the default module search path. If this function is called before Py_Initialize(), then Py_GetPath() won’t attempt to compute a default search path but uses the one provided instead. This is useful if Python is embedded by an application that has full knowledge of the location of all modules. The path components should be separated by the platform dependent delimiter character, which is ':' on Unix and Mac OS X, ';' on Windows.

Это также приводит к тому, что sys.executable устанавливается только в исходное имя программы (см. Py_SetProgramName()), а sys.prefix и sys.exec_prefix остаются пустыми. Вызывающий код должен сам изменить их, если это необходимо, после вызова Py_Initialize().

Аргумент path копируется внутри, поэтому вызывающий может освободить его после завершения вызова.

const char* Py_GetVersion()¶

Возвращает версию данного интерпретатора Python. Это строка, которая выглядит примерно так:

"3.0a5+ (py3k:63103M, May 12 2008, 00:53:55) \n[GCC 4.2.3]"

Первое слово (до первого пробела) – это текущая версия Python; первые три символа – старшая и младшая версия, разделённые точкой. Возвращаемая строка указывает на статическую память; вызывающий код не должен изменять её значение. Это значение доступно в коде Python как sys.version.

const char* Py_GetPlatform()¶: Возвращает идентификатор платформы для текущей платформы. В Unix он формируется из «официального» имени операционной системы, приведённого к нижнему регистру, с добавлением номера старшей версии; например, для Solaris 2.x (также известной как SunOS 5.x) возвращается 'sunos5'. На Mac OS X – 'darwin'. В Windows – 'win'. Возвращаемая строка указывает на статическую память; вызывающий код не должен изменять её значение. Это значение доступно в коде Python как sys.platform.

const char* Py_GetCopyright()¶

Возвращает официальную строку авторских прав для текущей версии Python, например

Возвращаемая строка указывает на статическую память; вызывающий код не должен изменять её значение. Это значение доступно в коде Python как sys.copyright.

const char* Py_GetCompiler()¶

Возвращает указание компилятора, использованного для сборки текущей версии Python, в квадратных скобках, например:

"[GCC 2.7.2.2]"

Возвращаемая строка указывает на статическую память; вызывающий код не должен изменять её значение. Это значение доступно в коде Python как часть переменной sys.version.

const char* Py_GetBuildInfo()¶

Возвращает информацию о номере сборки, дате и времени сборки текущего экземпляра интерпретатора Python, например

"#67, Aug  1 1997, 22:34:28"

void PySys_SetArgvEx(int argc, wchar_t **argv, int updatepath)¶

Устанавливает sys.argv на основе argc и argv. Эти параметры аналогичны тем, что передаются в функцию main() программы, с той разницей, что первый элемент должен указывать на исполняемый файл скрипта, а не на исполняемый файл, в который встроен интерпретатор Python. Если запускаемый скрипт отсутствует, первый элемент в argv может быть пустой строкой. Если эта функция не сможет инициализировать sys.argv, сигнализируется фатальная ошибка с помощью Py_FatalError().

Если updatepath равен нулю, функция делает только это. Если updatepath не равен нулю, функция также изменяет sys.path согласно следующему алгоритму:

Если в argv[0] передано имя существующего скрипта, в начало sys.path добавляется абсолютный путь к каталогу, где находится этот скрипт.
В противном случае (то есть если argc равно 0 или argv[0] не указывает на существующий файл), в начало sys.path добавляется пустая строка, что равносильно добавлению текущего рабочего каталога (".").

Примечание

Приложениям, встраивающим интерпретатор Python для целей, отличных от выполнения одного скрипта, рекомендуется передавать 0 в качестве updatepath и при необходимости изменять sys.path самостоятельно. См. CVE-2008-5983.

В версиях до 3.1.3 того же эффекта можно достичь, вручную удалив первый элемент sys.path после вызова PySys_SetArgv(), например с помощью:

PyRun_SimpleString("import sys; sys.path.pop(0)\n");

Новое в версии 3.1.3.

void PySys_SetArgv(int argc, wchar_t **argv)¶: Эта функция работает как PySys_SetArgvEx() с updatepath, установленным в 1, если только интерпретатор python не был запущен с флагом -I.

Изменено в версии 3.4: Значение updatepath теперь зависит от -I.

void Py_SetPythonHome(wchar_t *home)¶

Задаёт «домашний» каталог по умолчанию, то есть расположение стандартных библиотек Python. См. PYTHONHOME о значении строки аргумента.

Аргумент должен указывать на строку символов, завершающуюся нулём, в статической памяти, содержимое которой не будет изменяться в течение всего времени выполнения программы. Никакой код в интерпретаторе Python не будет менять содержимое этой памяти.

w_char* Py_GetPythonHome()¶: Возвращает «домашний» каталог по умолчанию – то есть значение, заданное предыдущим вызовом Py_SetPythonHome(), или значение переменной окружения PYTHONHOME, если она установлена.

Состояние потока и глобальная блокировка интерпретатора¶Thread State and the Global Interpreter Lock

Интерпретатор Python не является полностью потокобезопасным. Для поддержки многопоточных программ на Python существует глобальная блокировка, называемая глобальной блокировкой интерпретатора или GIL, которую текущий поток должен удерживать перед тем, как безопасно обращаться к объектам Python. Без этой блокировки даже простейшие операции могут вызывать проблемы в многопоточной программе: например, когда два потока одновременно увеличивают счётчик ссылок одного и того же объекта, счётчик может в итоге увеличиться только один раз вместо двух.

Поэтому действует правило: только поток, захвативший GIL, может работать с объектами Python или вызывать функции Python/C API. Чтобы эмулировать параллельное выполнение, интерпретатор регулярно пытается переключать потоки (см. sys.setswitchinterval()). Блокировка также отпускается вокруг потенциально блокирующих операций ввода-вывода, таких как чтение или запись файла, чтобы тем временем могли выполняться другие потоки Python.

Интерпретатор Python хранит некоторую служебную информацию, специфичную для потока, в структуре данных, называемой PyThreadState. Также существует одна глобальная переменная, указывающая на текущий PyThreadState: её можно получить с помощью PyThreadState_Get().

Освобождение GIL из кода расширения¶Releasing the GIL from extension code

Большая часть кода расширения, работающего с GIL, имеет следующую простую структуру:

Save the thread state in a local variable.
Release the global interpreter lock.
... Do some blocking I/O operation ...
Reacquire the global interpreter lock.
Restore the thread state from the local variable.

Это настолько распространено, что существует пара макросов для упрощения:

Py_BEGIN_ALLOW_THREADS
... Do some blocking I/O operation ...
Py_END_ALLOW_THREADS

Макрос Py_BEGIN_ALLOW_THREADS открывает новый блок и объявляет скрытую локальную переменную; макрос Py_END_ALLOW_THREADS закрывает этот блок. Оба макроса доступны, даже если Python скомпилирован без поддержки потоков (в этом случае они просто разворачиваются в пустую последовательность).

Когда поддержка потоков включена, указанный выше блок раскрывается в следующий код:

PyThreadState *_save;

_save = PyEval_SaveThread();
...Do some blocking I/O operation...
PyEval_RestoreThread(_save);

Вот как работают эти функции: глобальная блокировка интерпретатора используется для защиты указателя на текущее состояние потока. При освобождении блокировки и сохранении состояния потока указатель на текущее состояние потока должен быть получен до освобождения блокировки (поскольку другой поток может немедленно захватить блокировку и сохранить своё состояние потока в глобальной переменной). И наоборот, при захвате блокировки и восстановлении состояния потока блокировка должна быть захвачена до сохранения указателя на состояние потока.

Примечание

Вызов системных функций ввода-вывода – самый частый случай освобождения GIL, но это также полезно перед длительными вычислениями, не требующими доступа к объектам Python, например при сжатии или криптографических операциях над буферами памяти. Например, стандартные модули zlib и hashlib освобождают GIL при сжатии или хешировании данных.

Потоки, созданные не из Python¶Non-Python created threads

Когда потоки создаются с помощью специальных API Python (например, модуля threading), состояние потока автоматически связывается с ними, и приведённый выше код корректен. Однако если потоки создаются из C (например, сторонней библиотекой со своим управлением потоками), они не удерживают GIL, и для них не существует структуры состояния потока.

Если необходимо вызвать код Python из этих потоков (часто это будет частью API колбэков, предоставляемого упомянутой сторонней библиотекой), сначала нужно зарегистрировать эти потоки в интерпретаторе, создав структуру данных состояния потока, затем захватить GIL и, наконец, сохранить указатель на их состояние потока, прежде чем можно будет начать использовать Python/C API. После завершения следует сбросить указатель состояния потока, освободить GIL и освободить структуру данных состояния потока.

Функции PyGILState_Ensure() и PyGILState_Release() выполняют всё вышеописанное автоматически. Типичный идиоматический способ вызова Python из потока C:

PyGILState_STATE gstate;
gstate = PyGILState_Ensure();

/* Выполнить действия Python здесь. */
result = CallSomeFunction();
/* вычислить результат или обработать исключение */

/* Освободить поток. После этой точки API Python не допускается. */
PyGILState_Release(gstate);

Обратите внимание, что функции PyGILState_*() предполагают наличие только одного глобального интерпретатора (создаваемого автоматически вызовом Py_Initialize()). Python поддерживает создание дополнительных интерпретаторов (с помощью Py_NewInterpreter()), однако смешивание нескольких интерпретаторов с API PyGILState_*() не поддерживается.

Ещё одна важная особенность потоков – их поведение при вызове fork() в C. В большинстве систем с fork() после разветвления процесса существует только тот поток, который выполнил fork. Это также означает, что блокировки, удерживаемые другими потоками, никогда не будут освобождены. Python решает эту проблему для os.fork(), захватывая используемые им внутренние блокировки перед fork и освобождая их после. Кроме того, он сбрасывает все объекты блокировки в дочернем процессе. При расширении или встраивании Python невозможно сообщить Python о дополнительных (не Python) блокировках, которые необходимо захватить перед fork или сбросить после него. Для достижения того же эффекта пришлось бы использовать средства ОС, такие как pthread_atfork(). Кроме того, при расширении или встраивании Python вызов fork() напрямую, а не через os.fork() (и возврат в Python или вызов Python) может привести к взаимоблокировке, если одна из внутренних блокировок Python удерживается потоком, который перестал существовать после fork. PyOS_AfterFork() пытается сбросить необходимые блокировки, но не всегда может это сделать.

API высокого уровня¶High-level API

Это наиболее часто используемые типы и функции при написании кода C-расширения или при встраивании интерпретатора Python:

PyInterpreterState¶

Эта структура данных представляет состояние, совместно используемое несколькими взаимодействующими потоками. Потоки, принадлежащие одному интерпретатору, разделяют администрирование модулей и несколько других внутренних элементов. В этой структуре нет открытых членов.

Потоки, принадлежащие разным интерпретаторам, изначально не разделяют ничего, кроме состояния процесса, такого как доступная память, открытые файловые дескрипторы и т.п. Глобальная блокировка интерпретатора также разделяется всеми потоками, независимо от того, какому интерпретатору они принадлежат.

PyThreadState¶: Эта структура данных представляет состояние одного потока. Единственная открытая (public) переменная-член – PyInterpreterState *interp, которая указывает на состояние интерпретатора этого потока.

void PyEval_InitThreads()¶

Инициализирует и захватывает глобальную блокировку интерпретатора. Должна вызываться в главном потоке перед созданием второго потока или выполнением любых других операций с потоками, таких как PyEval_ReleaseThread(tstate). Не требуется перед вызовом PyEval_SaveThread() или PyEval_RestoreThread().

При повторном вызове эта функция ничего не делает.

Изменено в версии 3.2: Эту функцию больше нельзя вызывать до Py_Initialize().

Примечание

Когда существует только главный поток, никакие операции с GIL не нужны. Это обычная ситуация (большинство программ Python не используют потоки), а операции с блокировкой немного замедляют интерпретатор. Поэтому блокировка изначально не создаётся. Такая ситуация эквивалентна захваченной блокировке: если есть только один поток, все обращения к объектам безопасны. Следовательно, когда эта функция инициализирует глобальную блокировку интерпретатора, она также её захватывает. Перед тем как модуль Python _thread создаёт новый поток, зная, что либо он уже владеет блокировкой, либо блокировка ещё не создана, он вызывает PyEval_InitThreads(). Когда этот вызов возвращается, гарантируется, что блокировка создана и вызывающий поток её захватил.

Небезопасно вызывать эту функцию, когда неизвестно, какой поток (если таковой есть) в данный момент удерживает глобальную блокировку интерпретатора.

Эта функция недоступна, если поддержка потоков отключена на этапе компиляции.

int PyEval_ThreadsInitialized()¶: Возвращает ненулевое значение, если PyEval_InitThreads() была вызвана. Эту функцию можно вызывать без захвата GIL, и поэтому её можно использовать, чтобы избежать вызовов API блокировки при однопоточной работе. Функция недоступна, если поддержка потоков отключена во время компиляции.

PyThreadState* PyEval_SaveThread()¶: Освобождает глобальную блокировку интерпретатора (если она создана и поддержка потоков включена) и сбрасывает состояние потока в NULL, возвращая предыдущее состояние потока (которое не равно NULL). Если блокировка была создана, текущий поток должен был захватить её. (Эта функция доступна, даже если поддержка потоков отключена на этапе компиляции.)

void PyEval_RestoreThread(PyThreadState *tstate)¶: Захватывает глобальную блокировку интерпретатора (если она создана и поддержка потоков включена) и устанавливает состояние потока в tstate, который не должен быть NULL. Если блокировка была создана, текущий поток не должен был захватить её, иначе возникнет взаимоблокировка. (Эта функция доступна, даже если поддержка потоков отключена на этапе компиляции.)

PyThreadState* PyThreadState_Get()¶: Возвращает текущее состояние потока. Должна быть захвачена глобальная блокировка интерпретатора. Если текущее состояние потока равно NULL, возникает фатальная ошибка (таким образом, вызывающему коду не нужно проверять на NULL).

PyThreadState* PyThreadState_Swap(PyThreadState *tstate)¶: Заменяет текущее состояние потока на состояние, заданное аргументом tstate, который может быть NULL. Глобальная блокировка интерпретатора должна быть захвачена и не освобождается.

void PyEval_ReInitThreads()¶: Эта функция вызывается из PyOS_AfterFork(), чтобы гарантировать, что вновь созданные дочерние процессы не удерживают блокировки, относящиеся к потокам, которые не выполняются в дочернем процессе.

Следующие функции используют локальное хранилище потока и несовместимы с подынтерпретаторами:

PyGILState_STATE PyGILState_Ensure()¶

Гарантирует, что текущий поток готов вызывать Python C API независимо от текущего состояния Python или глобальной блокировки интерпретатора. Может вызываться потоком сколько угодно раз, при условии, что каждый вызов соответствует вызову PyGILState_Release(). В общем случае между вызовами PyGILState_Ensure() и PyGILState_Release() можно использовать другие API, связанные с потоками, при условии, что состояние потока будет восстановлено до предыдущего перед вызовом Release(). Например, допустимо обычное использование макросов Py_BEGIN_ALLOW_THREADS и Py_END_ALLOW_THREADS.

Возвращаемое значение – непрозрачный «дескриптор» состояния потока на момент вызова PyGILState_Ensure(), и его необходимо передать в PyGILState_Release(), чтобы гарантировать, что Python останется в том же состоянии. Хотя рекурсивные вызовы разрешены, эти дескрипторы нельзя разделять – каждый уникальный вызов PyGILState_Ensure() должен сохранить дескриптор для своего вызова PyGILState_Release().

Когда функция возвращает управление, текущий поток будет удерживать GIL и сможет вызывать произвольный код Python. Сбой является фатальной ошибкой.

void PyGILState_Release(PyGILState_STATE)¶

Освобождает все ранее захваченные ресурсы. После этого вызова состояние Python будет таким же, как до соответствующего вызова PyGILState_Ensure() (но обычно это состояние неизвестно вызывающей стороне, поэтому и используется API GILState).

Каждый вызов PyGILState_Ensure() должен быть уравновешен вызовом PyGILState_Release() в том же потоке.

PyThreadState* PyGILState_GetThisThreadState()¶: Возвращает текущее состояние потока для этого потока. Может вернуть NULL, если на текущем потоке не использовался API GILState. Обратите внимание, что главный поток всегда имеет такое состояние потока, даже если на нём не было выполнено ни одного вызова для авто-состояния потока. Это в основном вспомогательная/диагностическая функция.

int PyGILState_Check()¶: Возвращает 1, если текущий поток удерживает GIL, и 0 в противном случае. Эту функцию можно вызывать из любого потока в любое время. Она вернёт 1, только если состояние потока Python было инициализировано и в данный момент поток удерживает GIL. Это в основном вспомогательная/диагностическая функция. Она может быть полезна, например, в контекстах колбэков или функций выделения памяти, когда знание о том, что GIL захвачен, позволяет вызывающей стороне выполнять чувствительные действия или вести себя иначе.

Новое в версии 3.4.

Следующие макросы обычно используются без точки с запятой в конце; примеры использования можно найти в дистрибутиве исходного кода Python.

Py_BEGIN_ALLOW_THREADS¶: Этот макрос раскрывается в { PyThreadState *_save; _save = PyEval_SaveThread();. Обратите внимание, что он содержит открывающую фигурную скобку; он должен быть уравновешен последующим макросом Py_END_ALLOW_THREADS. См. выше обсуждение этого макроса. Ничего не делает, если поддержка потоков отключена во время компиляции.

Py_END_ALLOW_THREADS¶: Этот макрос раскрывается в PyEval_RestoreThread(_save); }. Обратите внимание, что он содержит закрывающую фигурную скобку; он должен быть уравновешен предшествующим макросом Py_BEGIN_ALLOW_THREADS. См. выше обсуждение этого макроса. Ничего не делает, если поддержка потоков отключена во время компиляции.

Py_BLOCK_THREADS¶: Этот макрос раскрывается в PyEval_RestoreThread(_save);: он эквивалентен Py_END_ALLOW_THREADS без закрывающей фигурной скобки. Он не выполняет никаких действий, если поддержка потоков отключена на этапе компиляции.

Py_UNBLOCK_THREADS¶: Этот макрос раскрывается в _save = PyEval_SaveThread();: он эквивалентен Py_BEGIN_ALLOW_THREADS без открывающей фигурной скобки и объявления переменной. Он не выполняет никаких действий, если поддержка потоков отключена на этапе компиляции.

Низкоуровневый API¶Low-level API

Все следующие функции доступны только при включенной поддержке потоков во время компиляции и должны вызываться только после создания глобальной блокировки интерпретатора.

PyInterpreterState* PyInterpreterState_New()¶: Создаёт новый объект состояния интерпретатора. Глобальная блокировка интерпретатора может не удерживаться, но может удерживаться, если необходимо сериализовать вызовы этой функции.

void PyInterpreterState_Clear(PyInterpreterState *interp)¶: Сбрасывает всю информацию в объекте состояния интерпретатора. Глобальная блокировка интерпретатора должна удерживаться.

void PyInterpreterState_Delete(PyInterpreterState *interp)¶: Уничтожает объект состояния интерпретатора. Глобальная блокировка интерпретатора может не удерживаться. Состояние интерпретатора должно быть сброшено предварительным вызовом PyInterpreterState_Clear().

PyThreadState* PyThreadState_New(PyInterpreterState *interp)¶: Создаёт новый объект состояния потока, принадлежащий данному объекту интерпретатора. Глобальная блокировка интерпретатора может не удерживаться, но может удерживаться, если необходимо сериализовать вызовы этой функции.

void PyThreadState_Clear(PyThreadState *tstate)¶: Сбрасывает всю информацию в объекте состояния потока. Глобальная блокировка интерпретатора должна удерживаться.

void PyThreadState_Delete(PyThreadState *tstate)¶: Уничтожает объект состояния потока. Глобальная блокировка интерпретатора может не удерживаться. Состояние потока должно быть сброшено предварительным вызовом PyThreadState_Clear().

PyObject* PyThreadState_GetDict()¶: Возвращаемое значение: заимствованная ссылка.
Возвращает словарь, в котором расширения могут хранить информацию о состоянии, специфичном для потока. Каждое расширение должно использовать уникальный ключ для хранения состояния в словаре. Эту функцию можно вызывать, даже если текущее состояние потока недоступно. Если эта функция возвращает NULL, исключение не было возбуждено, и вызывающий код должен считать, что текущее состояние потока недоступно.

int PyThreadState_SetAsyncExc(long id, PyObject *exc)¶: Асинхронно возбуждает исключение в потоке. Аргумент id – это идентификатор потока целевого потока; exc – объект исключения, которое нужно возбудить. Эта функция не похищает никаких ссылок на exc. Чтобы предотвратить наивное злоупотребление, вы должны написать собственное расширение C для её вызова. Должна вызываться с захваченным GIL. Возвращает количество изменённых состояний потока; обычно это единица, но будет нулём, если идентификатор потока не найден. Если exc равно NULL, то ожидающее исключение (если есть) для потока очищается. Эта функция не возбуждает исключений.

void PyEval_AcquireThread(PyThreadState *tstate)¶

Захватывает глобальную блокировку интерпретатора и устанавливает текущее состояние потока в tstate, который не должен быть NULL. Блокировка должна быть создана ранее. Если этот поток уже удерживает блокировку, возникает взаимоблокировка.

PyEval_RestoreThread() – это функция более высокого уровня, которая всегда доступна (даже если поддержка потоков не включена или потоки не инициализированы).

void PyEval_ReleaseThread(PyThreadState *tstate)¶

Сбрасывает текущее состояние потока в NULL и освобождает глобальную блокировку интерпретатора. Блокировка должна быть создана ранее и должна удерживаться текущим потоком. Аргумент tstate, который не должен быть NULL, используется только для проверки того, что он представляет текущее состояние потока – если это не так, сообщается о фатальной ошибке.

PyEval_SaveThread() – это функция более высокого уровня, которая всегда доступна (даже если поддержка потоков не включена или потоки не инициализированы).

void PyEval_AcquireLock()¶: Захватывает глобальную блокировку интерпретатора. Блокировка должна быть создана заранее. Если этот поток уже удерживает блокировку, возникает взаимоблокировка.

Устарело с версии 3.2: Эта функция не обновляет текущее состояние потока. Вместо неё используйте PyEval_RestoreThread() или PyEval_AcquireThread().

void PyEval_ReleaseLock()¶: Освобождает глобальную блокировку интерпретатора. Блокировка должна быть создана заранее.

Устарело с версии 3.2: Эта функция не обновляет текущее состояние потока. Вместо неё используйте PyEval_SaveThread() или PyEval_ReleaseThread().

Поддержка под-интерпретаторов¶Sub-interpreter support

Хотя в большинстве случаев вы будете встраивать только один интерпретатор Python, бывают ситуации, когда необходимо создать несколько независимых интерпретаторов в одном процессе и, возможно, даже в одном потоке. Суб-интерпретаторы позволяют это сделать. Переключаться между суб-интерпретаторами можно с помощью функции PyThreadState_Swap(). Создавать и уничтожать их можно с помощью следующих функций:

PyThreadState* Py_NewInterpreter()¶

Создаёт новый суб-интерпретатор. Это (почти) полностью изолированное окружение для выполнения кода Python. В частности, новый интерпретатор имеет отдельные, независимые версии всех импортированных модулей, включая фундаментальные модули builtins, __main__ и sys. Таблица загруженных модулей (sys.modules) и путь поиска модулей (sys.path) также являются отдельными. Новое окружение не имеет переменной sys.argv. Оно имеет новые объекты файловых потоков стандартного ввода/вывода sys.stdin, sys.stdout и sys.stderr (однако они ссылаются на те же базовые файловые дескрипторы).

Возвращаемое значение указывает на первое состояние потока, созданное в новом под-интерпретаторе. Это состояние потока создаётся в текущем состоянии потока. Обратите внимание, что фактический поток не создаётся; см. обсуждение состояний потока ниже. Если создание нового интерпретатора не удалось, возвращается NULL; исключение не устанавливается, поскольку состояние исключения хранится в текущем состоянии потока, и текущего состояния потока может не быть. (Как и все другие функции Python/C API, глобальная блокировка интерпретатора должна быть захвачена перед вызовом этой функции и остаётся захваченной при возврате; однако, в отличие от большинства других функций Python/C API, при входе необязательно наличие текущего состояния потока.)

Модули расширения разделяются между (суб-)интерпретаторами следующим образом: при первом импорте конкретного расширения оно инициализируется обычным образом, и (поверхностная) копия словаря его модуля сохраняется. Когда то же расширение импортируется другим (суб-)интерпретатором, инициализируется новый модуль и заполняется содержимым этой копии; функция init расширения не вызывается. Обратите внимание, что это отличается от того, что происходит, когда расширение импортируется после полной переинициализации интерпретатора вызовами Py_Finalize() и Py_Initialize(); в этом случае функция initmodule расширения вызывается снова.

void Py_EndInterpreter(PyThreadState *tstate)¶: Уничтожает (суб-)интерпретатор, представленный данным состоянием потока. Указанное состояние потока должно быть текущим состоянием потока. См. обсуждение состояний потоков ниже. После возврата из вызова текущее состояние потока равно NULL. Все состояния потоков, связанные с этим интерпретатором, уничтожаются. (Глобальная блокировка интерпретатора должна быть захвачена перед вызовом этой функции и остаётся захваченной при возврате.) Py_Finalize() уничтожит все суб-интерпретаторы, которые не были явно уничтожены к этому моменту.

Ошибки и предостережения¶Bugs and caveats

Поскольку суб-интерпретаторы (и главный интерпретатор) являются частью одного процесса, изоляция между ними не идеальна – например, с помощью низкоуровневых файловых операций, таких как os.close(), они могут (случайно или злонамеренно) влиять на открытые файлы друг друга. Из-за способа разделения расширений между (суб-)интерпретаторами некоторые расширения могут работать неправильно; это особенно вероятно, когда расширение использует (статические) глобальные переменные или когда расширение манипулирует словарём своего модуля после инициализации. Можно вставлять объекты, созданные в одном суб-интерпретаторе, в пространство имён другого суб-интерпретатора; это следует делать с большой осторожностью, чтобы избежать совместного использования пользовательских функций, методов, экземпляров или классов между суб-интерпретаторами, поскольку операции импорта, выполняемые такими объектами, могут повлиять на словарь загруженных модулей неправильного (суб-)интерпретатора.

Также обратите внимание, что совместное использование этой функциональности с API PyGILState_*() является деликатным, поскольку эти API предполагают биекцию между состояниями потоков Python и потоками уровня ОС, а это предположение нарушается наличием суб-интерпретаторов. Настоятельно рекомендуется не переключать суб-интерпретаторы между парой соответствующих вызовов PyGILState_Ensure() и PyGILState_Release(). Кроме того, расширения (такие как ctypes), использующие эти API для вызова кода Python из потоков, созданных не в Python, вероятно, будут работать некорректно при использовании суб-интерпретаторов.

Асинхронные уведомления¶Asynchronous Notifications

Предоставляется механизм для асинхронных уведомлений основному потоку интерпретатора. Эти уведомления имеют форму указателя на функцию и аргумента в виде указателя void.

int Py_AddPendingCall(int (*func)(void *), void *arg)¶

Планирует вызов функции из главного потока интерпретатора. В случае успеха возвращается 0, а func помещается в очередь для вызова в главном потоке. В случае неудачи возвращается -1 без установки исключения.

При успешной постановке в очередь func будет в конечном итоге вызвана из основного потока интерпретатора с аргументом arg. Она будет вызвана асинхронно по отношению к нормально выполняющемуся коду Python, но при соблюдении обоих этих условий:

на границе байткода;
при этом главный поток удерживает глобальную блокировку интерпретатора (поэтому func может использовать полный C API).

func должна возвращать 0 в случае успеха, или -1 в случае неудачи с установленным исключением. func не будет прервана для выполнения другого асинхронного уведомления рекурсивно, но всё же может быть прервана для переключения потоков, если глобальная блокировка интерпретатора освобождена.

Для выполнения этой функции не требуется текущее состояние потока, и ей не нужна глобальная блокировка интерпретатора.

Предупреждение

Это низкоуровневая функция, полезная только в особых случаях. Нет гарантии, что func будет вызвана максимально быстро. Если главный поток занят выполнением системного вызова, func не будет вызвана до возврата из системного вызова. Эта функция в целом не подходит для вызова кода Python из произвольных C-потоков. Вместо неё используйте PyGILState API.

Новое в версии 3.1.

Профилирование и трассировка¶Profiling and Tracing

Интерпретатор Python предоставляет низкоуровневую поддержку для подключения средств профилирования и трассировки выполнения. Они используются в инструментах профилирования, отладки и анализа покрытия.

Этот C-интерфейс позволяет коду профилирования или трассировки избежать накладных расходов на вызов через вызываемые объекты уровня Python, выполняя вместо этого прямой вызов C-функции. Основные характеристики механизма не изменились; интерфейс позволяет устанавливать функции трассировки для каждого потока, а базовые события, сообщаемые функции трассировки, такие же, как и в предыдущих версиях для функций трассировки уровня Python.

int (*Py_tracefunc)(PyObject *obj, PyFrameObject *frame, int what, PyObject *arg)¶

Тип функции трассировки, регистрируемой с помощью PyEval_SetProfile() и PyEval_SetTrace(). Первый параметр – объект, переданный функции регистрации как obj; frame – это объект фрейма, к которому относится событие; what – одна из констант PyTrace_CALL, PyTrace_EXCEPTION, PyTrace_LINE, PyTrace_RETURN, PyTrace_C_CALL, PyTrace_C_EXCEPTION или PyTrace_C_RETURN, а arg зависит от значения what:

Значение what	Смысл arg
`PyTrace_CALL`	Всегда NULL.
`PyTrace_EXCEPTION`	Информация об исключении, возвращаемая `sys.exc_info()`.
`PyTrace_LINE`	Всегда NULL.
`PyTrace_RETURN`	Значение, возвращаемое вызывающему коду, или NULL, если вызвано исключением.
`PyTrace_C_CALL`	Вызываемый объект функции.
`PyTrace_C_EXCEPTION`	Вызываемый объект функции.
`PyTrace_C_RETURN`	Вызываемый объект функции.

int PyTrace_CALL¶: Значение параметра what функции Py_tracefunc, когда сообщается о новом вызове функции или метода, или о новом входе в генератор. Обратите внимание, что создание итератора для функции-генератора не сообщается, поскольку нет передачи управления байт-коду Python в соответствующем фрейме.

int PyTrace_EXCEPTION¶: Значение параметра what функции Py_tracefunc, когда возникло исключение. Функция обратного вызова вызывается с этим значением для what после обработки любого байт-кода, после которого исключение устанавливается в выполняемом фрейме. В результате, когда распространение исключения вызывает разворачивание стека Python, обратный вызов вызывается при возврате в каждый фрейм по мере распространения исключения. Только функции трассировки получают эти события; профилировщику они не нужны.

int PyTrace_LINE¶: Значение, передаваемое в качестве параметра what в трассировочную функцию (но не в профилирующую функцию), когда сообщается о событии номера строки.

int PyTrace_RETURN¶: Значение параметра what функций Py_tracefunc, когда вызов возвращается без распространения исключения.

int PyTrace_C_CALL¶: Значение параметра what функций Py_tracefunc, когда функция на C собирается быть вызванной.

int PyTrace_C_EXCEPTION¶: Значение параметра what функций Py_tracefunc, когда функция на C возбудила исключение.

int PyTrace_C_RETURN¶: Значение параметра what функций Py_tracefunc, когда функция на C вернулась.

void PyEval_SetProfile(Py_tracefunc func, PyObject *obj)¶: Устанавливает функцию профилировщика в func. Параметр obj передаётся функции в качестве первого аргумента и может быть любым объектом Python или NULL. Если функции профилировщика требуется поддерживать состояние, использование разных значений obj для каждого потока предоставляет удобное и потокобезопасное место для его хранения. Функция профилировщика вызывается для всех отслеживаемых событий, кроме событий с номерами строк.

void PyEval_SetTrace(Py_tracefunc func, PyObject *obj)¶: Устанавливает функцию трассировки в func. Это похоже на PyEval_SetProfile(), за исключением того, что функция трассировки получает события номеров строк.

PyObject* PyEval_GetCallStats(PyObject *self)¶

Возвращает кортеж счётчиков вызовов функций. Для позиций в кортеже определены константы:

Имя	Значение
`PCALL_ALL`	0
`PCALL_FUNCTION`	1
`PCALL_FAST_FUNCTION`	2
`PCALL_FASTER_FUNCTION`	3
`PCALL_METHOD`	4
`PCALL_BOUND_METHOD`	5
`PCALL_CFUNCTION`	6
`PCALL_TYPE`	7
`PCALL_GENERATOR`	8
`PCALL_OTHER`	9
`PCALL_POP`	10

PCALL_FAST_FUNCTION означает, что создавать кортеж аргументов не требуется. PCALL_FASTER_FUNCTION означает, что используется код быстрой настройки фрейма.

Если есть вызов метода, который можно оптимизировать, изменив кортеж аргументов и вызвав функцию напрямую, он записывается дважды.

Эта функция доступна только при компиляции Python с определённым CALL_PROFILE.

Поддержка расширенного отладчика¶Advanced Debugger Support

Эти функции предназначены только для использования расширенными инструментами отладки.

PyInterpreterState* PyInterpreterState_Head()¶: Возвращает объект состояния интерпретатора, находящийся в начале списка всех таких объектов.

PyInterpreterState* PyInterpreterState_Next(PyInterpreterState *interp)¶: Возвращает следующий объект состояния интерпретатора после interp из списка всех таких объектов.

PyThreadState * PyInterpreterState_ThreadHead(PyInterpreterState *interp)¶: Возвращает указатель на первый объект PyThreadState в списке потоков, связанных с интерпретатором interp.

PyThreadState* PyThreadState_Next(PyThreadState *tstate)¶: Возвращает следующий объект состояния потока после tstate из списка всех таких объектов, принадлежащих одному и тому же объекту PyInterpreterState.