extending.md
1> **Источник:** https://python-all.ru/3.13/extending/extending.html2>3> «Документация Python на русском» – неофициальный перевод официальной документации Python: версии от 2.6 до 3.16, полнотекстовый поиск, английский оригинал рядом с переводом. Эта Markdown-версия страницы предназначена для работы с LLM: вставьте её в ChatGPT, Claude или Cursor.45---67# 1. Расширение Python с помощью C или C++89Добавлять новые встроенные модули в Python довольно просто, если вы умеете программировать на C. Такие *модули расширения* могут делать две вещи, которые невозможно выполнить непосредственно в Python: они могут реализовывать новые встроенные типы объектов и вызывать функции библиотек C и системные вызовы.1011Для поддержки расширений Python API (интерфейс прикладного программирования) определяет набор функций, макросов и переменных, предоставляющих доступ к большинству аспектов системы времени выполнения Python. Python API включается в C-файл с помощью заголовка `"Python.h"`.1213Компиляция модуля расширения зависит от его предполагаемого использования, а также от настроек вашей системы; подробности приведены в следующих главах.1415> **Примечание**16>17> Интерфейс расширений на C специфичен для CPython, и модули расширения не работают в других реализациях Python. Во многих случаях можно избежать написания C-расширений и сохранить переносимость на другие реализации. Например, если ваша задача – вызов функций библиотек C или системных вызовов, стоит рассмотреть использование модуля [`ctypes`](https://python-all.ru/3.13/library/ctypes.html#module-ctypes) или библиотеки [cffi](https://python-all.ru/3.13/extending/extending.html) вместо написания собственного кода на C. Эти модули позволяют писать код на Python для взаимодействия с C-кодом и более переносимы между реализациями Python, чем написание и компиляция модуля расширения на C.1819## 1.1. Простой пример2021Давайте создадим модуль расширения с именем `spam` (любимая еда фанатов Монти Питона…) и предположим, что мы хотим создать интерфейс Python для функции C библиотеки `system()` [\[1\]](https://python-all.ru/3.13/extending/extending.html#id5). Эта функция принимает в качестве аргумента строку, завершающуюся нулевым символом, и возвращает целое число. Мы хотим, чтобы эту функцию можно было вызывать из Python следующим образом:2223```pycon24>>> import spam25>>> status = spam.system("ls -l")26```2728Начните с создания файла `spammodule.c`. (Исторически сложилось, что если модуль называется `spam`, то C-файл, содержащий его реализацию, называется `spammodule.c`; если имя модуля очень длинное, например `spammify`, то имя модуля может быть просто `spammify.c`.)2930Первые две строки нашего файла могут быть:3132```c33#define PY_SSIZE_T_CLEAN34#include <Python.h>35```3637которые подключают Python API (при желании можно добавить комментарий, описывающий назначение модуля, и уведомление об авторских правах).3839> **Примечание**40>41> Поскольку Python может определять некоторые директивы препроцессора, которые влияют на стандартные заголовочные файлы в некоторых системах, *необходимо* включать `Python.h` до того, как будут включены любые стандартные заголовочные файлы.42>43> `#define PY_SSIZE_T_CLEAN` использовался для указания того, что `Py_ssize_t` должен использоваться в некоторых API вместо `int`. Он не требуется начиная с Python 3.13, но мы сохраняем его здесь для обратной совместимости. См. [Строки и буферы](https://python-all.ru/3.13/c-api/arg.html#arg-parsing-string-and-buffers) для описания этого макроса.4445Все видимые пользователю символы, определенные `Python.h`, имеют префикс `Py` или `PY`, за исключением тех, что определены в стандартных заголовочных файлах.4647> **Совет**48>49> Для обратной совместимости `Python.h` включает несколько стандартных заголовочных файлов. Расширения C должны включать те стандартные заголовки, которые они используют, и не должны полагаться на эти неявные включения. Если используется ограниченная версия C API версии 3.13 или новее, неявные включения таковы:50>51> - `<assert.h>`52> - `<intrin.h>` (в Windows)53> - `<inttypes.h>`54> - `<limits.h>`55> - `<math.h>`56> - `<stdarg.h>`57> - `<wchar.h>`58> - `<sys/types.h>` (если присутствует)59>60> Если [`Py_LIMITED_API`](https://python-all.ru/3.13/c-api/stable.html#c.Py_LIMITED_API) не определён или установлен в версию 3.12 или старше, следующие заголовочные файлы также включаются:61>62> - `<ctype.h>`63> - `<unistd.h>` (в POSIX)64>65> Если [`Py_LIMITED_API`](https://python-all.ru/3.13/c-api/stable.html#c.Py_LIMITED_API) не определена или установлена версия 3.10 или старше, то также включаются следующие заголовки:66>67> - `<errno.h>`68> - `<stdio.h>`69> - `<stdlib.h>`70> - `<string.h>`7172Следующее, что мы добавим в наш файл модуля, – это C-функция, которая будет вызываться при вычислении выражения Python `spam.system(string)` (чуть позже мы увидим, как именно она в итоге вызывается):7374```c75static PyObject *76spam_system(PyObject *self, PyObject *args)77{78 const char *command;79 int sts;8081 if (!PyArg_ParseTuple(args, "s", &command))82 return NULL;83 sts = system(command);84 return PyLong_FromLong(sts);85}86```8788Существует прямой способ отображения списка аргументов в Python (например, одиночного выражения `"ls -l"`) на аргументы, передаваемые C-функции. C-функция всегда имеет два аргумента, традиционно называемых *self* и *args*.8990Аргумент *self* указывает на объект модуля для функций уровня модуля; для метода он указывал бы на экземпляр объекта.9192Аргумент *args* будет указателем на кортеж Python, содержащий аргументы. Каждый элемент кортежа соответствует одному аргументу из списка аргументов вызова. Аргументы – это объекты Python; чтобы выполнить с ними какие-либо действия в нашей C-функции, их необходимо преобразовать в значения C. Функция [`PyArg_ParseTuple()`](https://python-all.ru/3.13/c-api/arg.html#c.PyArg_ParseTuple) из Python API проверяет типы аргументов и преобразует их в значения C. Она использует строку формата для определения требуемых типов аргументов, а также типов переменных C, в которые будут сохранены преобразованные значения. Подробнее об этом позже.9394[`PyArg_ParseTuple()`](https://python-all.ru/3.13/c-api/arg.html#c.PyArg_ParseTuple) возвращает истину (ненулевое значение), если все аргументы имеют правильный тип и их компоненты сохранены в переменные, адреса которых переданы. Она возвращает ложь (ноль), если передан недопустимый список аргументов. В последнем случае она также возбуждает соответствующее исключение, чтобы вызывающая функция могла немедленно вернуть `NULL` (как мы видели в примере).9596## 1.2. Интермеццо: ошибки и исключения9798Важное соглашение во всём интерпретаторе Python заключается в следующем: когда функция завершается ошибкой, она должна установить условие исключения и вернуть значение ошибки (обычно `-1` или указатель `NULL`). Информация об исключении хранится в трёх элементах состояния потока интерпретатора. Если исключения нет, они равны `NULL`. В противном случае они являются C-эквивалентами элементов кортежа Python, возвращаемого функцией [`sys.exc_info()`](https://python-all.ru/3.13/library/sys.html#sys.exc_info). Это тип исключения, экземпляр исключения и объект traceback. Важно знать о них, чтобы понимать, как передаются ошибки.99100Python API определяет ряд функций для установки различных типов исключений.101102Самая распространённая из них – [`PyErr_SetString()`](https://python-all.ru/3.13/c-api/exceptions.html#c.PyErr_SetString). Её аргументы – объект исключения и C-строка. Объект исключения обычно является предопределённым объектом, таким как [`PyExc_ZeroDivisionError`](https://python-all.ru/3.13/c-api/exceptions.html#c.PyExc_ZeroDivisionError). C-строка указывает причину ошибки и преобразуется в строковый объект Python, который сохраняется как «связанное значение» исключения.103104Другая полезная функция – [`PyErr_SetFromErrno()`](https://python-all.ru/3.13/c-api/exceptions.html#c.PyErr_SetFromErrno), которая принимает только аргумент-исключение и формирует связанное значение, проверяя глобальную переменную `errno`. Самая общая функция – [`PyErr_SetObject()`](https://python-all.ru/3.13/c-api/exceptions.html#c.PyErr_SetObject), принимающая два объектных аргумента: исключение и его связанное значение. Не требуется [`Py_INCREF()`](https://python-all.ru/3.13/c-api/refcounting.html#c.Py_INCREF) объекты, переданные любой из этих функций.105106Можно неразрушающе проверить, было ли установлено исключение, с помощью [`PyErr_Occurred()`](https://python-all.ru/3.13/c-api/exceptions.html#c.PyErr_Occurred). Она возвращает текущий объект исключения или `NULL`, если исключения не возникло. Обычно не нужно вызывать `PyErr_Occurred()`, чтобы узнать, произошла ли ошибка при вызове функции, так как об этом можно судить по возвращаемому значению.107108Когда функция *f*, вызывающая другую функцию *g*, обнаруживает, что последняя завершилась ошибкой, *f* сама должна вернуть значение ошибки (обычно `NULL` или `-1`). Она *не* должна вызывать одну из функций `PyErr_*` – одна уже была вызвана функцией *g*. Вызывающий код *f* затем также должен вернуть индикацию ошибки своему *своему* вызывающему, опять же *без* вызова `PyErr_*`, и так далее – наиболее подробная причина ошибки уже была сообщена функцией, которая первой её обнаружила. Как только ошибка достигает главного цикла интерпретатора Python, это прерывает выполняемый код Python и пытается найти обработчик исключения, указанный программистом на Python.109110(Бывают ситуации, когда модуль может дать более подробное сообщение об ошибке, вызвав другую функцию `PyErr_*`, и в таких случаях это допустимо. Однако, как правило, это не обязательно и может привести к потере информации о причине ошибки: большинство операций могут завершиться ошибкой по разным причинам.)111112Чтобы проигнорировать исключение, установленное неудачным вызовом функции, условие исключения должно быть явно очищено вызовом [`PyErr_Clear()`](https://python-all.ru/3.13/c-api/exceptions.html#c.PyErr_Clear). Единственный случай, когда C-код должен вызывать `PyErr_Clear()`, – это если он не хочет передавать ошибку интерпретатору, а хочет полностью обработать её самостоятельно (возможно, попробовав что-то другое или сделав вид, что ничего не произошло).113114Каждый неудачный вызов `malloc()` должен быть преобразован в исключение – непосредственный вызывающий код `malloc()` (или `realloc()`) должен вызвать [`PyErr_NoMemory()`](https://python-all.ru/3.13/c-api/exceptions.html#c.PyErr_NoMemory) и сам вернуть индикатор ошибки. Все функции, создающие объекты (например, [`PyLong_FromLong()`](https://python-all.ru/3.13/c-api/long.html#c.PyLong_FromLong)), уже делают это, поэтому данное замечание относится только к тем, кто вызывает `malloc()` напрямую.115116Также обратите внимание, что, за важным исключением [`PyArg_ParseTuple()`](https://python-all.ru/3.13/c-api/arg.html#c.PyArg_ParseTuple) и подобных, функции, возвращающие целочисленный статус, обычно возвращают положительное значение или ноль в случае успеха и `-1` в случае ошибки, как системные вызовы Unix.117118Наконец, следует позаботиться об очистке мусора (вызвав [`Py_XDECREF()`](https://python-all.ru/3.13/c-api/refcounting.html#c.Py_XDECREF) или [`Py_DECREF()`](https://python-all.ru/3.13/c-api/refcounting.html#c.Py_DECREF) для уже созданных объектов) при возврате индикатора ошибки.119120Выбор, какое исключение возбуждать, полностью за вами. Существуют предварительно объявленные C-объекты, соответствующие всем встроенным исключениям Python, например [`PyExc_ZeroDivisionError`](https://python-all.ru/3.13/c-api/exceptions.html#c.PyExc_ZeroDivisionError), которые можно использовать напрямую. Конечно, следует выбирать исключения разумно – не стоит использовать [`PyExc_TypeError`](https://python-all.ru/3.13/c-api/exceptions.html#c.PyExc_TypeError) для обозначения того, что файл не удалось открыть (для этого вероятно следует использовать [`PyExc_OSError`](https://python-all.ru/3.13/c-api/exceptions.html#c.PyExc_OSError)). Если что-то не так со списком аргументов, функция [`PyArg_ParseTuple()`](https://python-all.ru/3.13/c-api/arg.html#c.PyArg_ParseTuple) обычно возбуждает `PyExc_TypeError`. Если значение аргумента должно находиться в определённом диапазоне или удовлетворять другим условиям, подходит [`PyExc_ValueError`](https://python-all.ru/3.13/c-api/exceptions.html#c.PyExc_ValueError).121122Также можно определить новое исключение, уникальное для вашего модуля. Самый простой способ сделать это – объявить статическую глобальную объектную переменную в начале файла:123124```c125static PyObject *SpamError = NULL;126```127128и инициализировать её вызовом [`PyErr_NewException()`](https://python-all.ru/3.13/c-api/exceptions.html#c.PyErr_NewException) в функции [`Py_mod_exec`](https://python-all.ru/3.13/c-api/module.html#c.Py_mod_exec) модуля (`spam_module_exec()`):129130```c131SpamError = PyErr_NewException("spam.error", NULL, NULL);132```133134Поскольку `SpamError` – глобальная переменная, она будет перезаписана при каждой повторной инициализации модуля, когда вызывается функция [`Py_mod_exec`](https://python-all.ru/3.13/c-api/module.html#c.Py_mod_exec).135136Пока давайте избежим этой проблемы: мы заблокируем повторную инициализацию, возбудив [`ImportError`](https://python-all.ru/3.13/library/exceptions.html#ImportError):137138```c139static PyObject *SpamError = NULL;140141static int142spam_module_exec(PyObject *m)143{144 if (SpamError != NULL) {145 PyErr_SetString(PyExc_ImportError,146 "cannot initialize spam module more than once");147 return -1;148 }149 SpamError = PyErr_NewException("spam.error", NULL, NULL);150 if (PyModule_AddObjectRef(m, "SpamError", SpamError) < 0) {151 return -1;152 }153154 return 0;155}156157static PyModuleDef_Slot spam_module_slots[] = {158 {Py_mod_exec, spam_module_exec},159 {0, NULL}160};161162static struct PyModuleDef spam_module = {163 .m_base = PyModuleDef_HEAD_INIT,164 .m_name = "spam",165 .m_size = 0, // неотрицательное166 .m_slots = spam_module_slots,167};168169PyMODINIT_FUNC170PyInit_spam(void)171{172 return PyModuleDef_Init(&spam_module);173}174```175176Обратите внимание, что имя исключения в Python – `spam.error`. Функция [`PyErr_NewException()`](https://python-all.ru/3.13/c-api/exceptions.html#c.PyErr_NewException) может создать класс с базовым классом [`Exception`](https://python-all.ru/3.13/library/exceptions.html#Exception) (если только не передан другой класс вместо `NULL`), описанный в [Встроенные исключения](https://python-all.ru/3.13/library/exceptions.html#bltin-exceptions).177178Также обратите внимание, что переменная `SpamError` сохраняет ссылку на вновь созданный класс исключения; это сделано намеренно! Поскольку исключение может быть удалено из модуля внешним кодом, необходима собственная ссылка на класс, чтобы гарантировать, что он не будет отброшен, что приведёт к превращению `SpamError` в висячий указатель. Если он станет висячим указателем, C-код, возбуждающий исключение, может вызвать аварийный дамп или другие непреднамеренные побочные эффекты.179180Пока отсутствует вызов [`Py_DECREF()`](https://python-all.ru/3.13/c-api/refcounting.html#c.Py_DECREF) для удаления этой ссылки. Даже при завершении работы интерпретатора Python глобальная переменная `SpamError` не будет собрана сборщиком мусора. Она будет «утекать». Однако мы гарантировали, что это произойдёт не более одного раза на процесс.181182Использование [`PyMODINIT_FUNC`](https://python-all.ru/3.13/c-api/intro.html#c.PyMODINIT_FUNC) в качестве возвращаемого типа функции обсуждается далее в этом примере.183184Исключение `spam.error` может быть возбуждено в вашем модуле расширения с помощью вызова [`PyErr_SetString()`](https://python-all.ru/3.13/c-api/exceptions.html#c.PyErr_SetString), как показано ниже:185186```c187static PyObject *188spam_system(PyObject *self, PyObject *args)189{190 const char *command;191 int sts;192193 if (!PyArg_ParseTuple(args, "s", &command))194 return NULL;195 sts = system(command);196 if (sts < 0) {197 PyErr_SetString(SpamError, "System command failed");198 return NULL;199 }200 return PyLong_FromLong(sts);201}202```203204## 1.3. Возвращаясь к примеру205206Вернёмся к нашей функции-примеру. Теперь вы должны понимать этот оператор:207208```c209if (!PyArg_ParseTuple(args, "s", &command))210 return NULL;211```212213Она возвращает `NULL` (индикатор ошибки для функций, возвращающих указатели на объекты), если в списке аргументов обнаружена ошибка, полагаясь на исключение, установленное [`PyArg_ParseTuple()`](https://python-all.ru/3.13/c-api/arg.html#c.PyArg_ParseTuple). В противном случае строковое значение аргумента копируется в локальную переменную `command`. Это присваивание указателя, и строка, на которую он указывает, не должна изменяться (поэтому в стандартном C переменная `command` должна быть объявлена как `const char *command`).214215Следующий оператор – это вызов функции Unix `system()` с передачей строки, полученной от [`PyArg_ParseTuple()`](https://python-all.ru/3.13/c-api/arg.html#c.PyArg_ParseTuple):216217```c218sts = system(command);219```220221Наша функция `spam.system()` должна вернуть значение `sts` как объект Python. Это делается с помощью функции [`PyLong_FromLong()`](https://python-all.ru/3.13/c-api/long.html#c.PyLong_FromLong).222223```c224return PyLong_FromLong(sts);225```226227В данном случае она вернёт целочисленный объект. (Да, даже целые числа в Python – это объекты в куче!)228229Если у вас есть C-функция, которая не возвращает полезного аргумента (функция, возвращающая void), то соответствующая функция Python должна возвращать `None`. Для этого используется следующая идиома (реализованная макросом [`Py_RETURN_NONE`](https://python-all.ru/3.13/c-api/none.html#c.Py_RETURN_NONE)):230231```c232Py_INCREF(Py_None);233return Py_None;234```235236[`Py_None`](https://python-all.ru/3.13/c-api/none.html#c.Py_None) – это имя в C для специального объекта Python `None`. Это настоящий объект Python, а не указатель `NULL`, который в большинстве контекстов означает «ошибку», как мы уже видели.237238## 1.4. Таблица методов модуля и функция инициализации239240Я обещал показать, как `spam_system()` вызывается из программ Python. Сначала нужно перечислить её имя и адрес в «таблице методов»:241242```c243static PyMethodDef spam_methods[] = {244 ...245 {"system", spam_system, METH_VARARGS,246 "Execute a shell command."},247 ...248 {NULL, NULL, 0, NULL} /* Страж */249};250```251252Обратите внимание на третью запись (`METH_VARARGS`). Это флаг, сообщающий интерпретатору соглашение о вызове для C-функции. Обычно он должен быть `METH_VARARGS` или `METH_VARARGS | METH_KEYWORDS`; значение `0` означает, что используется устаревший вариант [`PyArg_ParseTuple()`](https://python-all.ru/3.13/c-api/arg.html#c.PyArg_ParseTuple).253254При использовании только `METH_VARARGS` функция должна ожидать, что параметры уровня Python будут переданы в виде кортежа, пригодного для разбора через [`PyArg_ParseTuple()`](https://python-all.ru/3.13/c-api/arg.html#c.PyArg_ParseTuple); подробнее об этой функции сказано ниже.255256Флаг [`METH_KEYWORDS`](https://python-all.ru/3.13/c-api/structures.html#c.METH_KEYWORDS) может быть установлен в третьем поле, если функции должны передаваться ключевые аргументы. В этом случае C-функция должна принимать третий параметр `PyObject *` – словарь ключевых слов. Для разбора аргументов такой функции используйте [`PyArg_ParseTupleAndKeywords()`](https://python-all.ru/3.13/c-api/arg.html#c.PyArg_ParseTupleAndKeywords).257258Таблица методов должна быть указана в структуре определения модуля:259260```c261static struct PyModuleDef spam_module = {262 ...263 .m_methods = spam_methods,264 ...265};266```267268Эта структура, в свою очередь, должна быть передана интерпретатору в функции инициализации модуля. Функция инициализации должна называться `PyInit_name()`, где *name* – имя модуля, и должна быть единственным не-`static` элементом, определённым в файле модуля:269270```c271PyMODINIT_FUNC272PyInit_spam(void)273{274 return PyModuleDef_Init(&spam_module);275}276```277278Обратите внимание, что [`PyMODINIT_FUNC`](https://python-all.ru/3.13/c-api/intro.html#c.PyMODINIT_FUNC) объявляет функцию с возвращаемым типом `PyObject *`, указывает любые специальные объявления компоновки, требуемые платформой, и для C++ объявляет функцию как `extern "C"`.279280`PyInit_spam()` вызывается, когда каждый интерпретатор впервые импортирует свой модуль `spam`. (Ниже приведены замечания по встраиванию Python.) Через [`PyModuleDef_Init()`](https://python-all.ru/3.13/c-api/module.html#c.PyModuleDef_Init) должен быть возвращён указатель на определение модуля, чтобы механизм импорта мог создать модуль и сохранить его в `sys.modules`.281282При встраивании Python функция `PyInit_spam()` не вызывается автоматически, если только в таблице [`PyImport_Inittab`](https://python-all.ru/3.13/c-api/import.html#c.PyImport_Inittab) нет соответствующей записи. Чтобы добавить модуль в таблицу инициализации, используйте [`PyImport_AppendInittab()`](https://python-all.ru/3.13/c-api/import.html#c.PyImport_AppendInittab), за которым опционально следует импорт модуля:283284```c285#define PY_SSIZE_T_CLEAN286#include <Python.h>287288int289main(int argc, char *argv[])290{291 PyStatus status;292 PyConfig config;293 PyConfig_InitPythonConfig(&config);294295 /* Добавить встроенный модуль перед Py_Initialize */296 if (PyImport_AppendInittab("spam", PyInit_spam) == -1) {297 fprintf(stderr, "Error: could not extend in-built modules table\n");298 exit(1);299 }300301 /* Передать argv[0] интерпретатору Python */302 status = PyConfig_SetBytesString(&config, &config.program_name, argv[0]);303 if (PyStatus_Exception(status)) {304 goto exception;305 }306307 /* Инициализировать интерпретатор Python. Обязательно.308 Если этот шаг завершится неудачей, произойдет фатальная ошибка. */309 status = Py_InitializeFromConfig(&config);310 if (PyStatus_Exception(status)) {311 goto exception;312 }313 PyConfig_Clear(&config);314315 /* Опционально импортировать модуль; в качестве альтернативы,316 импорт может быть отложен до тех пор, пока встроенный скрипт317 не импортирует его. */318 PyObject *pmodule = PyImport_ImportModule("spam");319 if (!pmodule) {320 PyErr_Print();321 fprintf(stderr, "Error: could not import module 'spam'\n");322 }323324 // ... здесь использовать Python C API ...325326 return 0;327328 exception:329 PyConfig_Clear(&config);330 Py_ExitStatusException(status);331}332```333334> **Примечание**335>336> Если объявить глобальную переменную или локальную статическую, модуль может получить непреднамеренные побочные эффекты при повторной инициализации, например, при удалении записей из `sys.modules` или при импорте скомпилированных модулей в несколько интерпретаторов внутри одного процесса (или после `fork()` без промежуточного `exec()`). Если состояние модуля ещё не полностью [изолировано](https://python-all.ru/3.13/howto/isolating-extensions.html#isolating-extensions-howto), авторам следует рассмотреть возможность пометки модуля как не поддерживающего подынтерпретаторы (через [`Py_MOD_MULTIPLE_INTERPRETERS_NOT_SUPPORTED`](https://python-all.ru/3.13/c-api/module.html#c.Py_MOD_MULTIPLE_INTERPRETERS_NOT_SUPPORTED)).337338Более содержательный пример модуля включён в дистрибутив исходных кодов Python как `Modules/xxlimited.c`. Этот файл можно использовать как шаблон или просто прочитать как пример.339340## 1.5. Компиляция и компоновка341342Перед использованием нового расширения необходимо сделать ещё две вещи: скомпилировать и скомпоновать его с системой Python. Если используется динамическая загрузка, детали могут зависеть от стиля динамической загрузки, применяемого в вашей системе; см. главы о сборке модулей расширения (глава [Сборка расширений на C и C++](https://python-all.ru/3.13/extending/building.html#building)) и дополнительную информацию, относящуюся только к сборке в Windows (глава [Сборка расширений на C и C++ в Windows](https://python-all.ru/3.13/extending/windows.html#building-on-windows)) для получения более подробных сведений.343344Если динамическая загрузка недоступна или вы хотите сделать модуль постоянной частью интерпретатора Python, придётся изменить конфигурацию и пересобрать интерпретатор. К счастью, в Unix это очень просто: поместите ваш файл (например, `spammodule.c`) в каталог `Modules/` распакованного дистрибутива исходных кодов, добавьте строку в файл `Modules/Setup.local`, описывающую ваш файл:345346```sh347spam spammodule.o348```349350и пересобрать интерпретатор, выполнив **make** в корневом каталоге. Также можно выполнить **make** в подкаталоге `Modules/`, но тогда сначала нужно пересобрать `Makefile` там, выполнив '**make** Makefile'. (Это необходимо каждый раз при изменении файла `Setup`.)351352Если ваш модуль требует дополнительных библиотек для компоновки, их также можно перечислить в строке конфигурационного файла, например:353354```sh355spam spammodule.o -lX11356```357358## 1.6. Вызов функций Python из C359360До сих пор мы сосредотачивались на том, как сделать C-функции вызываемыми из Python. Обратное также полезно: вызов функций Python из C. Это особенно актуально для библиотек, поддерживающих так называемые «колбэки». Если C-интерфейс использует колбэки, то эквивалентный Python часто должен предоставить механизм колбэков программисту на Python; реализация потребует вызова функций Python-колбэков из C-колбэка. Можно представить и другие варианты использования.361362К счастью, интерпретатор Python легко вызывается рекурсивно, и существует стандартный интерфейс для вызова функции Python. (Если вас интересует, как вызвать парсер Python с определённой строкой на входе, обратитесь к разделу [Самый высокоуровневый слой](https://python-all.ru/3.13/c-api/veryhigh.html#veryhigh).)363364Вызвать функцию Python легко. Во-первых, программа на Python должна каким-то образом передать вам объект функции Python. Вы должны предоставить функцию (или какой-то другой интерфейс) для этого. Когда эта функция вызывается, сохраните указатель на объект функции Python (не забудьте [`Py_INCREF()`](https://python-all.ru/3.13/c-api/refcounting.html#c.Py_INCREF) её!) в глобальной переменной – или где сочтёте нужным. Например, следующая функция может быть частью определения модуля:365366```c367static PyObject *my_callback = NULL;368369static PyObject *370my_set_callback(PyObject *dummy, PyObject *args)371{372 PyObject *result = NULL;373 PyObject *temp;374375 if (PyArg_ParseTuple(args, "O:set_callback", &temp)) {376 if (!PyCallable_Check(temp)) {377 PyErr_SetString(PyExc_TypeError, "parameter must be callable");378 return NULL;379 }380 Py_XINCREF(temp); /* Добавить ссылку на новый колбэк */381 Py_XDECREF(my_callback); /* Освободить предыдущий колбэк */382 my_callback = temp; /* Запомнить новый колбэк */383 /* Шаблон для возврата None */384 Py_INCREF(Py_None);385 result = Py_None;386 }387 return result;388}389```390391Эта функция должна быть зарегистрирована в интерпретаторе с помощью флага [`METH_VARARGS`](https://python-all.ru/3.13/c-api/structures.html#c.METH_VARARGS); это описано в разделе [Таблица методов модуля и функция инициализации](https://python-all.ru/3.13/extending/extending.html#methodtable). Функция [`PyArg_ParseTuple()`](https://python-all.ru/3.13/c-api/arg.html#c.PyArg_ParseTuple) и её аргументы описаны в разделе [Извлечение параметров в функциях расширения](https://python-all.ru/3.13/extending/extending.html#parsetuple).392393Макросы [`Py_XINCREF()`](https://python-all.ru/3.13/c-api/refcounting.html#c.Py_XINCREF) и [`Py_XDECREF()`](https://python-all.ru/3.13/c-api/refcounting.html#c.Py_XDECREF) увеличивают/уменьшают счётчик ссылок объекта и безопасны при наличии указателей `NULL` (но обратите внимание, что *temp* не будет `NULL` в этом контексте). Подробнее о них в разделе [Счётчики ссылок](https://python-all.ru/3.13/extending/extending.html#refcounts).394395Позже, когда придёт время вызвать функцию, вы вызываете C-функцию [`PyObject_CallObject()`](https://python-all.ru/3.13/c-api/call.html#c.PyObject_CallObject). Эта функция имеет два аргумента, оба указатели на произвольные объекты Python: функцию Python и список аргументов. Список аргументов всегда должен быть объектом кортежа, длина которого равна количеству аргументов. Для вызова функции Python без аргументов передайте `NULL` или пустой кортеж; для вызова с одним аргументом передайте кортеж из одного элемента. [`Py_BuildValue()`](https://python-all.ru/3.13/c-api/arg.html#c.Py_BuildValue) возвращает кортеж, если строка формата состоит из нуля или более кодов формата в скобках. Например:396397```c398int arg;399PyObject *arglist;400PyObject *result;401...402arg = 123;403...404/* Вызов колбэка */405arglist = Py_BuildValue("(i)", arg);406result = PyObject_CallObject(my_callback, arglist);407Py_DECREF(arglist);408```409410[`PyObject_CallObject()`](https://python-all.ru/3.13/c-api/call.html#c.PyObject_CallObject) возвращает указатель на объект Python: это возвращаемое значение функции Python. `PyObject_CallObject()` нейтрален по отношению к счётчику ссылок своих аргументов. В примере был создан новый кортеж для использования в качестве списка аргументов, который [`Py_DECREF()`](https://python-all.ru/3.13/c-api/refcounting.html#c.Py_DECREF)-ится сразу после вызова `PyObject_CallObject()`.411412Возвращаемое значение [`PyObject_CallObject()`](https://python-all.ru/3.13/c-api/call.html#c.PyObject_CallObject) является «новым»: это либо совершенно новый объект, либо существующий объект, чей счётчик ссылок был увеличен. Поэтому, если вы не хотите сохранять его в глобальной переменной, вы должны каким-то образом [`Py_DECREF()`](https://python-all.ru/3.13/c-api/refcounting.html#c.Py_DECREF) результат, даже (особенно!) если вас не интересует его значение.413414Однако перед этим важно проверить, что возвращаемое значение не равно `NULL`. Если это так, функция Python завершилась возбуждением исключения. Если C-код, вызвавший [`PyObject_CallObject()`](https://python-all.ru/3.13/c-api/call.html#c.PyObject_CallObject), был вызван из Python, он должен вернуть индикатор ошибки своему вызывающему коду на Python, чтобы интерпретатор мог вывести трассировку стека, или вызывающий код на Python мог обработать исключение. Если это невозможно или нежелательно, исключение следует очистить вызовом [`PyErr_Clear()`](https://python-all.ru/3.13/c-api/exceptions.html#c.PyErr_Clear). Например:415416```c417if (result == NULL)418 return NULL; /* Передать ошибку обратно */419...use result...420Py_DECREF(result);421```422423В зависимости от желаемого интерфейса к Python-функции обратного вызова, вам также может потребоваться предоставить список аргументов для [`PyObject_CallObject()`](https://python-all.ru/3.13/c-api/call.html#c.PyObject_CallObject). В некоторых случаях список аргументов также предоставляется программой на Python через тот же интерфейс, который задал функцию обратного вызова. Затем его можно сохранить и использовать так же, как объект функции. В других случаях вам может потребоваться создать новый кортеж для передачи в качестве списка аргументов. Самый простой способ сделать это – вызвать [`Py_BuildValue()`](https://python-all.ru/3.13/c-api/arg.html#c.Py_BuildValue). Например, если вы хотите передать целочисленный код события, можно использовать следующий код:424425```c426PyObject *arglist;427...428arglist = Py_BuildValue("(l)", eventcode);429result = PyObject_CallObject(my_callback, arglist);430Py_DECREF(arglist);431if (result == NULL)432 return NULL; /* Передать ошибку обратно */433/* Здесь, возможно, используется результат */434Py_DECREF(result);435```436437Обратите внимание на размещение `Py_DECREF(arglist)` сразу после вызова, перед проверкой ошибки! Также обратите внимание, что строго говоря, этот код не полон: [`Py_BuildValue()`](https://python-all.ru/3.13/c-api/arg.html#c.Py_BuildValue) может исчерпать память, и это должно быть проверено.438439Вы также можете вызвать функцию с именованными аргументами, используя [`PyObject_Call()`](https://python-all.ru/3.13/c-api/call.html#c.PyObject_Call), который поддерживает аргументы и именованные аргументы. Как в примере выше, мы используем [`Py_BuildValue()`](https://python-all.ru/3.13/c-api/arg.html#c.Py_BuildValue) для создания словаря.440441```c442PyObject *dict;443...444dict = Py_BuildValue("{s:i}", "name", val);445result = PyObject_Call(my_callback, NULL, dict);446Py_DECREF(dict);447if (result == NULL)448 return NULL; /* Передать ошибку обратно */449/* Здесь, возможно, используется результат */450Py_DECREF(result);451```452453## 1.7. Извлечение параметров в функциях расширения454455Функция [`PyArg_ParseTuple()`](https://python-all.ru/3.13/c-api/arg.html#c.PyArg_ParseTuple) объявляется следующим образом:456457```c458int PyArg_ParseTuple(PyObject *arg, const char *format, ...);459```460461Аргумент *arg* должен быть объектом кортежа, содержащим список аргументов, переданных из Python в C-функцию. Аргумент *format* должен быть строкой формата, чей синтаксис описан в разделе [Разбор аргументов и построение значений](https://python-all.ru/3.13/c-api/arg.html#arg-parsing) справочного руководства Python/C API. Остальные аргументы должны быть адресами переменных, чей тип определяется строкой формата.462463Обратите внимание, что хотя [`PyArg_ParseTuple()`](https://python-all.ru/3.13/c-api/arg.html#c.PyArg_ParseTuple) проверяет, что аргументы Python имеют требуемые типы, он не может проверить корректность адресов C-переменных, переданных в вызов: если там допущены ошибки, код, вероятно, аварийно завершится или, по крайней мере, перезапишет случайные биты в памяти. Поэтому следует быть осторожным!464465Обратите внимание, что любые ссылки на объекты Python, передаваемые вызывающему, являются *заимствованными* ссылками; уменьшать их счётчик ссылок не следует.466467Несколько примеров вызовов:468469```c470#define PY_SSIZE_T_CLEAN471#include <Python.h>472```473474```c475int ok;476int i, j;477long k, l;478const char *s;479Py_ssize_t size;480481ok = PyArg_ParseTuple(args, ""); /* Без аргументов */482 /* Вызов Python: f() */483```484485```c486ok = PyArg_ParseTuple(args, "s", &s); /* Строка */487 /* Возможный вызов Python: f('whoops!') */488```489490```c491ok = PyArg_ParseTuple(args, "lls", &k, &l, &s); /* Два длинных целых и строка */492 /* Возможный вызов Python: f(1, 2, 'three') */493```494495```c496ok = PyArg_ParseTuple(args, "(ii)s#", &i, &j, &s, &size);497 /* Пара int и строка, размер которой также возвращается */498 /* Возможный вызов Python: f((1, 2), 'three') */499```500501```c502{503 const char *file;504 const char *mode = "r";505 int bufsize = 0;506 ok = PyArg_ParseTuple(args, "s|si", &file, &mode, &bufsize);507 /* Строка и, опционально, ещё одна строка и целое число */508 /* Возможные вызовы Python:509 f('spam')510 f('spam', 'w')511 f('spam', 'wb', 100000) */512}513```514515```c516{517 int left, top, right, bottom, h, v;518 ok = PyArg_ParseTuple(args, "((ii)(ii))(ii)",519 &left, &top, &right, &bottom, &h, &v);520 /* Прямоугольник и точка */521 /* Возможный вызов Python:522 f(((0, 0), (400, 300)), (10, 10)) */523}524```525526```c527{528 Py_complex c;529 ok = PyArg_ParseTuple(args, "D:myfunction", &c);530 /* комплексное число, также предоставляющее имя функции для сообщений об ошибках */531 /* Возможный вызов Python: myfunction(1+2j) */532}533```534535## 1.8. Именованные параметры для функций расширения536537Функция [`PyArg_ParseTupleAndKeywords()`](https://python-all.ru/3.13/c-api/arg.html#c.PyArg_ParseTupleAndKeywords) объявляется следующим образом:538539```c540int PyArg_ParseTupleAndKeywords(PyObject *arg, PyObject *kwdict,541 const char *format, char * const *kwlist, ...);542```543544Параметры *arg* и *format* идентичны параметрам функции [`PyArg_ParseTuple()`](https://python-all.ru/3.13/c-api/arg.html#c.PyArg_ParseTuple). Параметр *kwdict* – это словарь ключевых слов, полученный в качестве третьего параметра от среды выполнения Python. Параметр *kwlist* – это список строк, завершающийся `NULL`, который идентифицирует параметры; имена сопоставляются с информацией о типах из *format* слева направо. В случае успеха [`PyArg_ParseTupleAndKeywords()`](https://python-all.ru/3.13/c-api/arg.html#c.PyArg_ParseTupleAndKeywords) возвращает true, в противном случае возвращает false и возбуждает соответствующее исключение.545546> **Примечание**547>548> Вложенные кортежи не могут быть разобраны при использовании именованных аргументов! Именованные параметры, переданные, но отсутствующие в *kwlist*, приведут к возбуждению [`TypeError`](https://python-all.ru/3.13/library/exceptions.html#TypeError).549550Вот пример модуля, использующего ключевые слова, основанный на примере Джеффа Филбрика ([philbrick@hks.com](https://python-all.ru/3.13/extending/extending.html)):551552```c553#define PY_SSIZE_T_CLEAN554#include <Python.h>555556static PyObject *557keywdarg_parrot(PyObject *self, PyObject *args, PyObject *keywds)558{559 int voltage;560 const char *state = "a stiff";561 const char *action = "voom";562 const char *type = "Norwegian Blue";563564 static char *kwlist[] = {"voltage", "state", "action", "type", NULL};565566 if (!PyArg_ParseTupleAndKeywords(args, keywds, "i|sss", kwlist,567 &voltage, &state, &action, &type))568 return NULL;569570 printf("-- This parrot wouldn't %s if you put %i Volts through it.\n",571 action, voltage);572 printf("-- Lovely plumage, the %s -- It's %s!\n", type, state);573574 Py_RETURN_NONE;575}576577static PyMethodDef keywdarg_methods[] = {578 /* Приведение функции необходимо, поскольку значения PyCFunction579 * принимают только два параметра PyObject*, а keywdarg_parrot() принимает580 * три.581 */582 {"parrot", (PyCFunction)(void(*)(void))keywdarg_parrot, METH_VARARGS | METH_KEYWORDS,583 "Print a lovely skit to standard output."},584 {NULL, NULL, 0, NULL} /* сторожевое значение */585};586587static struct PyModuleDef keywdarg_module = {588 .m_base = PyModuleDef_HEAD_INIT,589 .m_name = "keywdarg",590 .m_size = 0,591 .m_methods = keywdarg_methods,592};593594PyMODINIT_FUNC595PyInit_keywdarg(void)596{597 return PyModuleDef_Init(&keywdarg_module);598}599```600601## 1.9. Создание произвольных значений602603Эта функция является аналогом [`PyArg_ParseTuple()`](https://python-all.ru/3.13/c-api/arg.html#c.PyArg_ParseTuple). Она объявляется следующим образом:604605```c606PyObject *Py_BuildValue(const char *format, ...);607```608609Она распознаёт набор форматных единиц, аналогичный распознаваемым [`PyArg_ParseTuple()`](https://python-all.ru/3.13/c-api/arg.html#c.PyArg_ParseTuple), но аргументы (которые являются входными для функции, а не выходными) не должны быть указателями, только значениями. Она возвращает новый объект Python, подходящий для возврата из C-функции, вызванной из Python.610611Одно отличие от [`PyArg_ParseTuple()`](https://python-all.ru/3.13/c-api/arg.html#c.PyArg_ParseTuple): последняя требует, чтобы её первый аргумент был кортежем (поскольку списки аргументов Python внутренне всегда представлены как кортежи), тогда как [`Py_BuildValue()`](https://python-all.ru/3.13/c-api/arg.html#c.Py_BuildValue) не всегда строит кортеж. Она строит кортеж, только если строка формата содержит две или более форматных единиц. Если строка формата пуста, она возвращает `None`; если она содержит ровно одну форматную единицу, она возвращает объект, описываемый этой единицей. Чтобы принудительно вернуть кортеж размера 0 или 1, строку формата следует заключить в скобки.612613Примеры (слева вызов, справа результирующее значение Python):614615```text616Py_BuildValue("") None617Py_BuildValue("i", 123) 123618Py_BuildValue("iii", 123, 456, 789) (123, 456, 789)619Py_BuildValue("s", "hello") 'hello'620Py_BuildValue("y", "hello") b'hello'621Py_BuildValue("ss", "hello", "world") ('hello', 'world')622Py_BuildValue("s#", "hello", 4) 'hell'623Py_BuildValue("y#", "hello", 4) b'hell'624Py_BuildValue("()") ()625Py_BuildValue("(i)", 123) (123,)626Py_BuildValue("(ii)", 123, 456) (123, 456)627Py_BuildValue("(i,i)", 123, 456) (123, 456)628Py_BuildValue("[i,i]", 123, 456) [123, 456]629Py_BuildValue("{s:i,s:i}",630 "abc", 123, "def", 456) {'abc': 123, 'def': 456}631Py_BuildValue("((ii)(ii)) (ii)",632 1, 2, 3, 4, 5, 6) (((1, 2), (3, 4)), (5, 6))633```634635## 1.10. Счётчики ссылок636637В таких языках, как C или C++, программист отвечает за динамическое выделение и освобождение памяти в куче. В C это делается с помощью функций `malloc()` и `free()`. В C++ операторы `new` и `delete` используются с тем же смыслом; дальнейшее обсуждение ограничивается случаем C.638639Каждый блок памяти, выделенный через `malloc()`, в конечном итоге должен быть возвращён в пул доступной памяти ровно одним вызовом `free()`. Важно вызвать `free()` в нужный момент. Если адрес блока забыт, но `free()` для него не вызвана, занимаемая им память не может быть повторно использована до завершения программы. Это называется *утечкой памяти*. С другой стороны, если программа вызывает `free()` для блока, а затем продолжает его использовать, это создаёт конфликт с повторным использованием блока через другой вызов `malloc()`. Это называется *использованием освобождённой памяти*. Это имеет те же негативные последствия, что и обращение к неинициализированным данным – дампы памяти, неверные результаты, таинственные аварийные завершения.640641Распространённые причины утечек памяти – нестандартные пути выполнения кода. Например, функция может выделить блок памяти, выполнить некоторые вычисления, а затем снова освободить блок. Теперь изменение требований к функции может добавить в вычисление проверку, которая обнаруживает ошибочную ситуацию и может привести к преждевременному возврату из функции. Легко забыть освободить выделенный блок памяти при таком преждевременном выходе, особенно если он был добавлен в код позднее. Такие утечки, будучи однажды внесёнными, часто остаются незамеченными долгое время: ошибочный выход происходит лишь в небольшой доле всех вызовов, а на большинстве современных машин достаточно виртуальной памяти, поэтому утечка становится заметна только в долго работающем процессе, который часто использует функцию с утечкой. Следовательно, важно предотвращать утечки, используя соглашение о кодировании или стратегию, которая минимизирует такого рода ошибки.642643Поскольку Python активно использует `malloc()` и `free()`, ему нужна стратегия для предотвращения как утечек памяти, так и использования освобождённой памяти. Выбранный метод называется *подсчётом ссылок*. Принцип прост: каждый объект содержит счётчик, который увеличивается, когда ссылка на объект сохраняется где-либо, и уменьшается, когда ссылка на него удаляется. Когда счётчик достигает нуля, последняя ссылка на объект удалена, и объект освобождается.644645Альтернативная стратегия называется *автоматической сборкой мусора*. (Иногда подсчёт ссылок также называют стратегией сборки мусора, поэтому для различия используется термин «автоматическая».) Большое преимущество автоматической сборки мусора в том, что пользователю не нужно явно вызывать `free()`. (Другим заявляемым преимуществом является повышение скорости или эффективности использования памяти – однако это не является строгим фактом.) Недостаток в том, что для C не существует действительно переносимого автоматического сборщика мусора, в то время как подсчёт ссылок может быть реализован переносимо (при условии, что доступны функции `malloc()` и `free()` – что гарантируется стандартом C). Возможно, когда-нибудь появится достаточно переносимый автоматический сборщик мусора для C. А до тех пор придётся мириться с подсчётом ссылок.646647Хотя Python использует традиционную реализацию подсчёта ссылок, он также предлагает детектор циклов, который обнаруживает циклические ссылки. Это позволяет приложениям не беспокоиться о создании прямых или косвенных циклических ссылок; они являются слабым местом сборки мусора, реализованной только с помощью подсчёта ссылок. Циклические ссылки состоят из объектов, которые содержат (возможно, косвенные) ссылки на самих себя, так что каждый объект в цикле имеет ненулевой счётчик ссылок. Типичные реализации подсчёта ссылок не могут освободить память, принадлежащую объектам в циклической ссылке или на которые есть ссылки из объектов в цикле, даже если на сам цикл больше нет ссылок.648649Детектор циклов способен обнаруживать мусорные циклы и может их освобождать. Модуль [`gc`](https://python-all.ru/3.13/library/gc.html#module-gc) предоставляет способ запуска детектора (функция [`collect()`](https://python-all.ru/3.13/library/gc.html#gc.collect)), а также интерфейсы конфигурации и возможность отключения детектора во время выполнения.650651### 1.10.1. Подсчёт ссылок в Python652653Существуют два макроса, `Py_INCREF(x)` и `Py_DECREF(x)`, которые управляют увеличением и уменьшением счётчика ссылок. [`Py_DECREF()`](https://python-all.ru/3.13/c-api/refcounting.html#c.Py_DECREF) также освобождает объект, когда счётчик достигает нуля. Для гибкости он не вызывает `free()` напрямую – вместо этого он выполняет вызов через указатель на функцию в *объекте типа* объекта. Для этой цели (и других) каждый объект также содержит указатель на свой объект типа.654655Остаётся главный вопрос: когда использовать `Py_INCREF(x)` и `Py_DECREF(x)`? Сначала введём несколько терминов. Никто не «владеет» объектом; однако можно *владеть ссылкой* на объект. Счётчик ссылок объекта теперь определяется как количество принадлежащих (owned) ссылок на него. Владелец ссылки отвечает за вызов [`Py_DECREF()`](https://python-all.ru/3.13/c-api/refcounting.html#c.Py_DECREF), когда ссылка больше не нужна. Владение ссылкой может быть передано. Существует три способа распорядиться принадлежащей ссылкой: передать её, сохранить или вызвать `Py_DECREF()`. Забыть распорядиться принадлежащей ссылкой – значит создать утечку памяти.656657Также возможно *заимствовать* [\[2\]](https://python-all.ru/3.13/extending/extending.html#id6) ссылку на объект. Заимствующий ссылку не должен вызывать [`Py_DECREF()`](https://python-all.ru/3.13/c-api/refcounting.html#c.Py_DECREF). Заимствующий не должен удерживать объект дольше, чем владелец, у которого она была заимствована. Использование заимствованной ссылки после того, как владелец распорядился ею, связано с риском использования освобождённой памяти и должно полностью избегаться [\[3\]](https://python-all.ru/3.13/extending/extending.html#id7).658659Преимущество заимствования ссылки перед владением в том, что не нужно заботиться о распоряжении ссылкой на всех возможных путях выполнения кода – иными словами, с заимствованной ссылкой нет риска утечки при преждевременном выходе. Недостаток заимствования по сравнению с владением в том, что существуют некоторые тонкие ситуации, когда в, казалось бы, корректном коде заимствованная ссылка может быть использована после того, как владелец, у которого она была заимствована, фактически распорядился ею.660661Заимствованная ссылка может быть превращена в собственную путём вызова [`Py_INCREF()`](https://python-all.ru/3.13/c-api/refcounting.html#c.Py_INCREF). Это не влияет на статус владельца, у которого была заимствована ссылка – создаётся новая собственная ссылка, и на нового владельца возлагаются все обязанности владельца (новый владелец должен правильно распорядиться ссылкой, равно как и предыдущий владелец).662663### 1.10.2. Правила владения664665Всякий раз, когда ссылка на объект передаётся в функцию или из неё, является частью спецификации интерфейса функции, передаётся ли владение вместе со ссылкой или нет.666667Большинство функций, возвращающих ссылку на объект, передают вместе с ней и владение. В частности, все функции, чья задача – создать новый объект, такие как [`PyLong_FromLong()`](https://python-all.ru/3.13/c-api/long.html#c.PyLong_FromLong) и [`Py_BuildValue()`](https://python-all.ru/3.13/c-api/arg.html#c.Py_BuildValue), передают владение получателю. Даже если объект на самом деле не новый, всё равно получается владение новой ссылкой на этот объект. Например, `PyLong_FromLong()` поддерживает кеш популярных значений и может вернуть ссылку на кешированный элемент.668669Многие функции, извлекающие объекты из других объектов, также передают владение вместе со ссылкой, например [`PyObject_GetAttrString()`](https://python-all.ru/3.13/c-api/object.html#c.PyObject_GetAttrString). Однако здесь картина менее ясна, поскольку несколько распространённых подпрограмм являются исключениями: [`PyTuple_GetItem()`](https://python-all.ru/3.13/c-api/tuple.html#c.PyTuple_GetItem), [`PyList_GetItem()`](https://python-all.ru/3.13/c-api/list.html#c.PyList_GetItem), [`PyDict_GetItem()`](https://python-all.ru/3.13/c-api/dict.html#c.PyDict_GetItem) и [`PyDict_GetItemString()`](https://python-all.ru/3.13/c-api/dict.html#c.PyDict_GetItemString) – все они возвращают ссылки, которые заимствуются из кортежа, списка или словаря.670671Функция [`PyImport_AddModule()`](https://python-all.ru/3.13/c-api/import.html#c.PyImport_AddModule) также возвращает заимствованную ссылку, даже если она на самом деле создаёт возвращаемый объект: это возможно, потому что собственная ссылка на объект хранится в `sys.modules`.672673Когда вы передаёте ссылку на объект в другую функцию, в общем случае функция заимствует у вас эту ссылку – если ей нужно сохранить её, она использует [`Py_INCREF()`](https://python-all.ru/3.13/c-api/refcounting.html#c.Py_INCREF), чтобы стать независимым владельцем. Из этого правила есть ровно два важных исключения: [`PyTuple_SetItem()`](https://python-all.ru/3.13/c-api/tuple.html#c.PyTuple_SetItem) и [`PyList_SetItem()`](https://python-all.ru/3.13/c-api/list.html#c.PyList_SetItem). Эти функции принимают владение переданным им объектом – даже в случае неудачи! (Обратите внимание, что [`PyDict_SetItem()`](https://python-all.ru/3.13/c-api/dict.html#c.PyDict_SetItem) и подобные ему функции не принимают владение – они «нормальные».)674675Когда C-функция вызывается из Python, она заимствует ссылки на свои аргументы у вызывающей стороны. Вызывающая сторона владеет ссылкой на объект, поэтому время жизни заимствованной ссылки гарантировано до возврата из функции. Только если такую заимствованную ссылку необходимо сохранить или передать дальше, она должна быть превращена в собственную ссылку с помощью вызова [`Py_INCREF()`](https://python-all.ru/3.13/c-api/refcounting.html#c.Py_INCREF).676677Ссылка на объект, возвращаемая из C-функции, вызванной из Python, должна быть собственной – владение передаётся от функции её вызывающей стороне.678679### 1.10.3. Тонкий лёд680681Есть несколько ситуаций, когда безобидное, на первый взгляд, использование заимствованной ссылки может привести к проблемам. Все они связаны с неявными вызовами интерпретатора, которые могут заставить владельца ссылки освободить её.682683Первый и самый важный случай, о котором стоит знать, – это использование [`Py_DECREF()`](https://python-all.ru/3.13/c-api/refcounting.html#c.Py_DECREF) на постороннем объекте, пока заимствована ссылка на элемент списка. Например:684685```c686void687bug(PyObject *list)688{689 PyObject *item = PyList_GetItem(list, 0);690691 PyList_SetItem(list, 1, PyLong_FromLong(0L));692 PyObject_Print(item, stdout, 0); /* ОШИБКА! */693}694```695696Эта функция сначала заимствует ссылку на `list[0]`, затем заменяет `list[1]` значением `0` и наконец печатает заимствованную ссылку. Выглядит безобидно, правда? Но это не так!697698Давайте проследим поток управления внутри [`PyList_SetItem()`](https://python-all.ru/3.13/c-api/list.html#c.PyList_SetItem). Список владеет ссылками на все свои элементы, поэтому при замене элемента 1 ему приходится освобождать исходный элемент 1. Теперь предположим, что исходный элемент 1 был экземпляром пользовательского класса, и далее предположим, что в этом классе определён метод `__del__()`. Если у этого экземпляра класса счётчик ссылок равен 1, то его освобождение приведёт к вызову метода `__del__()`. Внутренне `PyList_SetItem()` вызывает [`Py_DECREF()`](https://python-all.ru/3.13/c-api/refcounting.html#c.Py_DECREF) для заменённого элемента, что активирует соответствующую функцию [`tp_dealloc`](https://python-all.ru/3.13/c-api/typeobj.html#c.PyTypeObject.tp_dealloc) заменённого элемента. Во время освобождения `tp_dealloc` вызывает [`tp_finalize`](https://python-all.ru/3.13/c-api/typeobj.html#c.PyTypeObject.tp_finalize), которая отображается на метод `__del__()` для экземпляров классов (см. [**PEP 442**](https://python-all.ru/3.13/extending/extending.html)). Вся эта последовательность выполняется синхронно внутри вызова `PyList_SetItem()`.699700Поскольку метод `__del__()` написан на Python, он может выполнять произвольный код Python. Может ли он каким-то образом аннулировать ссылку на `item` в `bug()`? Ещё как! Если предположить, что список, переданный в `bug()`, доступен методу `__del__()`, то он может выполнить инструкцию вроде `del list[0]`, и если это была последняя ссылка на этот объект, то он освободит связанную с ним память, тем самым аннулировав `item`.701702Решение, если знать источник проблемы, простое: временно увеличить счётчик ссылок. Правильная версия функции выглядит так:703704```c705void706no_bug(PyObject *list)707{708 PyObject *item = PyList_GetItem(list, 0);709710 Py_INCREF(item);711 PyList_SetItem(list, 1, PyLong_FromLong(0L));712 PyObject_Print(item, stdout, 0);713 Py_DECREF(item);714}715```716717Это реальная история. В старой версии Python были варианты этой ошибки, и кому-то пришлось потратить много времени в отладчике C, чтобы выяснить, почему его методы `__del__()` не работали…718719Второй случай проблем с заимствованной ссылкой – это вариант, связанный с потоками. Обычно несколько потоков в интерпретаторе Python не мешают друг другу, потому что существует [глобальная блокировка](https://python-all.ru/3.13/glossary.html#term-global-interpreter-lock), защищающая всё пространство объектов Python. Однако эту блокировку можно временно отпустить с помощью макроса [`Py_BEGIN_ALLOW_THREADS`](https://python-all.ru/3.13/c-api/init.html#c.Py_BEGIN_ALLOW_THREADS), а затем захватить снова с помощью [`Py_END_ALLOW_THREADS`](https://python-all.ru/3.13/c-api/init.html#c.Py_END_ALLOW_THREADS). Это часто используется вокруг блокирующих операций ввода-вывода, чтобы дать другим потокам возможность использовать процессор в ожидании завершения ввода-вывода. Очевидно, что следующая функция имеет ту же проблему, что и предыдущая:720721```c722void723bug(PyObject *list)724{725 PyObject *item = PyList_GetItem(list, 0);726 Py_BEGIN_ALLOW_THREADS727 ...some blocking I/O call...728 Py_END_ALLOW_THREADS729 PyObject_Print(item, stdout, 0); /* ОШИБКА! */730}731```732733### 1.10.4. Указатели NULL734735В общем случае функции, принимающие ссылки на объекты в качестве аргументов, не ожидают, что вы передадите им указатели `NULL`, и приведут к аварийному завершению (или более поздним сбоям), если вы это сделаете. Функции, возвращающие ссылки на объекты, обычно возвращают `NULL` только для указания на то, что произошло исключение. Причина, по которой не проверяются аргументы на `NULL`, в том, что функции часто передают полученные объекты другим функциям – если бы каждая функция проверяла `NULL`, было бы много избыточных проверок и код работал бы медленнее.736737Лучше проверять на `NULL` только «у источника»: когда получен указатель, который может быть `NULL`, например, от `malloc()` или от функции, которая может возбуждать исключение.738739Макросы [`Py_INCREF()`](https://python-all.ru/3.13/c-api/refcounting.html#c.Py_INCREF) и [`Py_DECREF()`](https://python-all.ru/3.13/c-api/refcounting.html#c.Py_DECREF) не проверяют указатели на `NULL` – однако их варианты [`Py_XINCREF()`](https://python-all.ru/3.13/c-api/refcounting.html#c.Py_XINCREF) и [`Py_XDECREF()`](https://python-all.ru/3.13/c-api/refcounting.html#c.Py_XDECREF) делают это.740741Макросы для проверки конкретного типа объекта (`Pytype_Check()`) не проверяют указатели на `NULL` – опять же, есть много кода, который вызывает несколько таких макросов подряд для проверки объекта на соответствие различным ожидаемым типам, и это порождало бы избыточные проверки. Не существует вариантов с проверкой `NULL`.742743Механизм вызова C-функций гарантирует, что список аргументов, передаваемый C- функциям (`args` в примерах), никогда не равен `NULL` – на самом деле он гарантирует, что это всегда кортеж [\[4\]](https://python-all.ru/3.13/extending/extending.html#id8).744745Серьёзной ошибкой является допустить «утечку» указателя `NULL` к пользователю Python.746747## 1.11. Написание расширений на C++748749Модули расширения можно писать на C++. Применяются некоторые ограничения. Если главная программа (интерпретатор Python) компилируется и компонуется C- компилятором, нельзя использовать глобальные или статические объекты с конструкторами. Это не проблема, если главная программа компонуется C++-компилятором. Функции, которые будут вызываться интерпретатором Python (в частности, функции инициализации модулей), должны быть объявлены с помощью `extern "C"`. Нет необходимости заключать заголовочные файлы Python в `extern "C" {...}` – они уже используют эту форму, если определён символ `__cplusplus` (все современные C++-компиляторы определяют этот символ).750751## 1.12. Предоставление C API для модуля расширения752753Многие модули расширения просто предоставляют новые функции и типы для использования из Python, но иногда код в модуле расширения может быть полезен для других модулей расширения. Например, модуль расширения может реализовать тип «коллекция», который работает как список без порядка. Подобно тому, как стандартный тип списка Python имеет C API, позволяющий модулям расширения создавать списки и управлять ими, этот новый тип коллекции должен иметь набор C-функций для прямого управления из других модулей расширения.754755На первый взгляд задача кажется простой: достаточно написать функции (не объявляя их `static`, разумеется), предоставить соответствующий заголовочный файл и документировать C API. И действительно, это бы сработало, если бы все модули расширения всегда статически компоновались с интерпретатором Python. Однако, когда модули используются как разделяемые библиотеки, символы, определённые в одном модуле, могут быть не видны другому модулю. Детали видимости зависят от операционной системы; одни системы используют единое глобальное пространство имён для интерпретатора Python и всех модулей расширения (например, Windows), а другие требуют явного списка импортируемых символов на этапе компоновки модуля (например, AIX) или предлагают выбор разных стратегий (большинство Unix-систем). И даже если символы глобально видны, модуль, функции которого нужно вызвать, может быть ещё не загружен!756757Поэтому для обеспечения переносимости не следует делать предположений о видимости символов. Это означает, что все символы в модулях расширения должны быть объявлены `static`, за исключением функции инициализации модуля, чтобы избежать конфликтов имён с другими модулями расширения (как обсуждается в разделе [Таблица методов модуля и функция инициализации](https://python-all.ru/3.13/extending/extending.html#methodtable)). И это также означает, что символы, которые *должны* быть доступны из других модулей расширения, должны экспортироваться иным способом.758759Python предоставляет специальный механизм для передачи C-информации (указателей) из одного модуля расширения в другой: Capsules. Capsule – это тип данных Python, который хранит указатель (void\*). Capsules можно создавать и получать доступ к ним только через их C API, но их можно передавать, как любой другой объект Python. В частности, их можно присвоить имени в пространстве имён модуля расширения. Другие модули расширения могут затем импортировать этот модуль, получить значение этого имени, а затем извлечь указатель из Capsule.760761Существует много способов использования Capsules для экспорта C API модуля расширения. Каждая функция может получить свой собственный Capsule, или все указатели C API могут храниться в массиве, адрес которого опубликован в Capsule. А различные задачи хранения и извлечения указателей могут быть распределены разными способами между модулем, предоставляющим код, и модулями-клиентами.762763Какой бы метод вы ни выбрали, важно правильно называть свои Capsules. Функция [`PyCapsule_New()`](https://python-all.ru/3.13/c-api/capsule.html#c.PyCapsule_New) принимает параметр name (const char\*); вы можете передать `NULL` имя, но мы настоятельно рекомендуем указывать имя. Правильно названные Capsules обеспечивают определённый уровень типобезопасности во время выполнения; нет практического способа отличить один безымянный Capsule от другого.764765В частности, Capsules, используемые для предоставления C API, должны получать имена согласно следующему соглашению:766767```c768modulename.attributename769```770771Удобная функция [`PyCapsule_Import()`](https://python-all.ru/3.13/c-api/capsule.html#c.PyCapsule_Import) упрощает загрузку C API, предоставленного через Capsule, но только если имя Capsule соответствует этому соглашению. Такое поведение даёт пользователям C API высокую степень уверенности в том, что загруженный ими Capsule содержит правильный C API.772773Следующий пример демонстрирует подход, при котором основная нагрузка ложится на разработчика экспортирующего модуля, что подходит для часто используемых библиотечных модулей. Он хранит все указатели C API (в примере только один!) в массиве указателей void, который становится значением Capsule. Заголовочный файл, соответствующий модулю, предоставляет макрос, который заботится об импорте модуля и извлечении его указателей C API; модулям-клиентам нужно только вызвать этот макрос перед доступом к C API.774775Экспортирующий модуль – это модификация модуля `spam` из раздела [Простой пример](https://python-all.ru/3.13/extending/extending.html#extending-simpleexample). Функция `spam.system()` не вызывает напрямую функцию библиотеки C `system()`, а вызывает функцию `PySpam_System()`, которая в реальности, конечно, делала бы что-то более сложное (например, добавляла бы «spam» к каждой команде). Эта функция `PySpam_System()` также экспортируется в другие модули расширения.776777Функция `PySpam_System()` – это обычная функция на C, объявленная `static`, как и всё остальное:778779```c780static int781PySpam_System(const char *command)782{783 return system(command);784}785```786787Функция `spam_system()` тривиально модифицирована:788789```c790static PyObject *791spam_system(PyObject *self, PyObject *args)792{793 const char *command;794 int sts;795796 if (!PyArg_ParseTuple(args, "s", &command))797 return NULL;798 sts = PySpam_System(command);799 return PyLong_FromLong(sts);800}801```802803В начале модуля, сразу после строки804805```c806#include <Python.h>807```808809необходимо добавить ещё две строки:810811```c812#define SPAM_MODULE813#include "spammodule.h"814```815816`#define` используется, чтобы сообщить заголовочному файлу, что он включается в экспортирующий модуль, а не в клиентский модуль. Наконец, функция [`mod_exec`](https://python-all.ru/3.13/c-api/module.html#c.Py_mod_exec) модуля должна позаботиться об инициализации массива указателей C API:817818```c819static int820spam_module_exec(PyObject *m)821{822 static void *PySpam_API[PySpam_API_pointers];823 PyObject *c_api_object;824825 /* Инициализация массива указателей C API */826 PySpam_API[PySpam_System_NUM] = (void *)PySpam_System;827828 /* Создание капсулы, содержащей адрес массива указателей API */829 c_api_object = PyCapsule_New((void *)PySpam_API, "spam._C_API", NULL);830831 if (PyModule_Add(m, "_C_API", c_api_object) < 0) {832 return -1;833 }834835 return 0;836}837```838839Обратите внимание, что `PySpam_API` объявлен `static`; иначе массив указателей исчезнет после завершения `PyInit_spam()`!840841Основная работа выполняется в заголовочном файле `spammodule.h`, который выглядит следующим образом:842843```c844#ifndef Py_SPAMMODULE_H845#define Py_SPAMMODULE_H846#ifdef __cplusplus847extern "C" {848#endif849850/* Заголовочный файл для spammodule */851852/* Функции C API */853#define PySpam_System_NUM 0854#define PySpam_System_RETURN int855#define PySpam_System_PROTO (const char *command)856857/* Общее количество указателей C API */858#define PySpam_API_pointers 1859860#ifdef SPAM_MODULE861/* Этот раздел используется при компиляции spammodule.c */862863static PySpam_System_RETURN PySpam_System PySpam_System_PROTO;864865#else866/* Этот раздел используется в модулях, которые используют API spammodule */867868static void **PySpam_API;869870#define PySpam_System \871 (*(PySpam_System_RETURN (*)PySpam_System_PROTO) PySpam_API[PySpam_System_NUM])872873/* Возвращает -1 при ошибке, 0 при успехе.874 * PyCapsule_Import установит исключение, если произошла ошибка.875 */876static int877import_spam(void)878{879 PySpam_API = (void **)PyCapsule_Import("spam._C_API", 0);880 return (PySpam_API != NULL) ? 0 : -1;881}882883#endif884885#ifdef __cplusplus886}887#endif888889#endif /* !defined(Py_SPAMMODULE_H) */890```891892Всё, что нужно сделать клиентскому модулю для получения доступа к функции `PySpam_System()`, – это вызвать функцию (или, точнее, макрос) `import_spam()` в своей функции [`mod_exec`](https://python-all.ru/3.13/c-api/module.html#c.Py_mod_exec):893894```c895static int896client_module_exec(PyObject *m)897{898 if (import_spam() < 0) {899 return -1;900 }901 /* дополнительная инициализация может быть выполнена здесь */902 return 0;903}904```905906Главный недостаток этого подхода в том, что файл `spammodule.h` довольно сложен. Однако базовая структура одинакова для каждой экспортируемой функции, поэтому её достаточно изучить один раз.907908Наконец, стоит упомянуть, что Capsules предоставляют дополнительную функциональность, которая особенно полезна для выделения и освобождения памяти указателя, хранящегося в Capsule. Подробности описаны в справочном руководстве по Python/C API в разделе [Capsules](https://python-all.ru/3.13/c-api/capsule.html#capsules) и в реализации Capsules (файлы `Include/pycapsule.h` и `Objects/pycapsule.c` в дистрибутиве исходного кода Python).909910Сноски911912\[[1](https://python-all.ru/3.13/extending/extending.html#id1)\]913914Интерфейс для этой функции уже существует в стандартном модуле [`os`](https://python-all.ru/3.13/library/os.html#module-os) – он был выбран в качестве простого и наглядного примера.915916\[[2](https://python-all.ru/3.13/extending/extending.html#id2)\]917918Метафора «заимствования» ссылки не совсем точна: владелец всё ещё имеет копию ссылки.919920\[[3](https://python-all.ru/3.13/extending/extending.html#id3)\]921922Проверка того, что счётчик ссылок не меньше 1, **не работает** – сам счётчик ссылок может находиться в освобождённой памяти и поэтому может быть повторно использован для другого объекта!923924\[[4](https://python-all.ru/3.13/extending/extending.html#id4)\]925926Эти гарантии не действуют при использовании «старого» стиля соглашения о вызовах – он всё ещё встречается в большом объёме существующего кода.927