extending.md
1> **Источник:** https://python-all.ru/3.12/extending/extending.html2>3> «Документация Python на русском» – неофициальный перевод официальной документации Python: версии от 2.6 до 3.16, полнотекстовый поиск, английский оригинал рядом с переводом. Эта Markdown-версия страницы предназначена для работы с LLM: вставьте её в ChatGPT, Claude или Cursor.45---67# 1. Расширение Python с помощью C или C++89Добавлять новые встроенные модули в Python довольно просто, если вы умеете программировать на C. Такие *модули расширения* могут делать две вещи, которые невозможно выполнить непосредственно в Python: они могут реализовывать новые встроенные типы объектов и вызывать функции библиотек C и системные вызовы.1011Для поддержки расширений Python API (интерфейс прикладного программирования) определяет набор функций, макросов и переменных, предоставляющих доступ к большинству аспектов системы времени выполнения Python. Python API включается в C-файл с помощью заголовка `"Python.h"`.1213Компиляция модуля расширения зависит от его предполагаемого использования, а также от настроек вашей системы; подробности приведены в следующих главах.1415> **Примечание**16>17> Интерфейс расширений на C специфичен для CPython, и модули расширения не работают в других реализациях Python. Во многих случаях можно избежать написания C-расширений и сохранить переносимость на другие реализации. Например, если ваша задача – вызов функций библиотек C или системных вызовов, стоит рассмотреть использование модуля [`ctypes`](https://python-all.ru/3.12/library/ctypes.html#module-ctypes) или библиотеки [cffi](https://python-all.ru/3.12/extending/extending.html) вместо написания собственного кода на C. Эти модули позволяют писать код на Python для взаимодействия с C-кодом и более переносимы между реализациями Python, чем написание и компиляция модуля расширения на C.1819## 1.1. Простой пример2021Давайте создадим модуль расширения с именем `spam` (любимая еда фанатов Монти Питона…) и предположим, что мы хотим создать интерфейс Python для функции C библиотеки `system()` [\[1\]](https://python-all.ru/3.12/extending/extending.html#id5). Эта функция принимает в качестве аргумента строку, завершающуюся нулевым символом, и возвращает целое число. Мы хотим, чтобы эту функцию можно было вызывать из Python следующим образом:2223```pycon24>>> import spam25>>> status = spam.system("ls -l")26```2728Начните с создания файла `spammodule.c`. (Исторически сложилось, что если модуль называется `spam`, то C-файл, содержащий его реализацию, называется `spammodule.c`; если имя модуля очень длинное, например `spammify`, то имя модуля может быть просто `spammify.c`.)2930Первые две строки нашего файла могут быть:3132```c33#define PY_SSIZE_T_CLEAN34#include <Python.h>35```3637которые подключают Python API (при желании можно добавить комментарий, описывающий назначение модуля, и уведомление об авторских правах).3839> **Примечание**40>41> Поскольку Python может определять некоторые директивы препроцессора, которые влияют на стандартные заголовочные файлы в некоторых системах, *необходимо* включать `Python.h` до того, как будут включены любые стандартные заголовочные файлы.42>43> Рекомендуется всегда определять `PY_SSIZE_T_CLEAN` до включения `Python.h`. См. [Извлечение параметров в функциях расширения](https://python-all.ru/3.12/extending/extending.html#parsetuple) для описания этого макроса.4445Все видимые пользователю символы, определённые `Python.h`, имеют префикс `Py` или `PY`, за исключением определённых в стандартных заголовочных файлах. Для удобства, а также поскольку они широко используются интерпретатором Python, `"Python.h"` включает несколько стандартных заголовочных файлов: `<stdio.h>`, `<string.h>`, `<errno.h>` и `<stdlib.h>`. Если последнего заголовочного файла нет в вашей системе, в нём напрямую объявляются функции `malloc()`, `free()` и `realloc()`.4647Следующее, что мы добавим в наш файл модуля, – это C-функция, которая будет вызываться при вычислении выражения Python `spam.system(string)` (чуть позже мы увидим, как именно она в итоге вызывается):4849```c50static PyObject *51spam_system(PyObject *self, PyObject *args)52{53 const char *command;54 int sts;5556 if (!PyArg_ParseTuple(args, "s", &command))57 return NULL;58 sts = system(command);59 return PyLong_FromLong(sts);60}61```6263Существует прямой способ отображения списка аргументов в Python (например, одиночного выражения `"ls -l"`) на аргументы, передаваемые C-функции. C-функция всегда имеет два аргумента, традиционно называемых *self* и *args*.6465Аргумент *self* указывает на объект модуля для функций уровня модуля; для метода он указывал бы на экземпляр объекта.6667Аргумент *args* будет указателем на кортеж Python, содержащий аргументы. Каждый элемент кортежа соответствует одному аргументу из списка аргументов вызова. Аргументы – это объекты Python; чтобы выполнить с ними какие-либо действия в нашей C-функции, их необходимо преобразовать в значения C. Функция [`PyArg_ParseTuple()`](https://python-all.ru/3.12/c-api/arg.html#c.PyArg_ParseTuple) из Python API проверяет типы аргументов и преобразует их в значения C. Она использует строку формата для определения требуемых типов аргументов, а также типов переменных C, в которые будут сохранены преобразованные значения. Подробнее об этом позже.6869[`PyArg_ParseTuple()`](https://python-all.ru/3.12/c-api/arg.html#c.PyArg_ParseTuple) возвращает истину (ненулевое значение), если все аргументы имеют правильный тип и их компоненты сохранены в переменные, адреса которых переданы. Она возвращает ложь (ноль), если передан недопустимый список аргументов. В последнем случае она также возбуждает соответствующее исключение, чтобы вызывающая функция могла немедленно вернуть `NULL` (как мы видели в примере).7071## 1.2. Интермеццо: ошибки и исключения7273Важное соглашение во всём интерпретаторе Python заключается в следующем: когда функция завершается ошибкой, она должна установить условие исключения и вернуть значение ошибки (обычно `-1` или указатель `NULL`). Информация об исключении хранится в трёх элементах состояния потока интерпретатора. Если исключения нет, они равны `NULL`. В противном случае они являются C-эквивалентами элементов кортежа Python, возвращаемого функцией [`sys.exc_info()`](https://python-all.ru/3.12/library/sys.html#sys.exc_info). Это тип исключения, экземпляр исключения и объект traceback. Важно знать о них, чтобы понимать, как передаются ошибки.7475Python API определяет ряд функций для установки различных типов исключений.7677Самая распространённая из них – [`PyErr_SetString()`](https://python-all.ru/3.12/c-api/exceptions.html#c.PyErr_SetString). Её аргументы – объект исключения и C-строка. Объект исключения обычно является предопределённым объектом, таким как `PyExc_ZeroDivisionError`. C-строка указывает причину ошибки и преобразуется в строковый объект Python, который сохраняется как «связанное значение» исключения.7879Другая полезная функция – [`PyErr_SetFromErrno()`](https://python-all.ru/3.12/c-api/exceptions.html#c.PyErr_SetFromErrno), которая принимает только аргумент-исключение и формирует связанное значение, проверяя глобальную переменную `errno`. Самая общая функция – [`PyErr_SetObject()`](https://python-all.ru/3.12/c-api/exceptions.html#c.PyErr_SetObject), принимающая два объектных аргумента: исключение и его связанное значение. Не требуется [`Py_INCREF()`](https://python-all.ru/3.12/c-api/refcounting.html#c.Py_INCREF) объекты, переданные любой из этих функций.8081Можно неразрушающе проверить, было ли установлено исключение, с помощью [`PyErr_Occurred()`](https://python-all.ru/3.12/c-api/exceptions.html#c.PyErr_Occurred). Она возвращает текущий объект исключения или `NULL`, если исключения не возникло. Обычно не нужно вызывать [`PyErr_Occurred()`](https://python-all.ru/3.12/c-api/exceptions.html#c.PyErr_Occurred), чтобы узнать, произошла ли ошибка при вызове функции, так как об этом можно судить по возвращаемому значению.8283Когда функция *f*, вызывающая другую функцию *g*, обнаруживает, что последняя завершилась ошибкой, *f* сама должна вернуть значение ошибки (обычно `NULL` или `-1`). Она *не* должна вызывать одну из функций `PyErr_*` – одна уже была вызвана функцией *g*. Вызывающий код *f* затем также должен вернуть индикацию ошибки своему *своему* вызывающему, опять же *без* вызова `PyErr_*`, и так далее – наиболее подробная причина ошибки уже была сообщена функцией, которая первой её обнаружила. Как только ошибка достигает главного цикла интерпретатора Python, это прерывает выполняемый код Python и пытается найти обработчик исключения, указанный программистом на Python.8485(Бывают ситуации, когда модуль может дать более подробное сообщение об ошибке, вызвав другую функцию `PyErr_*`, и в таких случаях это допустимо. Однако, как правило, это не обязательно и может привести к потере информации о причине ошибки: большинство операций могут завершиться ошибкой по разным причинам.)8687Чтобы проигнорировать исключение, установленное неудачным вызовом функции, условие исключения должно быть явно очищено вызовом [`PyErr_Clear()`](https://python-all.ru/3.12/c-api/exceptions.html#c.PyErr_Clear). Единственный случай, когда C-код должен вызывать [`PyErr_Clear()`](https://python-all.ru/3.12/c-api/exceptions.html#c.PyErr_Clear), – это если он не хочет передавать ошибку интерпретатору, а хочет полностью обработать её самостоятельно (возможно, попробовав что-то другое или сделав вид, что ничего не произошло).8889Каждый неудачный вызов `malloc()` должен быть преобразован в исключение – непосредственный вызывающий код `malloc()` (или `realloc()`) должен вызвать [`PyErr_NoMemory()`](https://python-all.ru/3.12/c-api/exceptions.html#c.PyErr_NoMemory) и сам вернуть индикатор ошибки. Все функции, создающие объекты (например, [`PyLong_FromLong()`](https://python-all.ru/3.12/c-api/long.html#c.PyLong_FromLong)), уже делают это, поэтому данное замечание относится только к тем, кто вызывает `malloc()` напрямую.9091Также обратите внимание, что, за важным исключением [`PyArg_ParseTuple()`](https://python-all.ru/3.12/c-api/arg.html#c.PyArg_ParseTuple) и подобных, функции, возвращающие целочисленный статус, обычно возвращают положительное значение или ноль в случае успеха и `-1` в случае ошибки, как системные вызовы Unix.9293Наконец, следует позаботиться об очистке мусора (вызвав [`Py_XDECREF()`](https://python-all.ru/3.12/c-api/refcounting.html#c.Py_XDECREF) или [`Py_DECREF()`](https://python-all.ru/3.12/c-api/refcounting.html#c.Py_DECREF) для уже созданных объектов) при возврате индикатора ошибки.9495Выбор, какое исключение возбуждать, полностью за вами. Существуют предварительно объявленные C-объекты, соответствующие всем встроенным исключениям Python, например `PyExc_ZeroDivisionError`, которые можно использовать напрямую. Конечно, следует выбирать исключения разумно – не стоит использовать `PyExc_TypeError` для обозначения того, что файл не удалось открыть (для этого вероятно следует использовать `PyExc_OSError`). Если что-то не так со списком аргументов, функция [`PyArg_ParseTuple()`](https://python-all.ru/3.12/c-api/arg.html#c.PyArg_ParseTuple) обычно возбуждает `PyExc_TypeError`. Если значение аргумента должно находиться в определённом диапазоне или удовлетворять другим условиям, подходит `PyExc_ValueError`.9697Можно также определить новое исключение, уникальное для вашего модуля. Для этого обычно объявляется статическая объектная переменная в начале файла:9899```c100static PyObject *SpamError;101```102103и инициализировать её в функции инициализации модуля (`PyInit_spam()`) объектом исключения:104105```c106PyMODINIT_FUNC107PyInit_spam(void)108{109 PyObject *m;110111 m = PyModule_Create(&spammodule);112 if (m == NULL)113 return NULL;114115 SpamError = PyErr_NewException("spam.error", NULL, NULL);116 Py_XINCREF(SpamError);117 if (PyModule_AddObject(m, "error", SpamError) < 0) {118 Py_XDECREF(SpamError);119 Py_CLEAR(SpamError);120 Py_DECREF(m);121 return NULL;122 }123124 return m;125}126```127128Обратите внимание, что имя исключения в Python – `spam.error`. Функция [`PyErr_NewException()`](https://python-all.ru/3.12/c-api/exceptions.html#c.PyErr_NewException) может создать класс с базовым классом [`Exception`](https://python-all.ru/3.12/library/exceptions.html#Exception) (если только не передан другой класс вместо `NULL`), описанный в [Встроенные исключения](https://python-all.ru/3.12/library/exceptions.html#bltin-exceptions).129130Также обратите внимание, что переменная `SpamError` сохраняет ссылку на вновь созданный класс исключения; это сделано намеренно! Поскольку исключение может быть удалено из модуля внешним кодом, необходима собственная ссылка на класс, чтобы гарантировать, что он не будет отброшен, что приведёт к превращению `SpamError` в висячий указатель. Если он станет висячим указателем, C-код, возбуждающий исключение, может вызвать аварийный дамп или другие непреднамеренные побочные эффекты.131132Использование [`PyMODINIT_FUNC`](https://python-all.ru/3.12/c-api/intro.html#c.PyMODINIT_FUNC) в качестве возвращаемого типа функции обсуждается далее в этом примере.133134Исключение `spam.error` может быть возбуждено в вашем модуле расширения с помощью вызова [`PyErr_SetString()`](https://python-all.ru/3.12/c-api/exceptions.html#c.PyErr_SetString), как показано ниже:135136```c137static PyObject *138spam_system(PyObject *self, PyObject *args)139{140 const char *command;141 int sts;142143 if (!PyArg_ParseTuple(args, "s", &command))144 return NULL;145 sts = system(command);146 if (sts < 0) {147 PyErr_SetString(SpamError, "System command failed");148 return NULL;149 }150 return PyLong_FromLong(sts);151}152```153154## 1.3. Возвращаясь к примеру155156Вернёмся к нашей функции-примеру. Теперь вы должны понимать этот оператор:157158```c159if (!PyArg_ParseTuple(args, "s", &command))160 return NULL;161```162163Она возвращает `NULL` (индикатор ошибки для функций, возвращающих указатели на объекты), если в списке аргументов обнаружена ошибка, полагаясь на исключение, установленное [`PyArg_ParseTuple()`](https://python-all.ru/3.12/c-api/arg.html#c.PyArg_ParseTuple). В противном случае строковое значение аргумента копируется в локальную переменную `command`. Это присваивание указателя, и строка, на которую он указывает, не должна изменяться (поэтому в стандартном C переменная `command` должна быть объявлена как `const char *command`).164165Следующий оператор – это вызов функции Unix `system()` с передачей строки, полученной от [`PyArg_ParseTuple()`](https://python-all.ru/3.12/c-api/arg.html#c.PyArg_ParseTuple):166167```c168sts = system(command);169```170171Наша функция `spam.system()` должна вернуть значение `sts` как объект Python. Это делается с помощью функции [`PyLong_FromLong()`](https://python-all.ru/3.12/c-api/long.html#c.PyLong_FromLong).172173```c174return PyLong_FromLong(sts);175```176177В данном случае она вернёт целочисленный объект. (Да, даже целые числа в Python – это объекты в куче!)178179Если у вас есть C-функция, которая не возвращает полезного аргумента (функция, возвращающая void), то соответствующая функция Python должна возвращать `None`. Для этого используется следующая идиома (реализованная макросом [`Py_RETURN_NONE`](https://python-all.ru/3.12/c-api/none.html#c.Py_RETURN_NONE)):180181```c182Py_INCREF(Py_None);183return Py_None;184```185186[`Py_None`](https://python-all.ru/3.12/c-api/none.html#c.Py_None) – это имя в C для специального объекта Python `None`. Это настоящий объект Python, а не указатель `NULL`, который в большинстве контекстов означает «ошибку», как мы уже видели.187188## 1.4. Таблица методов модуля и функция инициализации189190Я обещал показать, как `spam_system()` вызывается из программ Python. Сначала нужно перечислить её имя и адрес в «таблице методов»:191192```c193static PyMethodDef SpamMethods[] = {194 ...195 {"system", spam_system, METH_VARARGS,196 "Execute a shell command."},197 ...198 {NULL, NULL, 0, NULL} /* Страж */199};200```201202Обратите внимание на третью запись (`METH_VARARGS`). Это флаг, сообщающий интерпретатору соглашение о вызове для C-функции. Обычно он должен быть `METH_VARARGS` или `METH_VARARGS | METH_KEYWORDS`; значение `0` означает, что используется устаревший вариант [`PyArg_ParseTuple()`](https://python-all.ru/3.12/c-api/arg.html#c.PyArg_ParseTuple).203204При использовании только `METH_VARARGS` функция должна ожидать, что параметры уровня Python будут переданы в виде кортежа, пригодного для разбора через [`PyArg_ParseTuple()`](https://python-all.ru/3.12/c-api/arg.html#c.PyArg_ParseTuple); подробнее об этой функции сказано ниже.205206Флаг [`METH_KEYWORDS`](https://python-all.ru/3.12/c-api/structures.html#c.METH_KEYWORDS) может быть установлен в третьем поле, если функции должны передаваться ключевые аргументы. В этом случае C-функция должна принимать третий параметр `PyObject *` – словарь ключевых слов. Для разбора аргументов такой функции используйте [`PyArg_ParseTupleAndKeywords()`](https://python-all.ru/3.12/c-api/arg.html#c.PyArg_ParseTupleAndKeywords).207208Таблица методов должна быть указана в структуре определения модуля:209210```c211static struct PyModuleDef spammodule = {212 PyModuleDef_HEAD_INIT,213 "spam", /* имя модуля */214 spam_doc, /* документация модуля, может быть NULL */215 -1, /* размер состояния модуля для каждого интерпретатора,216 или -1, если модуль хранит состояние в глобальных переменных. */217 SpamMethods218};219```220221Эта структура, в свою очередь, должна быть передана интерпретатору в функции инициализации модуля. Функция инициализации должна называться `PyInit_name()`, где *name* – имя модуля, и должна быть единственным не-`static` элементом, определённым в файле модуля:222223```c224PyMODINIT_FUNC225PyInit_spam(void)226{227 return PyModule_Create(&spammodule);228}229```230231Обратите внимание, что [`PyMODINIT_FUNC`](https://python-all.ru/3.12/c-api/intro.html#c.PyMODINIT_FUNC) объявляет функцию с возвращаемым типом `PyObject *`, указывает любые специальные объявления компоновки, требуемые платформой, и для C++ объявляет функцию как `extern "C"`.232233Когда программа Python впервые импортирует модуль `spam`, вызывается `PyInit_spam()`. (См. ниже комментарии о встраивании Python.) Она вызывает [`PyModule_Create()`](https://python-all.ru/3.12/c-api/module.html#c.PyModule_Create), которая возвращает объект модуля, и вставляет объекты встроенных функций в только что созданный модуль на основе таблицы (массива структур [`PyMethodDef`](https://python-all.ru/3.12/c-api/structures.html#c.PyMethodDef)), находящейся в определении модуля. [`PyModule_Create()`](https://python-all.ru/3.12/c-api/module.html#c.PyModule_Create) возвращает указатель на объект модуля, который она создаёт. При некоторых ошибках она может завершиться фатальной ошибкой или вернуть `NULL`, если модуль не удалось инициализировать удовлетворительно. Функция инициализации должна вернуть объект модуля своему вызывающему, чтобы затем он был вставлен в `sys.modules`.234235При встраивании Python функция `PyInit_spam()` не вызывается автоматически, если только в таблице `PyImport_Inittab` нет соответствующей записи. Чтобы добавить модуль в таблицу инициализации, используйте [`PyImport_AppendInittab()`](https://python-all.ru/3.12/c-api/import.html#c.PyImport_AppendInittab), за которым опционально следует импорт модуля:236237```c238int239main(int argc, char *argv[])240{241 wchar_t *program = Py_DecodeLocale(argv[0], NULL);242 if (program == NULL) {243 fprintf(stderr, "Fatal error: cannot decode argv[0]\n");244 exit(1);245 }246247 /* Добавить встроенный модуль перед Py_Initialize */248 if (PyImport_AppendInittab("spam", PyInit_spam) == -1) {249 fprintf(stderr, "Error: could not extend in-built modules table\n");250 exit(1);251 }252253 /* Передать argv[0] интерпретатору Python */254 Py_SetProgramName(program);255256 /* Инициализировать интерпретатор Python. Обязательно.257 Если этот шаг завершится неудачей, произойдет фатальная ошибка. */258 Py_Initialize();259260 /* Опционально импортировать модуль; в качестве альтернативы,261 импорт может быть отложен до тех пор, пока встроенный скрипт262 не импортирует его. */263 PyObject *pmodule = PyImport_ImportModule("spam");264 if (!pmodule) {265 PyErr_Print();266 fprintf(stderr, "Error: could not import module 'spam'\n");267 }268269 ...270271 PyMem_RawFree(program);272 return 0;273}274```275276> **Примечание**277>278> Удаление записей из `sys.modules` или импорт скомпилированных модулей в несколько интерпретаторов в рамках одного процесса (или после `fork()` без промежуточного `exec()`) может создать проблемы для некоторых модулей расширения. Авторам модулей расширения следует проявлять осторожность при инициализации внутренних структур данных.279280Более объёмный пример модуля включён в дистрибутив исходных текстов Python как `Modules/xxmodule.c`. Этот файл можно использовать как шаблон или просто прочитать как пример.281282> **Примечание**283>284> В отличие от нашего примера `spam`, `xxmodule` использует *многофазную инициализацию* (новая возможность Python 3.5), когда структура PyModuleDef возвращается из `PyInit_spam`, а создание модуля оставляется на усмотрение механизма импорта. Подробнее о многофазной инициализации см. [**PEP 489**](https://python-all.ru/3.12/extending/extending.html).285286## 1.5. Компиляция и компоновка287288Перед использованием нового расширения необходимо сделать ещё две вещи: скомпилировать и скомпоновать его с системой Python. Если используется динамическая загрузка, детали могут зависеть от стиля динамической загрузки, применяемого в вашей системе; см. главы о сборке модулей расширения (глава [Сборка расширений на C и C++](https://python-all.ru/3.12/extending/building.html#building)) и дополнительную информацию, относящуюся только к сборке в Windows (глава [Сборка расширений на C и C++ в Windows](https://python-all.ru/3.12/extending/windows.html#building-on-windows)) для получения более подробных сведений.289290Если динамическая загрузка недоступна или вы хотите сделать модуль постоянной частью интерпретатора Python, придётся изменить конфигурацию и пересобрать интерпретатор. К счастью, в Unix это очень просто: поместите ваш файл (например, `spammodule.c`) в каталог `Modules/` распакованного дистрибутива исходных кодов, добавьте строку в файл `Modules/Setup.local`, описывающую ваш файл:291292```sh293spam spammodule.o294```295296и пересобрать интерпретатор, выполнив **make** в корневом каталоге. Также можно выполнить **make** в подкаталоге `Modules/`, но тогда сначала нужно пересобрать `Makefile` там, выполнив '**make** Makefile'. (Это необходимо каждый раз при изменении файла `Setup`.)297298Если ваш модуль требует дополнительных библиотек для компоновки, их также можно перечислить в строке конфигурационного файла, например:299300```sh301spam spammodule.o -lX11302```303304## 1.6. Вызов функций Python из C305306До сих пор мы сосредотачивались на том, как сделать C-функции вызываемыми из Python. Обратное также полезно: вызов функций Python из C. Это особенно актуально для библиотек, поддерживающих так называемые «колбэки». Если C-интерфейс использует колбэки, то эквивалентный Python часто должен предоставить механизм колбэков программисту на Python; реализация потребует вызова функций Python-колбэков из C-колбэка. Можно представить и другие варианты использования.307308К счастью, интерпретатор Python легко вызывается рекурсивно, и существует стандартный интерфейс для вызова функции Python. (Я не буду останавливаться на том, как вызвать анализатор Python с определённой строкой на входе – если вам интересно, взгляните на реализацию опции командной строки [`-c`](https://python-all.ru/3.12/using/cmdline.html#cmdoption-c) в `Modules/main.c` из исходного кода Python.)309310Вызвать функцию Python легко. Во-первых, программа на Python должна каким-то образом передать вам объект функции Python. Вы должны предоставить функцию (или какой-то другой интерфейс) для этого. Когда эта функция вызывается, сохраните указатель на объект функции Python (не забудьте [`Py_INCREF()`](https://python-all.ru/3.12/c-api/refcounting.html#c.Py_INCREF) её!) в глобальной переменной – или где сочтёте нужным. Например, следующая функция может быть частью определения модуля:311312```c313static PyObject *my_callback = NULL;314315static PyObject *316my_set_callback(PyObject *dummy, PyObject *args)317{318 PyObject *result = NULL;319 PyObject *temp;320321 if (PyArg_ParseTuple(args, "O:set_callback", &temp)) {322 if (!PyCallable_Check(temp)) {323 PyErr_SetString(PyExc_TypeError, "parameter must be callable");324 return NULL;325 }326 Py_XINCREF(temp); /* Добавить ссылку на новый колбэк */327 Py_XDECREF(my_callback); /* Освободить предыдущий колбэк */328 my_callback = temp; /* Запомнить новый колбэк */329 /* Шаблон для возврата None */330 Py_INCREF(Py_None);331 result = Py_None;332 }333 return result;334}335```336337Эта функция должна быть зарегистрирована в интерпретаторе с помощью флага [`METH_VARARGS`](https://python-all.ru/3.12/c-api/structures.html#c.METH_VARARGS); это описано в разделе [Таблица методов модуля и функция инициализации](https://python-all.ru/3.12/extending/extending.html#methodtable). Функция [`PyArg_ParseTuple()`](https://python-all.ru/3.12/c-api/arg.html#c.PyArg_ParseTuple) и её аргументы описаны в разделе [Извлечение параметров в функциях расширения](https://python-all.ru/3.12/extending/extending.html#parsetuple).338339Макросы [`Py_XINCREF()`](https://python-all.ru/3.12/c-api/refcounting.html#c.Py_XINCREF) и [`Py_XDECREF()`](https://python-all.ru/3.12/c-api/refcounting.html#c.Py_XDECREF) увеличивают/уменьшают счётчик ссылок объекта и безопасны при наличии указателей `NULL` (но обратите внимание, что *temp* не будет `NULL` в этом контексте). Подробнее о них в разделе [Счётчики ссылок](https://python-all.ru/3.12/extending/extending.html#refcounts).340341Позже, когда придёт время вызвать функцию, вы вызываете C-функцию [`PyObject_CallObject()`](https://python-all.ru/3.12/c-api/call.html#c.PyObject_CallObject). Эта функция имеет два аргумента, оба указатели на произвольные объекты Python: функцию Python и список аргументов. Список аргументов всегда должен быть объектом кортежа, длина которого равна количеству аргументов. Для вызова функции Python без аргументов передайте `NULL` или пустой кортеж; для вызова с одним аргументом передайте кортеж из одного элемента. [`Py_BuildValue()`](https://python-all.ru/3.12/c-api/arg.html#c.Py_BuildValue) возвращает кортеж, если строка формата состоит из нуля или более кодов формата в скобках. Например:342343```c344int arg;345PyObject *arglist;346PyObject *result;347...348arg = 123;349...350/* Вызов колбэка */351arglist = Py_BuildValue("(i)", arg);352result = PyObject_CallObject(my_callback, arglist);353Py_DECREF(arglist);354```355356[`PyObject_CallObject()`](https://python-all.ru/3.12/c-api/call.html#c.PyObject_CallObject) возвращает указатель на объект Python: это возвращаемое значение функции Python. [`PyObject_CallObject()`](https://python-all.ru/3.12/c-api/call.html#c.PyObject_CallObject) нейтрален по отношению к счётчику ссылок своих аргументов. В примере был создан новый кортеж для использования в качестве списка аргументов, который [`Py_DECREF()`](https://python-all.ru/3.12/c-api/refcounting.html#c.Py_DECREF)-ится сразу после вызова [`PyObject_CallObject()`](https://python-all.ru/3.12/c-api/call.html#c.PyObject_CallObject).357358Возвращаемое значение [`PyObject_CallObject()`](https://python-all.ru/3.12/c-api/call.html#c.PyObject_CallObject) является «новым»: это либо совершенно новый объект, либо существующий объект, чей счётчик ссылок был увеличен. Поэтому, если вы не хотите сохранять его в глобальной переменной, вы должны каким-то образом [`Py_DECREF()`](https://python-all.ru/3.12/c-api/refcounting.html#c.Py_DECREF) результат, даже (особенно!) если вас не интересует его значение.359360Однако перед этим важно проверить, что возвращаемое значение не равно `NULL`. Если это так, функция Python завершилась возбуждением исключения. Если C-код, вызвавший [`PyObject_CallObject()`](https://python-all.ru/3.12/c-api/call.html#c.PyObject_CallObject), был вызван из Python, он должен вернуть индикатор ошибки своему вызывающему коду на Python, чтобы интерпретатор мог вывести трассировку стека, или вызывающий код на Python мог обработать исключение. Если это невозможно или нежелательно, исключение следует очистить вызовом [`PyErr_Clear()`](https://python-all.ru/3.12/c-api/exceptions.html#c.PyErr_Clear). Например:361362```c363if (result == NULL)364 return NULL; /* Передать ошибку обратно */365...use result...366Py_DECREF(result);367```368369В зависимости от желаемого интерфейса к Python-функции обратного вызова, вам также может потребоваться предоставить список аргументов для [`PyObject_CallObject()`](https://python-all.ru/3.12/c-api/call.html#c.PyObject_CallObject). В некоторых случаях список аргументов также предоставляется программой на Python через тот же интерфейс, который задал функцию обратного вызова. Затем его можно сохранить и использовать так же, как объект функции. В других случаях вам может потребоваться создать новый кортеж для передачи в качестве списка аргументов. Самый простой способ сделать это – вызвать [`Py_BuildValue()`](https://python-all.ru/3.12/c-api/arg.html#c.Py_BuildValue). Например, если вы хотите передать целочисленный код события, можно использовать следующий код:370371```c372PyObject *arglist;373...374arglist = Py_BuildValue("(l)", eventcode);375result = PyObject_CallObject(my_callback, arglist);376Py_DECREF(arglist);377if (result == NULL)378 return NULL; /* Передать ошибку обратно */379/* Здесь, возможно, используется результат */380Py_DECREF(result);381```382383Обратите внимание на размещение `Py_DECREF(arglist)` сразу после вызова, перед проверкой ошибки! Также обратите внимание, что строго говоря, этот код не полон: [`Py_BuildValue()`](https://python-all.ru/3.12/c-api/arg.html#c.Py_BuildValue) может исчерпать память, и это должно быть проверено.384385Вы также можете вызвать функцию с именованными аргументами, используя [`PyObject_Call()`](https://python-all.ru/3.12/c-api/call.html#c.PyObject_Call), который поддерживает аргументы и именованные аргументы. Как в примере выше, мы используем [`Py_BuildValue()`](https://python-all.ru/3.12/c-api/arg.html#c.Py_BuildValue) для создания словаря.386387```c388PyObject *dict;389...390dict = Py_BuildValue("{s:i}", "name", val);391result = PyObject_Call(my_callback, NULL, dict);392Py_DECREF(dict);393if (result == NULL)394 return NULL; /* Передать ошибку обратно */395/* Здесь, возможно, используется результат */396Py_DECREF(result);397```398399## 1.7. Извлечение параметров в функциях расширения400401Функция [`PyArg_ParseTuple()`](https://python-all.ru/3.12/c-api/arg.html#c.PyArg_ParseTuple) объявляется следующим образом:402403```c404int PyArg_ParseTuple(PyObject *arg, const char *format, ...);405```406407Аргумент *arg* должен быть объектом кортежа, содержащим список аргументов, переданных из Python в C-функцию. Аргумент *format* должен быть строкой формата, чей синтаксис описан в разделе [Разбор аргументов и построение значений](https://python-all.ru/3.12/c-api/arg.html#arg-parsing) справочного руководства Python/C API. Остальные аргументы должны быть адресами переменных, чей тип определяется строкой формата.408409Обратите внимание, что хотя [`PyArg_ParseTuple()`](https://python-all.ru/3.12/c-api/arg.html#c.PyArg_ParseTuple) проверяет, что аргументы Python имеют требуемые типы, он не может проверить корректность адресов C-переменных, переданных в вызов: если там допущены ошибки, код, вероятно, аварийно завершится или, по крайней мере, перезапишет случайные биты в памяти. Поэтому следует быть осторожным!410411Обратите внимание, что любые ссылки на объекты Python, передаваемые вызывающему, являются *заимствованными* ссылками; уменьшать их счётчик ссылок не следует.412413Несколько примеров вызовов:414415```c416#define PY_SSIZE_T_CLEAN /* Сделать так, чтобы "s#" использовало Py_ssize_t, а не int. */417#include <Python.h>418```419420```c421int ok;422int i, j;423long k, l;424const char *s;425Py_ssize_t size;426427ok = PyArg_ParseTuple(args, ""); /* Без аргументов */428 /* Вызов Python: f() */429```430431```c432ok = PyArg_ParseTuple(args, "s", &s); /* Строка */433 /* Возможный вызов Python: f('whoops!') */434```435436```c437ok = PyArg_ParseTuple(args, "lls", &k, &l, &s); /* Два длинных целых и строка */438 /* Возможный вызов Python: f(1, 2, 'three') */439```440441```c442ok = PyArg_ParseTuple(args, "(ii)s#", &i, &j, &s, &size);443 /* Пара int и строка, размер которой также возвращается */444 /* Возможный вызов Python: f((1, 2), 'three') */445```446447```c448{449 const char *file;450 const char *mode = "r";451 int bufsize = 0;452 ok = PyArg_ParseTuple(args, "s|si", &file, &mode, &bufsize);453 /* Строка и, опционально, ещё одна строка и целое число */454 /* Возможные вызовы Python:455 f('spam')456 f('spam', 'w')457 f('spam', 'wb', 100000) */458}459```460461```c462{463 int left, top, right, bottom, h, v;464 ok = PyArg_ParseTuple(args, "((ii)(ii))(ii)",465 &left, &top, &right, &bottom, &h, &v);466 /* Прямоугольник и точка */467 /* Возможный вызов Python:468 f(((0, 0), (400, 300)), (10, 10)) */469}470```471472```c473{474 Py_complex c;475 ok = PyArg_ParseTuple(args, "D:myfunction", &c);476 /* комплексное число, также предоставляющее имя функции для сообщений об ошибках */477 /* Возможный вызов Python: myfunction(1+2j) */478}479```480481## 1.8. Именованные параметры для функций расширения482483Функция [`PyArg_ParseTupleAndKeywords()`](https://python-all.ru/3.12/c-api/arg.html#c.PyArg_ParseTupleAndKeywords) объявляется следующим образом:484485```c486int PyArg_ParseTupleAndKeywords(PyObject *arg, PyObject *kwdict,487 const char *format, char *kwlist[], ...);488```489490Параметры *arg* и *format* идентичны параметрам функции [`PyArg_ParseTuple()`](https://python-all.ru/3.12/c-api/arg.html#c.PyArg_ParseTuple). Параметр *kwdict* – это словарь ключевых слов, полученный в качестве третьего параметра от среды выполнения Python. Параметр *kwlist* – это список строк, завершающийся `NULL`, который идентифицирует параметры; имена сопоставляются с информацией о типах из *format* слева направо. В случае успеха [`PyArg_ParseTupleAndKeywords()`](https://python-all.ru/3.12/c-api/arg.html#c.PyArg_ParseTupleAndKeywords) возвращает true, в противном случае возвращает false и возбуждает соответствующее исключение.491492> **Примечание**493>494> Вложенные кортежи не могут быть разобраны при использовании именованных аргументов! Именованные параметры, переданные, но отсутствующие в *kwlist*, приведут к возбуждению [`TypeError`](https://python-all.ru/3.12/library/exceptions.html#TypeError).495496Вот пример модуля, использующего ключевые слова, основанный на примере Джеффа Филбрика ([philbrick@hks.com](https://python-all.ru/3.12/extending/extending.html)):497498```c499#define PY_SSIZE_T_CLEAN /* Сделать так, чтобы "s#" использовало Py_ssize_t, а не int. */500#include <Python.h>501502static PyObject *503keywdarg_parrot(PyObject *self, PyObject *args, PyObject *keywds)504{505 int voltage;506 const char *state = "a stiff";507 const char *action = "voom";508 const char *type = "Norwegian Blue";509510 static char *kwlist[] = {"voltage", "state", "action", "type", NULL};511512 if (!PyArg_ParseTupleAndKeywords(args, keywds, "i|sss", kwlist,513 &voltage, &state, &action, &type))514 return NULL;515516 printf("-- This parrot wouldn't %s if you put %i Volts through it.\n",517 action, voltage);518 printf("-- Lovely plumage, the %s -- It's %s!\n", type, state);519520 Py_RETURN_NONE;521}522523static PyMethodDef keywdarg_methods[] = {524 /* Приведение функции необходимо, поскольку значения PyCFunction525 * принимают только два параметра PyObject*, а keywdarg_parrot() принимает526 * три.527 */528 {"parrot", (PyCFunction)(void(*)(void))keywdarg_parrot, METH_VARARGS | METH_KEYWORDS,529 "Print a lovely skit to standard output."},530 {NULL, NULL, 0, NULL} /* сторожевое значение */531};532533static struct PyModuleDef keywdargmodule = {534 PyModuleDef_HEAD_INIT,535 "keywdarg",536 NULL,537 -1,538 keywdarg_methods539};540541PyMODINIT_FUNC542PyInit_keywdarg(void)543{544 return PyModule_Create(&keywdargmodule);545}546```547548## 1.9. Создание произвольных значений549550Эта функция является аналогом [`PyArg_ParseTuple()`](https://python-all.ru/3.12/c-api/arg.html#c.PyArg_ParseTuple). Она объявляется следующим образом:551552```c553PyObject *Py_BuildValue(const char *format, ...);554```555556Она распознаёт набор форматных единиц, аналогичный распознаваемым [`PyArg_ParseTuple()`](https://python-all.ru/3.12/c-api/arg.html#c.PyArg_ParseTuple), но аргументы (которые являются входными для функции, а не выходными) не должны быть указателями, только значениями. Она возвращает новый объект Python, подходящий для возврата из C-функции, вызванной из Python.557558Одно отличие от [`PyArg_ParseTuple()`](https://python-all.ru/3.12/c-api/arg.html#c.PyArg_ParseTuple): последняя требует, чтобы её первый аргумент был кортежем (поскольку списки аргументов Python внутренне всегда представлены как кортежи), тогда как [`Py_BuildValue()`](https://python-all.ru/3.12/c-api/arg.html#c.Py_BuildValue) не всегда строит кортеж. Она строит кортеж, только если строка формата содержит две или более форматных единиц. Если строка формата пуста, она возвращает `None`; если она содержит ровно одну форматную единицу, она возвращает объект, описываемый этой единицей. Чтобы принудительно вернуть кортеж размера 0 или 1, строку формата следует заключить в скобки.559560Примеры (слева вызов, справа результирующее значение Python):561562```text563Py_BuildValue("") None564Py_BuildValue("i", 123) 123565Py_BuildValue("iii", 123, 456, 789) (123, 456, 789)566Py_BuildValue("s", "hello") 'hello'567Py_BuildValue("y", "hello") b'hello'568Py_BuildValue("ss", "hello", "world") ('hello', 'world')569Py_BuildValue("s#", "hello", 4) 'hell'570Py_BuildValue("y#", "hello", 4) b'hell'571Py_BuildValue("()") ()572Py_BuildValue("(i)", 123) (123,)573Py_BuildValue("(ii)", 123, 456) (123, 456)574Py_BuildValue("(i,i)", 123, 456) (123, 456)575Py_BuildValue("[i,i]", 123, 456) [123, 456]576Py_BuildValue("{s:i,s:i}",577 "abc", 123, "def", 456) {'abc': 123, 'def': 456}578Py_BuildValue("((ii)(ii)) (ii)",579 1, 2, 3, 4, 5, 6) (((1, 2), (3, 4)), (5, 6))580```581582## 1.10. Счётчики ссылок583584В таких языках, как C или C++, программист отвечает за динамическое выделение и освобождение памяти в куче. В C это делается с помощью функций `malloc()` и `free()`. В C++ операторы `new` и `delete` используются с тем же смыслом; дальнейшее обсуждение ограничивается случаем C.585586Каждый блок памяти, выделенный через `malloc()`, в конечном итоге должен быть возвращён в пул доступной памяти ровно одним вызовом `free()`. Важно вызвать `free()` в нужный момент. Если адрес блока забыт, но `free()` для него не вызвана, занимаемая им память не может быть повторно использована до завершения программы. Это называется *утечкой памяти*. С другой стороны, если программа вызывает `free()` для блока, а затем продолжает его использовать, это создаёт конфликт с повторным использованием блока через другой вызов `malloc()`. Это называется *использованием освобождённой памяти*. Это имеет те же негативные последствия, что и обращение к неинициализированным данным – дампы памяти, неверные результаты, таинственные аварийные завершения.587588Распространённые причины утечек памяти – нестандартные пути выполнения кода. Например, функция может выделить блок памяти, выполнить некоторые вычисления, а затем снова освободить блок. Теперь изменение требований к функции может добавить в вычисление проверку, которая обнаруживает ошибочную ситуацию и может привести к преждевременному возврату из функции. Легко забыть освободить выделенный блок памяти при таком преждевременном выходе, особенно если он был добавлен в код позднее. Такие утечки, будучи однажды внесёнными, часто остаются незамеченными долгое время: ошибочный выход происходит лишь в небольшой доле всех вызовов, а на большинстве современных машин достаточно виртуальной памяти, поэтому утечка становится заметна только в долго работающем процессе, который часто использует функцию с утечкой. Следовательно, важно предотвращать утечки, используя соглашение о кодировании или стратегию, которая минимизирует такого рода ошибки.589590Поскольку Python активно использует `malloc()` и `free()`, ему нужна стратегия для предотвращения как утечек памяти, так и использования освобождённой памяти. Выбранный метод называется *подсчётом ссылок*. Принцип прост: каждый объект содержит счётчик, который увеличивается, когда ссылка на объект сохраняется где-либо, и уменьшается, когда ссылка на него удаляется. Когда счётчик достигает нуля, последняя ссылка на объект удалена, и объект освобождается.591592Альтернативная стратегия называется *автоматической сборкой мусора*. (Иногда подсчёт ссылок тоже называют стратегией сборки мусора, поэтому я использую слово «автоматическая», чтобы различать их.) Большое преимущество автоматической сборки мусора в том, что пользователю не нужно вызывать `free()` явно. (Другое заявляемое преимущество – улучшение скорости или использования памяти, однако это не факт.) Недостаток в том, что для C не существует по-настоящему переносимого автоматического сборщика мусора, в то время как подсчёт ссылок можно реализовать переносимо (при условии, что функции `malloc()` и `free()` доступны – что гарантирует стандарт C). Возможно, когда-нибудь для C появится достаточно переносимый автоматический сборщик мусора. До тех пор придётся мириться с подсчётом ссылок.593594Хотя Python использует традиционную реализацию подсчёта ссылок, он также предлагает детектор циклов, который обнаруживает циклические ссылки. Это позволяет приложениям не беспокоиться о создании прямых или косвенных циклических ссылок; они являются слабым местом сборки мусора, реализованной только с помощью подсчёта ссылок. Циклические ссылки состоят из объектов, которые содержат (возможно, косвенные) ссылки на самих себя, так что каждый объект в цикле имеет ненулевой счётчик ссылок. Типичные реализации подсчёта ссылок не могут освободить память, принадлежащую объектам в циклической ссылке или на которые есть ссылки из объектов в цикле, даже если на сам цикл больше нет ссылок.595596Детектор циклов способен обнаруживать мусорные циклы и может их освобождать. Модуль [`gc`](https://python-all.ru/3.12/library/gc.html#module-gc) предоставляет способ запуска детектора (функция [`collect()`](https://python-all.ru/3.12/library/gc.html#gc.collect)), а также интерфейсы конфигурации и возможность отключения детектора во время выполнения.597598### 1.10.1. Подсчёт ссылок в Python599600Существуют два макроса, `Py_INCREF(x)` и `Py_DECREF(x)`, которые управляют увеличением и уменьшением счётчика ссылок. [`Py_DECREF()`](https://python-all.ru/3.12/c-api/refcounting.html#c.Py_DECREF) также освобождает объект, когда счётчик достигает нуля. Для гибкости он не вызывает `free()` напрямую – вместо этого он выполняет вызов через указатель на функцию в *объекте типа* объекта. Для этой цели (и других) каждый объект также содержит указатель на свой объект типа.601602Остаётся главный вопрос: когда использовать `Py_INCREF(x)` и `Py_DECREF(x)`? Сначала введём несколько терминов. Никто не «владеет» объектом; однако можно *владеть ссылкой* на объект. Счётчик ссылок объекта теперь определяется как количество принадлежащих (owned) ссылок на него. Владелец ссылки отвечает за вызов [`Py_DECREF()`](https://python-all.ru/3.12/c-api/refcounting.html#c.Py_DECREF), когда ссылка больше не нужна. Владение ссылкой может быть передано. Существует три способа распорядиться принадлежащей ссылкой: передать её, сохранить или вызвать [`Py_DECREF()`](https://python-all.ru/3.12/c-api/refcounting.html#c.Py_DECREF). Забыть распорядиться принадлежащей ссылкой – значит создать утечку памяти.603604Также возможно *заимствовать* [\[2\]](https://python-all.ru/3.12/extending/extending.html#id6) ссылку на объект. Заимствующий ссылку не должен вызывать [`Py_DECREF()`](https://python-all.ru/3.12/c-api/refcounting.html#c.Py_DECREF). Заимствующий не должен удерживать объект дольше, чем владелец, у которого она была заимствована. Использование заимствованной ссылки после того, как владелец распорядился ею, связано с риском использования освобождённой памяти и должно полностью избегаться [\[3\]](https://python-all.ru/3.12/extending/extending.html#id7).605606Преимущество заимствования ссылки перед владением в том, что не нужно заботиться о распоряжении ссылкой на всех возможных путях выполнения кода – иными словами, с заимствованной ссылкой нет риска утечки при преждевременном выходе. Недостаток заимствования по сравнению с владением в том, что существуют некоторые тонкие ситуации, когда в, казалось бы, корректном коде заимствованная ссылка может быть использована после того, как владелец, у которого она была заимствована, фактически распорядился ею.607608Заимствованная ссылка может быть превращена в собственную путём вызова [`Py_INCREF()`](https://python-all.ru/3.12/c-api/refcounting.html#c.Py_INCREF). Это не влияет на статус владельца, у которого была заимствована ссылка – создаётся новая собственная ссылка, и на нового владельца возлагаются все обязанности владельца (новый владелец должен правильно распорядиться ссылкой, равно как и предыдущий владелец).609610### 1.10.2. Правила владения611612Всякий раз, когда ссылка на объект передаётся в функцию или из неё, является частью спецификации интерфейса функции, передаётся ли владение вместе со ссылкой или нет.613614Большинство функций, возвращающих ссылку на объект, передают вместе с ней и владение. В частности, все функции, чья задача – создать новый объект, такие как [`PyLong_FromLong()`](https://python-all.ru/3.12/c-api/long.html#c.PyLong_FromLong) и [`Py_BuildValue()`](https://python-all.ru/3.12/c-api/arg.html#c.Py_BuildValue), передают владение получателю. Даже если объект на самом деле не новый, всё равно получается владение новой ссылкой на этот объект. Например, [`PyLong_FromLong()`](https://python-all.ru/3.12/c-api/long.html#c.PyLong_FromLong) поддерживает кеш популярных значений и может вернуть ссылку на кешированный элемент.615616Многие функции, извлекающие объекты из других объектов, также передают владение вместе со ссылкой, например [`PyObject_GetAttrString()`](https://python-all.ru/3.12/c-api/object.html#c.PyObject_GetAttrString). Однако здесь картина менее ясна, поскольку несколько распространённых подпрограмм являются исключениями: [`PyTuple_GetItem()`](https://python-all.ru/3.12/c-api/tuple.html#c.PyTuple_GetItem), [`PyList_GetItem()`](https://python-all.ru/3.12/c-api/list.html#c.PyList_GetItem), [`PyDict_GetItem()`](https://python-all.ru/3.12/c-api/dict.html#c.PyDict_GetItem) и [`PyDict_GetItemString()`](https://python-all.ru/3.12/c-api/dict.html#c.PyDict_GetItemString) – все они возвращают ссылки, которые заимствуются из кортежа, списка или словаря.617618Функция [`PyImport_AddModule()`](https://python-all.ru/3.12/c-api/import.html#c.PyImport_AddModule) также возвращает заимствованную ссылку, даже если она на самом деле создаёт возвращаемый объект: это возможно, потому что собственная ссылка на объект хранится в `sys.modules`.619620Когда вы передаёте ссылку на объект в другую функцию, в общем случае функция заимствует у вас эту ссылку – если ей нужно сохранить её, она использует [`Py_INCREF()`](https://python-all.ru/3.12/c-api/refcounting.html#c.Py_INCREF), чтобы стать независимым владельцем. Из этого правила есть ровно два важных исключения: [`PyTuple_SetItem()`](https://python-all.ru/3.12/c-api/tuple.html#c.PyTuple_SetItem) и [`PyList_SetItem()`](https://python-all.ru/3.12/c-api/list.html#c.PyList_SetItem). Эти функции принимают владение переданным им объектом – даже в случае неудачи! (Обратите внимание, что [`PyDict_SetItem()`](https://python-all.ru/3.12/c-api/dict.html#c.PyDict_SetItem) и подобные ему функции не принимают владение – они «нормальные».)621622Когда C-функция вызывается из Python, она заимствует ссылки на свои аргументы у вызывающей стороны. Вызывающая сторона владеет ссылкой на объект, поэтому время жизни заимствованной ссылки гарантировано до возврата из функции. Только если такую заимствованную ссылку необходимо сохранить или передать дальше, она должна быть превращена в собственную ссылку с помощью вызова [`Py_INCREF()`](https://python-all.ru/3.12/c-api/refcounting.html#c.Py_INCREF).623624Ссылка на объект, возвращаемая из C-функции, вызванной из Python, должна быть собственной – владение передаётся от функции её вызывающей стороне.625626### 1.10.3. Тонкий лёд627628Есть несколько ситуаций, когда безобидное, на первый взгляд, использование заимствованной ссылки может привести к проблемам. Все они связаны с неявными вызовами интерпретатора, которые могут заставить владельца ссылки освободить её.629630Первый и самый важный случай, о котором стоит знать, – это использование [`Py_DECREF()`](https://python-all.ru/3.12/c-api/refcounting.html#c.Py_DECREF) на постороннем объекте, пока заимствована ссылка на элемент списка. Например:631632```c633void634bug(PyObject *list)635{636 PyObject *item = PyList_GetItem(list, 0);637638 PyList_SetItem(list, 1, PyLong_FromLong(0L));639 PyObject_Print(item, stdout, 0); /* ОШИБКА! */640}641```642643Эта функция сначала заимствует ссылку на `list[0]`, затем заменяет `list[1]` значением `0` и наконец печатает заимствованную ссылку. Выглядит безобидно, правда? Но это не так!644645Проследим поток управления внутри [`PyList_SetItem()`](https://python-all.ru/3.12/c-api/list.html#c.PyList_SetItem). Список владеет ссылками на все свои элементы, поэтому при замене элемента 1 он должен избавиться от исходного элемента 1. Предположим теперь, что исходный элемент 1 был экземпляром пользовательского класса, и далее предположим, что в классе определён метод `__del__()`. Если у этого экземпляра класса счётчик ссылок равен 1, при его удалении будет вызван метод `__del__()`.646647Поскольку метод `__del__()` написан на Python, он может выполнять произвольный код Python. Может ли он каким-то образом аннулировать ссылку на `item` в `bug()`? Ещё как! Если предположить, что список, переданный в `bug()`, доступен методу `__del__()`, то он может выполнить инструкцию вроде `del list[0]`, и если это была последняя ссылка на этот объект, то он освободит связанную с ним память, тем самым аннулировав `item`.648649Решение, если знать источник проблемы, простое: временно увеличить счётчик ссылок. Правильная версия функции выглядит так:650651```c652void653no_bug(PyObject *list)654{655 PyObject *item = PyList_GetItem(list, 0);656657 Py_INCREF(item);658 PyList_SetItem(list, 1, PyLong_FromLong(0L));659 PyObject_Print(item, stdout, 0);660 Py_DECREF(item);661}662```663664Это реальная история. В старой версии Python были варианты этой ошибки, и кому-то пришлось потратить много времени в отладчике C, чтобы выяснить, почему его методы `__del__()` не работали…665666Второй случай проблем с заимствованной ссылкой связан с потоками. Обычно несколько потоков в интерпретаторе Python не мешают друг другу, поскольку существует глобальная блокировка, защищающая всё пространство объектов Python. Однако эту блокировку можно временно отпустить с помощью макроса [`Py_BEGIN_ALLOW_THREADS`](https://python-all.ru/3.12/c-api/init.html#c.Py_BEGIN_ALLOW_THREADS) и снова захватить с помощью [`Py_END_ALLOW_THREADS`](https://python-all.ru/3.12/c-api/init.html#c.Py_END_ALLOW_THREADS). Это обычная практика вокруг блокирующих операций ввода-вывода, чтобы дать другим потокам использовать процессор во время ожидания завершения ввода-вывода. Очевидно, следующая функция имеет ту же проблему, что и предыдущая:667668```c669void670bug(PyObject *list)671{672 PyObject *item = PyList_GetItem(list, 0);673 Py_BEGIN_ALLOW_THREADS674 ...some blocking I/O call...675 Py_END_ALLOW_THREADS676 PyObject_Print(item, stdout, 0); /* ОШИБКА! */677}678```679680### 1.10.4. Указатели NULL681682В общем случае функции, принимающие ссылки на объекты в качестве аргументов, не ожидают, что вы передадите им указатели `NULL`, и приведут к аварийному завершению (или более поздним сбоям), если вы это сделаете. Функции, возвращающие ссылки на объекты, обычно возвращают `NULL` только для указания на то, что произошло исключение. Причина, по которой не проверяются аргументы на `NULL`, в том, что функции часто передают полученные объекты другим функциям – если бы каждая функция проверяла `NULL`, было бы много избыточных проверок и код работал бы медленнее.683684Лучше проверять на `NULL` только «у источника»: когда получен указатель, который может быть `NULL`, например, от `malloc()` или от функции, которая может возбуждать исключение.685686Макросы [`Py_INCREF()`](https://python-all.ru/3.12/c-api/refcounting.html#c.Py_INCREF) и [`Py_DECREF()`](https://python-all.ru/3.12/c-api/refcounting.html#c.Py_DECREF) не проверяют указатели на `NULL` – однако их варианты [`Py_XINCREF()`](https://python-all.ru/3.12/c-api/refcounting.html#c.Py_XINCREF) и [`Py_XDECREF()`](https://python-all.ru/3.12/c-api/refcounting.html#c.Py_XDECREF) делают это.687688Макросы для проверки конкретного типа объекта (`Pytype_Check()`) не проверяют указатели на `NULL` – опять же, есть много кода, который вызывает несколько таких макросов подряд для проверки объекта на соответствие различным ожидаемым типам, и это порождало бы избыточные проверки. Не существует вариантов с проверкой `NULL`.689690Механизм вызова C-функций гарантирует, что список аргументов, передаваемый C- функциям (`args` в примерах), никогда не равен `NULL` – на самом деле он гарантирует, что это всегда кортеж [\[4\]](https://python-all.ru/3.12/extending/extending.html#id8).691692Серьёзной ошибкой является допустить «утечку» указателя `NULL` к пользователю Python.693694## 1.11. Написание расширений на C++695696Модули расширения можно писать на C++. Применяются некоторые ограничения. Если главная программа (интерпретатор Python) компилируется и компонуется C- компилятором, нельзя использовать глобальные или статические объекты с конструкторами. Это не проблема, если главная программа компонуется C++-компилятором. Функции, которые будут вызываться интерпретатором Python (в частности, функции инициализации модулей), должны быть объявлены с помощью `extern "C"`. Нет необходимости заключать заголовочные файлы Python в `extern "C" {...}` – они уже используют эту форму, если определён символ `__cplusplus` (все современные C++-компиляторы определяют этот символ).697698## 1.12. Предоставление C API для модуля расширения699700Многие модули расширения просто предоставляют новые функции и типы для использования из Python, но иногда код в модуле расширения может быть полезен для других модулей расширения. Например, модуль расширения может реализовать тип «коллекция», который работает как список без порядка. Подобно тому, как стандартный тип списка Python имеет C API, позволяющий модулям расширения создавать списки и управлять ими, этот новый тип коллекции должен иметь набор C-функций для прямого управления из других модулей расширения.701702На первый взгляд задача кажется простой: достаточно написать функции (не объявляя их `static`, разумеется), предоставить соответствующий заголовочный файл и документировать C API. И действительно, это бы сработало, если бы все модули расширения всегда статически компоновались с интерпретатором Python. Однако, когда модули используются как разделяемые библиотеки, символы, определённые в одном модуле, могут быть не видны другому модулю. Детали видимости зависят от операционной системы; одни системы используют единое глобальное пространство имён для интерпретатора Python и всех модулей расширения (например, Windows), а другие требуют явного списка импортируемых символов на этапе компоновки модуля (например, AIX) или предлагают выбор разных стратегий (большинство Unix-систем). И даже если символы глобально видны, модуль, функции которого нужно вызвать, может быть ещё не загружен!703704Поэтому для обеспечения переносимости не следует делать предположений о видимости символов. Это означает, что все символы в модулях расширения должны быть объявлены `static`, за исключением функции инициализации модуля, чтобы избежать конфликтов имён с другими модулями расширения (как обсуждается в разделе [Таблица методов модуля и функция инициализации](https://python-all.ru/3.12/extending/extending.html#methodtable)). И это также означает, что символы, которые *должны* быть доступны из других модулей расширения, должны экспортироваться иным способом.705706Python предоставляет специальный механизм для передачи C-информации (указателей) из одного модуля расширения в другой: Capsules. Capsule – это тип данных Python, который хранит указатель (void\*). Capsules можно создавать и получать доступ к ним только через их C API, но их можно передавать, как любой другой объект Python. В частности, их можно присвоить имени в пространстве имён модуля расширения. Другие модули расширения могут затем импортировать этот модуль, получить значение этого имени, а затем извлечь указатель из Capsule.707708Существует много способов использования Capsules для экспорта C API модуля расширения. Каждая функция может получить свой собственный Capsule, или все указатели C API могут храниться в массиве, адрес которого опубликован в Capsule. А различные задачи хранения и извлечения указателей могут быть распределены разными способами между модулем, предоставляющим код, и модулями-клиентами.709710Какой бы метод вы ни выбрали, важно правильно называть свои Capsules. Функция [`PyCapsule_New()`](https://python-all.ru/3.12/c-api/capsule.html#c.PyCapsule_New) принимает параметр name (const char\*); вы можете передать `NULL` имя, но мы настоятельно рекомендуем указывать имя. Правильно названные Capsules обеспечивают определённый уровень типобезопасности во время выполнения; нет практического способа отличить один безымянный Capsule от другого.711712В частности, Capsules, используемые для предоставления C API, должны получать имена согласно следующему соглашению:713714```c715modulename.attributename716```717718Удобная функция [`PyCapsule_Import()`](https://python-all.ru/3.12/c-api/capsule.html#c.PyCapsule_Import) упрощает загрузку C API, предоставленного через Capsule, но только если имя Capsule соответствует этому соглашению. Такое поведение даёт пользователям C API высокую степень уверенности в том, что загруженный ими Capsule содержит правильный C API.719720Следующий пример демонстрирует подход, при котором основная нагрузка ложится на разработчика экспортирующего модуля, что подходит для часто используемых библиотечных модулей. Он хранит все указатели C API (в примере только один!) в массиве указателей void, который становится значением Capsule. Заголовочный файл, соответствующий модулю, предоставляет макрос, который заботится об импорте модуля и извлечении его указателей C API; модулям-клиентам нужно только вызвать этот макрос перед доступом к C API.721722Экспортирующий модуль – это модификация модуля `spam` из раздела [Простой пример](https://python-all.ru/3.12/extending/extending.html#extending-simpleexample). Функция `spam.system()` не вызывает напрямую функцию библиотеки C `system()`, а вызывает функцию `PySpam_System()`, которая в реальности, конечно, делала бы что-то более сложное (например, добавляла бы «spam» к каждой команде). Эта функция `PySpam_System()` также экспортируется в другие модули расширения.723724Функция `PySpam_System()` – это обычная функция на C, объявленная `static`, как и всё остальное:725726```c727static int728PySpam_System(const char *command)729{730 return system(command);731}732```733734Функция `spam_system()` тривиально модифицирована:735736```c737static PyObject *738spam_system(PyObject *self, PyObject *args)739{740 const char *command;741 int sts;742743 if (!PyArg_ParseTuple(args, "s", &command))744 return NULL;745 sts = PySpam_System(command);746 return PyLong_FromLong(sts);747}748```749750В начале модуля, сразу после строки751752```c753#include <Python.h>754```755756необходимо добавить ещё две строки:757758```c759#define SPAM_MODULE760#include "spammodule.h"761```762763`#define` используется, чтобы сообщить заголовочному файлу, что он включается в экспортирующий модуль, а не в клиентский модуль. Наконец, функция инициализации модуля должна позаботиться об инициализации массива указателей C API:764765```c766PyMODINIT_FUNC767PyInit_spam(void)768{769 PyObject *m;770 static void *PySpam_API[PySpam_API_pointers];771 PyObject *c_api_object;772773 m = PyModule_Create(&spammodule);774 if (m == NULL)775 return NULL;776777 /* Инициализация массива указателей C API */778 PySpam_API[PySpam_System_NUM] = (void *)PySpam_System;779780 /* Создание капсулы, содержащей адрес массива указателей API */781 c_api_object = PyCapsule_New((void *)PySpam_API, "spam._C_API", NULL);782783 if (PyModule_AddObject(m, "_C_API", c_api_object) < 0) {784 Py_XDECREF(c_api_object);785 Py_DECREF(m);786 return NULL;787 }788789 return m;790}791```792793Обратите внимание, что `PySpam_API` объявлен `static`; иначе массив указателей исчезнет после завершения `PyInit_spam()`!794795Основная работа выполняется в заголовочном файле `spammodule.h`, который выглядит следующим образом:796797```c798#ifndef Py_SPAMMODULE_H799#define Py_SPAMMODULE_H800#ifdef __cplusplus801extern "C" {802#endif803804/* Заголовочный файл для spammodule */805806/* Функции C API */807#define PySpam_System_NUM 0808#define PySpam_System_RETURN int809#define PySpam_System_PROTO (const char *command)810811/* Общее количество указателей C API */812#define PySpam_API_pointers 1813814#ifdef SPAM_MODULE815/* Этот раздел используется при компиляции spammodule.c */816817static PySpam_System_RETURN PySpam_System PySpam_System_PROTO;818819#else820/* Этот раздел используется в модулях, которые используют API spammodule */821822static void **PySpam_API;823824#define PySpam_System \825 (*(PySpam_System_RETURN (*)PySpam_System_PROTO) PySpam_API[PySpam_System_NUM])826827/* Возвращает -1 при ошибке, 0 при успехе.828 * PyCapsule_Import установит исключение, если произошла ошибка.829 */830static int831import_spam(void)832{833 PySpam_API = (void **)PyCapsule_Import("spam._C_API", 0);834 return (PySpam_API != NULL) ? 0 : -1;835}836837#endif838839#ifdef __cplusplus840}841#endif842843#endif /* !defined(Py_SPAMMODULE_H) */844```845846Всё, что нужно сделать клиентскому модулю для доступа к функции `PySpam_System()` – это вызвать функцию (точнее, макрос) `import_spam()` в своей функции инициализации:847848```c849PyMODINIT_FUNC850PyInit_client(void)851{852 PyObject *m;853854 m = PyModule_Create(&clientmodule);855 if (m == NULL)856 return NULL;857 if (import_spam() < 0)858 return NULL;859 /* дополнительная инициализация может быть выполнена здесь */860 return m;861}862```863864Главный недостаток этого подхода в том, что файл `spammodule.h` довольно сложен. Однако базовая структура одинакова для каждой экспортируемой функции, поэтому её достаточно изучить один раз.865866Наконец, стоит упомянуть, что Capsules предоставляют дополнительную функциональность, которая особенно полезна для выделения и освобождения памяти указателя, хранящегося в Capsule. Подробности описаны в справочном руководстве по Python/C API в разделе [Capsules](https://python-all.ru/3.12/c-api/capsule.html#capsules) и в реализации Capsules (файлы `Include/pycapsule.h` и `Objects/pycapsule.c` в дистрибутиве исходного кода Python).867868Сноски869870\[[1](https://python-all.ru/3.12/extending/extending.html#id1)\]871872Интерфейс для этой функции уже существует в стандартном модуле [`os`](https://python-all.ru/3.12/library/os.html#module-os) – он был выбран в качестве простого и наглядного примера.873874\[[2](https://python-all.ru/3.12/extending/extending.html#id2)\]875876Метафора «заимствования» ссылки не совсем точна: владелец всё ещё имеет копию ссылки.877878\[[3](https://python-all.ru/3.12/extending/extending.html#id3)\]879880Проверка того, что счётчик ссылок не меньше 1, **не работает** – сам счётчик ссылок может находиться в освобождённой памяти и поэтому может быть повторно использован для другого объекта!881882\[[4](https://python-all.ru/3.12/extending/extending.html#id4)\]883884Эти гарантии не действуют при использовании «старого» стиля соглашения о вызовах – он всё ещё встречается в большом объёме существующего кода.885