extending.md
1> **Источник:** https://python-all.ru/2.7/extending/extending.html2>3> «Документация Python на русском» – неофициальный перевод официальной документации Python: версии от 2.6 до 3.16, полнотекстовый поиск, английский оригинал рядом с переводом. Эта Markdown-версия страницы предназначена для работы с LLM: вставьте её в ChatGPT, Claude или Cursor.45---67# 1. Расширение Python с помощью C или C++89Добавлять новые встроенные модули в Python довольно просто, если вы умеете программировать на C. Такие *модули расширения* могут делать две вещи, которые невозможно выполнить непосредственно в Python: они могут реализовывать новые встроенные типы объектов и вызывать функции библиотек C и системные вызовы.1011Для поддержки расширений Python API (интерфейс прикладного программирования) определяет набор функций, макросов и переменных, предоставляющих доступ к большинству аспектов системы времени выполнения Python. Python API включается в C-файл с помощью заголовка `"Python.h"`.1213Компиляция модуля расширения зависит от его предполагаемого использования, а также от настроек вашей системы; подробности приведены в следующих главах.1415> **Примечание**16>17> Интерфейс C-расширений специфичен для CPython, и модули расширений не работают в других реализациях Python. Во многих случаях можно обойтись без написания C-расширений и сохранить переносимость на другие реализации. Например, если ваш вариант использования – вызов функций библиотек C или системных вызовов, стоит рассмотреть использование модуля [`ctypes`](https://python-all.ru/2.7/library/ctypes.html#module-ctypes) или библиотеки [cffi](https://python-all.ru/2.7/extending/extending.html) вместо написания собственного кода на C. Эти модули позволяют писать код на Python для взаимодействия с кодом на C и являются более переносимыми между реализациями Python, чем написание и компиляция модуля расширения на C.1819## 1.1. Простой пример2021Давайте создадим модуль расширения с именем `spam` (любимая еда фанатов Монти Питона…) и предположим, что мы хотим создать интерфейс Python для функции C библиотеки `system()` [1](https://python-all.ru/2.7/extending/extending.html#id5). Эта функция принимает в качестве аргумента строку, завершающуюся нулевым символом, и возвращает целое число. Мы хотим, чтобы эту функцию можно было вызывать из Python следующим образом:2223```c24>>> import spam25>>> status = spam.system("ls -l")26```2728Начните с создания файла `spammodule.c`. (Исторически сложилось, что если модуль называется `spam`, то C-файл, содержащий его реализацию, называется `spammodule.c`; если имя модуля очень длинное, например `spammify`, то имя модуля может быть просто `spammify.c`.)2930Первая строка нашего файла может быть:3132```c33#include <Python.h>34```3536которые подключают Python API (при желании можно добавить комментарий, описывающий назначение модуля, и уведомление об авторских правах).3738> **Примечание**39>40> Поскольку Python может определять некоторые директивы препроцессора, которые влияют на стандартные заголовочные файлы в некоторых системах, *необходимо* включать `Python.h` до того, как будут включены любые стандартные заголовочные файлы.4142Все видимые пользователю символы, определённые `Python.h`, имеют префикс `Py` или `PY`, за исключением определённых в стандартных заголовочных файлах. Для удобства, а также поскольку они широко используются интерпретатором Python, `"Python.h"` включает несколько стандартных заголовочных файлов: `<stdio.h>`, `<string.h>`, `<errno.h>` и `<stdlib.h>`. Если последнего заголовочного файла нет в вашей системе, в нём напрямую объявляются функции `malloc()`, `free()` и `realloc()`.4344Следующее, что мы добавим в наш файл модуля, – это C-функция, которая будет вызываться при вычислении выражения Python `spam.system(string)` (чуть позже мы увидим, как именно она в итоге вызывается):4546```c47static PyObject *48spam_system(PyObject *self, PyObject *args)49{50 const char *command;51 int sts;5253 if (!PyArg_ParseTuple(args, "s", &command))54 return NULL;55 sts = system(command);56 return Py_BuildValue("i", sts);57}58```5960Существует прямой способ отображения списка аргументов в Python (например, одиночного выражения `"ls -l"`) на аргументы, передаваемые C-функции. C-функция всегда имеет два аргумента, традиционно называемых *self* и *args*.6162Для функций модуля аргумент *self* равен *NULL* или является указателем, выбранным при инициализации модуля (см. [`Py_InitModule4()`](https://python-all.ru/2.7/c-api/allocation.html#c.Py_InitModule4)). Для метода он указывает на экземпляр объекта.6364Аргумент *args* будет указателем на кортеж Python, содержащий аргументы. Каждый элемент кортежа соответствует одному аргументу из списка аргументов вызова. Аргументы – это объекты Python; чтобы выполнить с ними какие-либо действия в нашей C-функции, их необходимо преобразовать в значения C. Функция [`PyArg_ParseTuple()`](https://python-all.ru/2.7/c-api/arg.html#c.PyArg_ParseTuple) из Python API проверяет типы аргументов и преобразует их в значения C. Она использует строку формата для определения требуемых типов аргументов, а также типов переменных C, в которые будут сохранены преобразованные значения. Подробнее об этом позже.6566[`PyArg_ParseTuple()`](https://python-all.ru/2.7/c-api/arg.html#c.PyArg_ParseTuple) возвращает true (ненулевое значение), если все аргументы имеют правильный тип и их компоненты сохранены в переменные, адреса которых были переданы. Она возвращает false (ноль), если передан недопустимый список аргументов. В последнем случае она также возбуждает соответствующее исключение, чтобы вызывающая функция могла немедленно вернуть *NULL* (как мы видели в примере).6768## 1.2. Интермеццо: ошибки и исключения6970Важное соглашение, используемое во всём интерпретаторе Python, заключается в следующем: когда функция завершается ошибкой, она должна установить состояние исключения и вернуть значение ошибки (обычно указатель *NULL*). Исключения хранятся в статической глобальной переменной внутри интерпретатора; если эта переменная равна *NULL*, значит исключение не возникло. Вторая глобальная переменная хранит «связанное значение» исключения (второй аргумент [`raise`](https://python-all.ru/2.7/reference/simple_stmts.html#raise)). Третья переменная содержит стек traceback на случай, если ошибка произошла в коде Python. Эти три переменные являются C-эквивалентами переменных Python `sys.exc_type`, `sys.exc_value` и `sys.exc_traceback` (см. раздел о модуле [`sys`](https://python-all.ru/2.7/library/sys.html#module-sys) в справочнике по библиотеке Python). Важно знать о них, чтобы понимать, как передаются ошибки.7172Python API определяет ряд функций для установки различных типов исключений.7374Самая распространённая из них – [`PyErr_SetString()`](https://python-all.ru/2.7/c-api/exceptions.html#c.PyErr_SetString). Её аргументы – объект исключения и C-строка. Объект исключения обычно является предопределённым объектом, таким как `PyExc_ZeroDivisionError`. C-строка указывает причину ошибки и преобразуется в строковый объект Python, который сохраняется как «связанное значение» исключения.7576Другая полезная функция – [`PyErr_SetFromErrno()`](https://python-all.ru/2.7/c-api/exceptions.html#c.PyErr_SetFromErrno), которая принимает только аргумент-исключение и формирует связанное значение, проверяя глобальную переменную `errno`. Самая общая функция – [`PyErr_SetObject()`](https://python-all.ru/2.7/c-api/exceptions.html#c.PyErr_SetObject), принимающая два объектных аргумента: исключение и его связанное значение. Не требуется [`Py_INCREF()`](https://python-all.ru/2.7/c-api/refcounting.html#c.Py_INCREF) объекты, переданные любой из этих функций.7778Вы можете неразрушающе проверить, было ли установлено исключение, с помощью [`PyErr_Occurred()`](https://python-all.ru/2.7/c-api/exceptions.html#c.PyErr_Occurred). Она возвращает текущий объект исключения или *NULL*, если исключения не произошло. Обычно нет необходимости вызывать [`PyErr_Occurred()`](https://python-all.ru/2.7/c-api/exceptions.html#c.PyErr_Occurred), чтобы узнать, произошла ли ошибка в вызове функции, так как об этом можно судить по возвращаемому значению.7980Когда функция *f*, вызывающая другую функцию *g*, обнаруживает, что последняя завершилась с ошибкой, *f* сама должна вернуть значение ошибки (обычно *NULL* или `-1`). Она *не* должна вызывать одну из функций `PyErr_*()` – одна уже была вызвана функцией *g*. Вызывающая сторона *f* затем также должна вернуть индикацию ошибки *своему* вызывающему, снова *без* вызова `PyErr_*()`, и так далее – наиболее детальная причина ошибки уже была сообщена функцией, которая первой её обнаружила. Как только ошибка достигает главного цикла интерпретатора Python, это прерывает выполняемый в данный момент код Python и пытается найти обработчик исключений, указанный программистом Python.8182(Бывают ситуации, когда модуль может дать более подробное сообщение об ошибке, вызвав другую функцию `PyErr_*()`, и в таких случаях это допустимо. Однако, как правило, это не обязательно и может привести к потере информации о причине ошибки: большинство операций могут завершиться ошибкой по разным причинам.)8384Чтобы проигнорировать исключение, установленное неудачным вызовом функции, условие исключения должно быть явно очищено вызовом [`PyErr_Clear()`](https://python-all.ru/2.7/c-api/exceptions.html#c.PyErr_Clear). Единственный случай, когда C-код должен вызывать [`PyErr_Clear()`](https://python-all.ru/2.7/c-api/exceptions.html#c.PyErr_Clear), – это если он не хочет передавать ошибку интерпретатору, а хочет полностью обработать её самостоятельно (возможно, попробовав что-то другое или сделав вид, что ничего не произошло).8586Каждый неудачный вызов `malloc()` должен быть преобразован в исключение – непосредственный вызывающий код `malloc()` (или `realloc()`) должен вызвать [`PyErr_NoMemory()`](https://python-all.ru/2.7/c-api/exceptions.html#c.PyErr_NoMemory) и сам вернуть индикатор ошибки. Все функции, создающие объекты (например, [`PyInt_FromLong()`](https://python-all.ru/2.7/c-api/int.html#c.PyInt_FromLong)), уже делают это, поэтому данное замечание относится только к тем, кто вызывает `malloc()` напрямую.8788Также обратите внимание, что, за важным исключением [`PyArg_ParseTuple()`](https://python-all.ru/2.7/c-api/arg.html#c.PyArg_ParseTuple) и подобных, функции, возвращающие целочисленный статус, обычно возвращают положительное значение или ноль в случае успеха и `-1` в случае ошибки, как системные вызовы Unix.8990Наконец, следует позаботиться об очистке мусора (вызвав [`Py_XDECREF()`](https://python-all.ru/2.7/c-api/refcounting.html#c.Py_XDECREF) или [`Py_DECREF()`](https://python-all.ru/2.7/c-api/refcounting.html#c.Py_DECREF) для уже созданных объектов) при возврате индикатора ошибки.9192Выбор, какое исключение возбуждать, полностью за вами. Существуют предварительно объявленные C-объекты, соответствующие всем встроенным исключениям Python, например `PyExc_ZeroDivisionError`, которые можно использовать напрямую. Конечно, следует выбирать исключения разумно – не стоит использовать `PyExc_TypeError` для обозначения того, что файл не удалось открыть (для этого вероятно следует использовать `PyExc_IOError`). Если что-то не так со списком аргументов, функция [`PyArg_ParseTuple()`](https://python-all.ru/2.7/c-api/arg.html#c.PyArg_ParseTuple) обычно возбуждает `PyExc_TypeError`. Если значение аргумента должно находиться в определённом диапазоне или удовлетворять другим условиям, подходит `PyExc_ValueError`.9394Можно также определить новое исключение, уникальное для вашего модуля. Для этого обычно объявляется статическая объектная переменная в начале файла:9596```c97static PyObject *SpamError;98```99100и инициализируйте его в функции инициализации вашего модуля (`initspam()`) объектом исключения (пока опуская проверку ошибок):101102```c103PyMODINIT_FUNC104initspam(void)105{106 PyObject *m;107108 m = Py_InitModule("spam", SpamMethods);109 if (m == NULL)110 return;111112 SpamError = PyErr_NewException("spam.error", NULL, NULL);113 Py_INCREF(SpamError);114 PyModule_AddObject(m, "error", SpamError);115}116```117118Обратите внимание, что имя исключения в Python – `spam.error`. Функция [`PyErr_NewException()`](https://python-all.ru/2.7/c-api/exceptions.html#c.PyErr_NewException) может создать класс с базовым классом [`Exception`](https://python-all.ru/2.7/library/exceptions.html#exceptions.Exception) (если вместо *NULL* не передан другой класс), описанный в [Встроенные исключения](https://python-all.ru/2.7/library/exceptions.html#bltin-exceptions).119120Также обратите внимание, что переменная `SpamError` сохраняет ссылку на вновь созданный класс исключения; это сделано намеренно! Поскольку исключение может быть удалено из модуля внешним кодом, необходима собственная ссылка на класс, чтобы гарантировать, что он не будет отброшен, что приведёт к превращению `SpamError` в висячий указатель. Если он станет висячим указателем, C-код, возбуждающий исключение, может вызвать аварийный дамп или другие непреднамеренные побочные эффекты.121122Использование `PyMODINIT_FUNC` в качестве возвращаемого типа функции обсуждается далее в этом примере.123124Исключение `spam.error` может быть возбуждено в вашем модуле расширения с помощью вызова [`PyErr_SetString()`](https://python-all.ru/2.7/c-api/exceptions.html#c.PyErr_SetString), как показано ниже:125126```c127static PyObject *128spam_system(PyObject *self, PyObject *args)129{130 const char *command;131 int sts;132133 if (!PyArg_ParseTuple(args, "s", &command))134 return NULL;135 sts = system(command);136 if (sts < 0) {137 PyErr_SetString(SpamError, "System command failed");138 return NULL;139 }140 return PyLong_FromLong(sts);141}142```143144## 1.3. Возвращаясь к примеру145146Вернёмся к нашей функции-примеру. Теперь вы должны понимать этот оператор:147148```c149if (!PyArg_ParseTuple(args, "s", &command))150 return NULL;151```152153Она возвращает *NULL* (индикатор ошибки для функций, возвращающих указатели на объекты), если в списке аргументов обнаружена ошибка, полагаясь на исключение, установленное [`PyArg_ParseTuple()`](https://python-all.ru/2.7/c-api/arg.html#c.PyArg_ParseTuple). В противном случае строковое значение аргумента копируется в локальную переменную `command`. Это присваивание указателя, и не следует изменять строку, на которую он указывает (поэтому в стандарте C переменная `command` должным образом должна быть объявлена как `const char *command`).154155Следующий оператор – это вызов функции Unix `system()` с передачей строки, полученной от [`PyArg_ParseTuple()`](https://python-all.ru/2.7/c-api/arg.html#c.PyArg_ParseTuple):156157```c158sts = system(command);159```160161Наша функция `spam.system()` должна возвращать значение `sts` как объект Python. Это делается с помощью функции [`Py_BuildValue()`](https://python-all.ru/2.7/c-api/arg.html#c.Py_BuildValue), которая является чем-то вроде обратной к [`PyArg_ParseTuple()`](https://python-all.ru/2.7/c-api/arg.html#c.PyArg_ParseTuple): она принимает строку формата и произвольное количество значений C и возвращает новый объект Python. Подробнее о [`Py_BuildValue()`](https://python-all.ru/2.7/c-api/arg.html#c.Py_BuildValue) будет рассказано позже.162163```c164return Py_BuildValue("i", sts);165```166167В данном случае она вернёт целочисленный объект. (Да, даже целые числа в Python – это объекты в куче!)168169Если у вас есть C-функция, которая не возвращает полезного аргумента (функция, возвращающая `void`), соответствующая функция Python должна возвращать `None`. Для этого требуется такая идиома (она реализована макросом [`Py_RETURN_NONE`](https://python-all.ru/2.7/c-api/none.html#c.Py_RETURN_NONE)):170171```c172Py_INCREF(Py_None);173return Py_None;174```175176[`Py_None`](https://python-all.ru/2.7/c-api/none.html#c.Py_None) – это имя в C для специального объекта Python `None`. Это настоящий объект Python, а не указатель *NULL*, который, как мы видели, в большинстве контекстов означает «ошибку».177178## 1.4. Таблица методов модуля и функция инициализации179180Я обещал показать, как `spam_system()` вызывается из программ Python. Сначала нужно перечислить её имя и адрес в «таблице методов»:181182```c183static PyMethodDef SpamMethods[] = {184 ...185 {"system", spam_system, METH_VARARGS,186 "Execute a shell command."},187 ...188 {NULL, NULL, 0, NULL} /* Страж */189};190```191192Обратите внимание на третью запись (`METH_VARARGS`). Это флаг, сообщающий интерпретатору соглашение о вызове для C-функции. Обычно он должен быть `METH_VARARGS` или `METH_VARARGS | METH_KEYWORDS`; значение `0` означает, что используется устаревший вариант [`PyArg_ParseTuple()`](https://python-all.ru/2.7/c-api/arg.html#c.PyArg_ParseTuple).193194При использовании только `METH_VARARGS` функция должна ожидать, что параметры уровня Python будут переданы в виде кортежа, пригодного для разбора через [`PyArg_ParseTuple()`](https://python-all.ru/2.7/c-api/arg.html#c.PyArg_ParseTuple); подробнее об этой функции сказано ниже.195196Флаг [`METH_KEYWORDS`](https://python-all.ru/2.7/c-api/structures.html#METH_KEYWORDS) может быть установлен в третьем поле, если функции должны передаваться ключевые аргументы. В этом случае C-функция должна принимать третий параметр `PyObject *` – словарь ключевых слов. Для разбора аргументов такой функции используйте [`PyArg_ParseTupleAndKeywords()`](https://python-all.ru/2.7/c-api/arg.html#c.PyArg_ParseTupleAndKeywords).197198Таблица методов должна быть передана интерпретатору в функции инициализации модуля. Функция инициализации должна называться `initname()`, где *name* – это имя модуля, и она должна быть единственным элементом, не являющимся `static`, определённым в файле модуля:199200```c201PyMODINIT_FUNC202initspam(void)203{204 (void) Py_InitModule("spam", SpamMethods);205}206```207208Обратите внимание, что PyMODINIT\_FUNC объявляет функцию с типом возврата `void`, объявляет все специальные объявления компоновки, необходимые для платформы, и для C++ объявляет функцию как `extern "C"`.209210Когда программа Python впервые импортирует модуль `spam`, `initspam()` вызывается. (См. ниже примечания о встраивании Python.) Она вызывает [`Py_InitModule()`](https://python-all.ru/2.7/c-api/allocation.html#c.Py_InitModule), которая создаёт «объект модуля» (который вставляется в словарь `sys.modules` по ключу `"spam"`) и вставляет встроенные объекты-функции в только что созданный модуль на основе таблицы (массива структур [`PyMethodDef`](https://python-all.ru/2.7/c-api/structures.html#c.PyMethodDef)), переданной в качестве второго аргумента. [`Py_InitModule()`](https://python-all.ru/2.7/c-api/allocation.html#c.Py_InitModule) возвращает указатель на объект модуля, который она создаёт (здесь он не используется). Она может завершиться фатальной ошибкой при некоторых ошибках или вернуть *NULL*, если модуль не удалось инициализировать удовлетворительно.211212При встраивании Python функция `initspam()` не вызывается автоматически, если только нет записи в таблице `_PyImport_Inittab`. Проще всего обработать это, статически инициализируя статические скомпонованные модули прямым вызовом `initspam()` после вызова [`Py_Initialize()`](https://python-all.ru/2.7/c-api/init.html#c.Py_Initialize):213214```c215int216main(int argc, char *argv[])217{218 /* Передать argv[0] интерпретатору Python */219 Py_SetProgramName(argv[0]);220221 /* Инициализировать интерпретатор Python. Обязательно. */222 Py_Initialize();223224 /* Добавить статический модуль */225 initspam();226227 ...228```229230Пример можно найти в файле `Demo/embed/demo.c` в дистрибутиве исходного кода Python.231232> **Примечание**233>234> Удаление записей из `sys.modules` или импорт скомпилированных модулей в несколько интерпретаторов в рамках одного процесса (или после `fork()` без промежуточного `exec()`) может создавать проблемы для некоторых модулей расширений. Авторам модулей расширений следует соблюдать осторожность при инициализации внутренних структур данных. Также обратите внимание, что функцию [`reload()`](https://python-all.ru/2.7/library/functions.html#reload) можно использовать с модулями расширений, и она вызовет функцию инициализации модуля (`initspam()` в примере), но не будет загружать модуль заново, если он был загружен из динамически загружаемого объектного файла (`.so` в Unix, `.dll` в Windows).235236Более объёмный пример модуля включён в дистрибутив исходных текстов Python как `Modules/xxmodule.c`. Этот файл можно использовать как шаблон или просто прочитать как пример.237238## 1.5. Компиляция и компоновка239240Прежде чем вы сможете использовать своё новое расширение, нужно сделать ещё две вещи: скомпилировать и скомпоновать его с системой Python. Если вы используете динамическую загрузку, детали могут зависеть от стиля динамической загрузки, применяемого в вашей системе; обратитесь к главам о сборке модулей расширения (глава [Building C and C++ Extensions with distutils](https://python-all.ru/2.7/extending/building.html#building)) и дополнительной информации, относящейся только к сборке в Windows (глава [Building C and C++ Extensions on Windows](https://python-all.ru/2.7/extending/windows.html#building-on-windows)) для получения дополнительных сведений.241242Если динамическая загрузка недоступна или вы хотите сделать модуль постоянной частью интерпретатора Python, придётся изменить конфигурацию и пересобрать интерпретатор. К счастью, в Unix это очень просто: поместите ваш файл (например, `spammodule.c`) в каталог `Modules/` распакованного дистрибутива исходных кодов, добавьте строку в файл `Modules/Setup.local`, описывающую ваш файл:243244```c245spam spammodule.o246```247248и пересобрать интерпретатор, выполнив **make** в корневом каталоге. Также можно выполнить **make** в подкаталоге `Modules/`, но тогда сначала нужно пересобрать `Makefile` там, выполнив '**make** Makefile'. (Это необходимо каждый раз при изменении файла `Setup`.)249250Если ваш модуль требует дополнительных библиотек для компоновки, их также можно перечислить в строке конфигурационного файла, например:251252```c253spam spammodule.o -lX11254```255256## 1.6. Вызов функций Python из C257258До сих пор мы сосредотачивались на том, как сделать C-функции вызываемыми из Python. Обратное также полезно: вызов функций Python из C. Это особенно актуально для библиотек, поддерживающих так называемые «колбэки». Если C-интерфейс использует колбэки, то эквивалентный Python часто должен предоставить механизм колбэков программисту на Python; реализация потребует вызова функций Python-колбэков из C-колбэка. Можно представить и другие варианты использования.259260К счастью, интерпретатор Python легко вызывается рекурсивно, и существует стандартный интерфейс для вызова функции Python. (Я не буду останавливаться на том, как вызвать анализатор Python с определённой строкой на входе – если вам интересно, взгляните на реализацию опции командной строки [`-c`](https://python-all.ru/2.7/using/cmdline.html#cmdoption-c) в `Modules/main.c` из исходного кода Python.)261262Вызвать функцию Python легко. Во-первых, программа на Python должна каким-то образом передать вам объект функции Python. Вы должны предоставить функцию (или какой-то другой интерфейс) для этого. Когда эта функция вызывается, сохраните указатель на объект функции Python (не забудьте [`Py_INCREF()`](https://python-all.ru/2.7/c-api/refcounting.html#c.Py_INCREF) её!) в глобальной переменной – или где сочтёте нужным. Например, следующая функция может быть частью определения модуля:263264```c265static PyObject *my_callback = NULL;266267static PyObject *268my_set_callback(PyObject *dummy, PyObject *args)269{270 PyObject *result = NULL;271 PyObject *temp;272273 if (PyArg_ParseTuple(args, "O:set_callback", &temp)) {274 if (!PyCallable_Check(temp)) {275 PyErr_SetString(PyExc_TypeError, "parameter must be callable");276 return NULL;277 }278 Py_XINCREF(temp); /* Добавить ссылку на новый колбэк */279 Py_XDECREF(my_callback); /* Освободить предыдущий колбэк */280 my_callback = temp; /* Запомнить новый колбэк */281 /* Шаблон для возврата None */282 Py_INCREF(Py_None);283 result = Py_None;284 }285 return result;286}287```288289Эта функция должна быть зарегистрирована в интерпретаторе с помощью флага [`METH_VARARGS`](https://python-all.ru/2.7/c-api/structures.html#METH_VARARGS); это описано в разделе [Таблица методов модуля и функция инициализации](https://python-all.ru/2.7/extending/extending.html#methodtable). Функция [`PyArg_ParseTuple()`](https://python-all.ru/2.7/c-api/arg.html#c.PyArg_ParseTuple) и её аргументы описаны в разделе [Извлечение параметров в функциях расширения](https://python-all.ru/2.7/extending/extending.html#parsetuple).290291Макросы [`Py_XINCREF()`](https://python-all.ru/2.7/c-api/refcounting.html#c.Py_XINCREF) и [`Py_XDECREF()`](https://python-all.ru/2.7/c-api/refcounting.html#c.Py_XDECREF) увеличивают/уменьшают счётчик ссылок объекта и безопасны при наличии указателей *NULL* (но обратите внимание, что *temp* в этом контексте не будет *NULL*). Дополнительная информация о них в разделе [Счётчики ссылок](https://python-all.ru/2.7/extending/extending.html#refcounts).292293Позже, когда придёт время вызвать функцию, вызывается C-функция [`PyObject_CallObject()`](https://python-all.ru/2.7/c-api/object.html#c.PyObject_CallObject). Эта функция принимает два аргумента, оба указатели на произвольные объекты Python: функцию Python и список аргументов. Список аргументов всегда должен быть объектом кортежа, длина которого равна количеству аргументов. Чтобы вызвать функцию Python без аргументов, передайте NULL или пустой кортеж; для вызова с одним аргументом передайте кортеж из одного элемента. [`Py_BuildValue()`](https://python-all.ru/2.7/c-api/arg.html#c.Py_BuildValue) возвращает кортеж, если строка формата состоит из нуля или более кодов формата в круглых скобках. Например:294295```c296int arg;297PyObject *arglist;298PyObject *result;299...300arg = 123;301...302/* Вызов колбэка */303arglist = Py_BuildValue("(i)", arg);304result = PyObject_CallObject(my_callback, arglist);305Py_DECREF(arglist);306```307308[`PyObject_CallObject()`](https://python-all.ru/2.7/c-api/object.html#c.PyObject_CallObject) возвращает указатель на объект Python: это возвращаемое значение функции Python. [`PyObject_CallObject()`](https://python-all.ru/2.7/c-api/object.html#c.PyObject_CallObject) является «нейтральным по отношению к подсчёту ссылок» в отношении своих аргументов. В примере был создан новый кортеж, служащий списком аргументов, который [`Py_DECREF()`](https://python-all.ru/2.7/c-api/refcounting.html#c.Py_DECREF)-ится сразу после вызова [`PyObject_CallObject()`](https://python-all.ru/2.7/c-api/object.html#c.PyObject_CallObject).309310Возвращаемое значение [`PyObject_CallObject()`](https://python-all.ru/2.7/c-api/object.html#c.PyObject_CallObject) является «новым»: это либо совершенно новый объект, либо существующий объект, чей счётчик ссылок был увеличен. Поэтому, если вы не хотите сохранять его в глобальной переменной, вы должны каким-то образом [`Py_DECREF()`](https://python-all.ru/2.7/c-api/refcounting.html#c.Py_DECREF) результат, даже (особенно!) если вас не интересует его значение.311312Однако перед этим важно проверить, что возвращаемое значение не равно *NULL*. Если это так, функция Python завершилась возбуждением исключения. Если C-код, вызвавший [`PyObject_CallObject()`](https://python-all.ru/2.7/c-api/object.html#c.PyObject_CallObject), вызван из Python, он должен вернуть индикацию ошибки своему вызывающему из Python, чтобы интерпретатор мог вывести стек вызовов или чтобы вызывающий код Python мог обработать исключение. Если это невозможно или нежелательно, исключение следует очистить вызовом [`PyErr_Clear()`](https://python-all.ru/2.7/c-api/exceptions.html#c.PyErr_Clear). Например:313314```c315if (result == NULL)316 return NULL; /* Передать ошибку обратно */317...use result...318Py_DECREF(result);319```320321В зависимости от желаемого интерфейса к Python-функции обратного вызова, вам также может потребоваться предоставить список аргументов для [`PyObject_CallObject()`](https://python-all.ru/2.7/c-api/object.html#c.PyObject_CallObject). В некоторых случаях список аргументов также предоставляется программой на Python через тот же интерфейс, который задал функцию обратного вызова. Затем его можно сохранить и использовать так же, как объект функции. В других случаях вам может потребоваться создать новый кортеж для передачи в качестве списка аргументов. Самый простой способ сделать это – вызвать [`Py_BuildValue()`](https://python-all.ru/2.7/c-api/arg.html#c.Py_BuildValue). Например, если вы хотите передать целочисленный код события, можно использовать следующий код:322323```c324PyObject *arglist;325...326arglist = Py_BuildValue("(l)", eventcode);327result = PyObject_CallObject(my_callback, arglist);328Py_DECREF(arglist);329if (result == NULL)330 return NULL; /* Передать ошибку обратно */331/* Здесь, возможно, используется результат */332Py_DECREF(result);333```334335Обратите внимание на размещение `Py_DECREF(arglist)` сразу после вызова, перед проверкой ошибки! Также обратите внимание, что строго говоря, этот код не полон: [`Py_BuildValue()`](https://python-all.ru/2.7/c-api/arg.html#c.Py_BuildValue) может исчерпать память, и это должно быть проверено.336337Вы также можете вызвать функцию с именованными аргументами, используя [`PyObject_Call()`](https://python-all.ru/2.7/c-api/object.html#c.PyObject_Call), который поддерживает аргументы и именованные аргументы. Как в примере выше, мы используем [`Py_BuildValue()`](https://python-all.ru/2.7/c-api/arg.html#c.Py_BuildValue) для создания словаря.338339```c340PyObject *dict;341...342dict = Py_BuildValue("{s:i}", "name", val);343result = PyObject_Call(my_callback, NULL, dict);344Py_DECREF(dict);345if (result == NULL)346 return NULL; /* Передать ошибку обратно */347/* Здесь, возможно, используется результат */348Py_DECREF(result);349```350351## 1.7. Извлечение параметров в функциях расширения352353Функция [`PyArg_ParseTuple()`](https://python-all.ru/2.7/c-api/arg.html#c.PyArg_ParseTuple) объявляется следующим образом:354355```c356int PyArg_ParseTuple(PyObject *arg, char *format, ...);357```358359Аргумент *arg* должен быть объектом кортежа, содержащим список аргументов, переданных из Python в C-функцию. Аргумент *format* должен быть строкой формата, чей синтаксис описан в разделе [Разбор аргументов и построение значений](https://python-all.ru/2.7/c-api/arg.html#arg-parsing) справочного руководства Python/C API. Остальные аргументы должны быть адресами переменных, чей тип определяется строкой формата.360361Обратите внимание, что хотя [`PyArg_ParseTuple()`](https://python-all.ru/2.7/c-api/arg.html#c.PyArg_ParseTuple) проверяет, что аргументы Python имеют требуемые типы, он не может проверить корректность адресов C-переменных, переданных в вызов: если там допущены ошибки, код, вероятно, аварийно завершится или, по крайней мере, перезапишет случайные биты в памяти. Поэтому следует быть осторожным!362363Обратите внимание, что любые ссылки на объекты Python, передаваемые вызывающему, являются *заимствованными* ссылками; уменьшать их счётчик ссылок не следует.364365Несколько примеров вызовов:366367```c368int ok;369int i, j;370long k, l;371const char *s;372int size;373374ok = PyArg_ParseTuple(args, ""); /* Без аргументов */375 /* Вызов Python: f() */376```377378```c379ok = PyArg_ParseTuple(args, "s", &s); /* Строка */380 /* Возможный вызов Python: f('whoops!') */381```382383```c384ok = PyArg_ParseTuple(args, "lls", &k, &l, &s); /* Два длинных целых и строка */385 /* Возможный вызов Python: f(1, 2, 'three') */386```387388```c389ok = PyArg_ParseTuple(args, "(ii)s#", &i, &j, &s, &size);390 /* Пара int и строка, размер которой также возвращается */391 /* Возможный вызов Python: f((1, 2), 'three') */392```393394```c395{396 const char *file;397 const char *mode = "r";398 int bufsize = 0;399 ok = PyArg_ParseTuple(args, "s|si", &file, &mode, &bufsize);400 /* Строка и, опционально, ещё одна строка и целое число */401 /* Возможные вызовы Python:402 f('spam')403 f('spam', 'w')404 f('spam', 'wb', 100000) */405}406```407408```c409{410 int left, top, right, bottom, h, v;411 ok = PyArg_ParseTuple(args, "((ii)(ii))(ii)",412 &left, &top, &right, &bottom, &h, &v);413 /* Прямоугольник и точка */414 /* Возможный вызов Python:415 f(((0, 0), (400, 300)), (10, 10)) */416}417```418419```c420{421 Py_complex c;422 ok = PyArg_ParseTuple(args, "D:myfunction", &c);423 /* комплексное число, также предоставляющее имя функции для сообщений об ошибках */424 /* Возможный вызов Python: myfunction(1+2j) */425}426```427428## 1.8. Именованные параметры для функций расширения429430Функция [`PyArg_ParseTupleAndKeywords()`](https://python-all.ru/2.7/c-api/arg.html#c.PyArg_ParseTupleAndKeywords) объявляется следующим образом:431432```c433int PyArg_ParseTupleAndKeywords(PyObject *arg, PyObject *kwdict,434 char *format, char *kwlist[], ...);435```436437Параметры *arg* и *format* идентичны параметрам функции [`PyArg_ParseTuple()`](https://python-all.ru/2.7/c-api/arg.html#c.PyArg_ParseTuple). Параметр *kwdict* – это словарь ключевых слов, полученный в качестве третьего параметра от среды выполнения Python. Параметр *kwlist* – это список строк, завершающийся *NULL*, который идентифицирует параметры; имена сопоставляются с информацией о типах из *format* слева направо. В случае успеха [`PyArg_ParseTupleAndKeywords()`](https://python-all.ru/2.7/c-api/arg.html#c.PyArg_ParseTupleAndKeywords) возвращает true, в противном случае возвращает false и возбуждает соответствующее исключение.438439> **Примечание**440>441> Вложенные кортежи не могут быть разобраны при использовании именованных аргументов! Именованные параметры, переданные, но отсутствующие в *kwlist*, приведут к возбуждению [`TypeError`](https://python-all.ru/2.7/library/exceptions.html#exceptions.TypeError).442443Вот пример модуля, использующего ключевые слова, основанный на примере Джеффа Филбрика ([philbrick@hks.com](https://python-all.ru/2.7/extending/extending.html)):444445```c446#include "Python.h"447448static PyObject *449keywdarg_parrot(PyObject *self, PyObject *args, PyObject *keywds)450{451 int voltage;452 char *state = "a stiff";453 char *action = "voom";454 char *type = "Norwegian Blue";455456 static char *kwlist[] = {"voltage", "state", "action", "type", NULL};457458 if (!PyArg_ParseTupleAndKeywords(args, keywds, "i|sss", kwlist,459 &voltage, &state, &action, &type))460 return NULL;461462 printf("-- This parrot wouldn't %s if you put %i Volts through it.\n",463 action, voltage);464 printf("-- Lovely plumage, the %s -- It's %s!\n", type, state);465466 Py_INCREF(Py_None);467468 return Py_None;469}470471static PyMethodDef keywdarg_methods[] = {472 /* Приведение функции необходимо, поскольку значения PyCFunction473 * принимают только два параметра PyObject*, а keywdarg_parrot() принимает474 * три.475 */476 {"parrot", (PyCFunction)keywdarg_parrot, METH_VARARGS | METH_KEYWORDS,477 "Print a lovely skit to standard output."},478 {NULL, NULL, 0, NULL} /* сторожевое значение */479};480```481482```c483void484initkeywdarg(void)485{486 /* Создать модуль и добавить функции */487 Py_InitModule("keywdarg", keywdarg_methods);488}489```490491## 1.9. Создание произвольных значений492493Эта функция является аналогом [`PyArg_ParseTuple()`](https://python-all.ru/2.7/c-api/arg.html#c.PyArg_ParseTuple). Она объявляется следующим образом:494495```c496PyObject *Py_BuildValue(char *format, ...);497```498499Она распознаёт набор форматных единиц, аналогичный распознаваемым [`PyArg_ParseTuple()`](https://python-all.ru/2.7/c-api/arg.html#c.PyArg_ParseTuple), но аргументы (которые являются входными для функции, а не выходными) не должны быть указателями, только значениями. Она возвращает новый объект Python, подходящий для возврата из C-функции, вызванной из Python.500501Одно отличие от [`PyArg_ParseTuple()`](https://python-all.ru/2.7/c-api/arg.html#c.PyArg_ParseTuple): последняя требует, чтобы её первый аргумент был кортежем (поскольку списки аргументов Python внутренне всегда представлены как кортежи), тогда как [`Py_BuildValue()`](https://python-all.ru/2.7/c-api/arg.html#c.Py_BuildValue) не всегда строит кортеж. Она строит кортеж, только если строка формата содержит две или более форматных единиц. Если строка формата пуста, она возвращает `None`; если она содержит ровно одну форматную единицу, она возвращает объект, описываемый этой единицей. Чтобы принудительно вернуть кортеж размера 0 или 1, строку формата следует заключить в скобки.502503Примеры (слева вызов, справа результирующее значение Python):504505```text506Py_BuildValue("") None507Py_BuildValue("i", 123) 123508Py_BuildValue("iii", 123, 456, 789) (123, 456, 789)509Py_BuildValue("s", "hello") 'hello'510Py_BuildValue("ss", "hello", "world") ('hello', 'world')511Py_BuildValue("s#", "hello", 4) 'hell'512Py_BuildValue("()") ()513Py_BuildValue("(i)", 123) (123,)514Py_BuildValue("(ii)", 123, 456) (123, 456)515Py_BuildValue("(i,i)", 123, 456) (123, 456)516Py_BuildValue("[i,i]", 123, 456) [123, 456]517Py_BuildValue("{s:i,s:i}",518 "abc", 123, "def", 456) {'abc': 123, 'def': 456}519Py_BuildValue("((ii)(ii)) (ii)",520 1, 2, 3, 4, 5, 6) (((1, 2), (3, 4)), (5, 6))521```522523## 1.10. Счётчики ссылок524525В таких языках, как C или C++, программист отвечает за динамическое выделение и освобождение памяти в куче. В C это делается с помощью функций `malloc()` и `free()`. В C++ операторы `new` и `delete` используются с тем же смыслом; дальнейшее обсуждение ограничивается случаем C.526527Каждый блок памяти, выделенный с помощью `malloc()`, в конечном итоге должен быть возвращён в пул доступной памяти ровно одним вызовом `free()`. Очень важно вызвать `free()` в нужный момент. Если адрес блока будет забыт, а `free()` для него не вызван, занимаемая им память не может быть использована повторно до завершения программы. Это называется *утечкой памяти*. С другой стороны, если программа вызывает `free()` для блока, а затем продолжает его использовать, это создаёт конфликт с повторным использованием блока через другой вызов `malloc()`. Это называется *использованием освобождённой памяти*. Это имеет такие же плохие последствия, как обращение к неинициализированным данным – дампы памяти, неверные результаты, загадочные сбои.528529Распространённые причины утечек памяти – нестандартные пути выполнения кода. Например, функция может выделить блок памяти, выполнить некоторые вычисления, а затем снова освободить блок. Теперь изменение требований к функции может добавить в вычисление проверку, которая обнаруживает ошибочную ситуацию и может привести к преждевременному возврату из функции. Легко забыть освободить выделенный блок памяти при таком преждевременном выходе, особенно если он был добавлен в код позднее. Такие утечки, будучи однажды внесёнными, часто остаются незамеченными долгое время: ошибочный выход происходит лишь в небольшой доле всех вызовов, а на большинстве современных машин достаточно виртуальной памяти, поэтому утечка становится заметна только в долго работающем процессе, который часто использует функцию с утечкой. Следовательно, важно предотвращать утечки, используя соглашение о кодировании или стратегию, которая минимизирует такого рода ошибки.530531Поскольку Python активно использует `malloc()` и `free()`, ему нужна стратегия для предотвращения как утечек памяти, так и использования освобождённой памяти. Выбранный метод называется *подсчётом ссылок*. Принцип прост: каждый объект содержит счётчик, который увеличивается, когда ссылка на объект сохраняется где-либо, и уменьшается, когда ссылка на него удаляется. Когда счётчик достигает нуля, последняя ссылка на объект удалена, и объект освобождается.532533Альтернативная стратегия называется *автоматической сборкой мусора*. (Иногда подсчёт ссылок тоже называют стратегией сборки мусора, поэтому я использую слово «автоматическая», чтобы различать их.) Большое преимущество автоматической сборки мусора в том, что пользователю не нужно вызывать `free()` явно. (Другое заявляемое преимущество – улучшение скорости или использования памяти, однако это не факт.) Недостаток в том, что для C не существует по-настоящему переносимого автоматического сборщика мусора, в то время как подсчёт ссылок можно реализовать переносимо (при условии, что функции `malloc()` и `free()` доступны – что гарантирует стандарт C). Возможно, когда-нибудь для C появится достаточно переносимый автоматический сборщик мусора. До тех пор придётся мириться с подсчётом ссылок.534535Хотя Python использует традиционную реализацию подсчёта ссылок, он также предлагает детектор циклов, который обнаруживает циклические ссылки. Это позволяет приложениям не беспокоиться о создании прямых или косвенных циклических ссылок; они являются слабым местом сборки мусора, реализованной только с помощью подсчёта ссылок. Циклические ссылки состоят из объектов, которые содержат (возможно, косвенные) ссылки на самих себя, так что каждый объект в цикле имеет ненулевой счётчик ссылок. Типичные реализации подсчёта ссылок не могут освободить память, принадлежащую объектам в циклической ссылке или на которые есть ссылки из объектов в цикле, даже если на сам цикл больше нет ссылок.536537Детектор циклов способен обнаруживать циклические ссылки мусора и может освобождать их до тех пор, пока нет финализаторов, реализованных в Python (методы [`__del__()`](https://python-all.ru/2.7/reference/datamodel.html#object.__del__)). Когда такие финализаторы есть, детектор предоставляет циклы через модуль [`gc`](https://python-all.ru/2.7/library/gc.html#module-gc) (а именно, переменную [`garbage`](https://python-all.ru/2.7/library/gc.html#gc.garbage) в этом модуле). Модуль [`gc`](https://python-all.ru/2.7/library/gc.html#module-gc) также предоставляет способ запуска детектора (функция [`collect()`](https://python-all.ru/2.7/library/gc.html#gc.collect)), а также интерфейсы настройки и возможность отключения детектора во время выполнения. Детектор циклов считается необязательным компонентом; хотя он включён по умолчанию, его можно отключить на этапе сборки, используя опцию `--without-cycle-gc` для сценария **configure** на платформах Unix (включая Mac OS X) или удалив определение `WITH_CYCLE_GC` в заголовке `pyconfig.h` на других платформах. Если детектор циклов отключён таким образом, модуль [`gc`](https://python-all.ru/2.7/library/gc.html#module-gc) будет недоступен.538539### 1.10.1. Подсчёт ссылок в Python540541Существуют два макроса, `Py_INCREF(x)` и `Py_DECREF(x)`, которые управляют увеличением и уменьшением счётчика ссылок. [`Py_DECREF()`](https://python-all.ru/2.7/c-api/refcounting.html#c.Py_DECREF) также освобождает объект, когда счётчик достигает нуля. Для гибкости он не вызывает `free()` напрямую – вместо этого он выполняет вызов через указатель на функцию в *объекте типа* объекта. Для этой цели (и других) каждый объект также содержит указатель на свой объект типа.542543Остаётся главный вопрос: когда использовать `Py_INCREF(x)` и `Py_DECREF(x)`? Сначала введём несколько терминов. Никто не «владеет» объектом; однако можно *владеть ссылкой* на объект. Счётчик ссылок объекта теперь определяется как количество принадлежащих (owned) ссылок на него. Владелец ссылки отвечает за вызов [`Py_DECREF()`](https://python-all.ru/2.7/c-api/refcounting.html#c.Py_DECREF), когда ссылка больше не нужна. Владение ссылкой может быть передано. Существует три способа распорядиться принадлежащей ссылкой: передать её, сохранить или вызвать [`Py_DECREF()`](https://python-all.ru/2.7/c-api/refcounting.html#c.Py_DECREF). Забыть распорядиться принадлежащей ссылкой – значит создать утечку памяти.544545Также возможно *заимствовать* [2](https://python-all.ru/2.7/extending/extending.html#id6) ссылку на объект. Заимствующий ссылку не должен вызывать [`Py_DECREF()`](https://python-all.ru/2.7/c-api/refcounting.html#c.Py_DECREF). Заимствующий не должен удерживать объект дольше, чем владелец, у которого она была заимствована. Использование заимствованной ссылки после того, как владелец распорядился ею, связано с риском использования освобождённой памяти и должно полностью избегаться [3](https://python-all.ru/2.7/extending/extending.html#id7).546547Преимущество заимствования ссылки перед владением в том, что не нужно заботиться о распоряжении ссылкой на всех возможных путях выполнения кода – иными словами, с заимствованной ссылкой нет риска утечки при преждевременном выходе. Недостаток заимствования по сравнению с владением в том, что существуют некоторые тонкие ситуации, когда в, казалось бы, корректном коде заимствованная ссылка может быть использована после того, как владелец, у которого она была заимствована, фактически распорядился ею.548549Заимствованная ссылка может быть превращена в собственную путём вызова [`Py_INCREF()`](https://python-all.ru/2.7/c-api/refcounting.html#c.Py_INCREF). Это не влияет на статус владельца, у которого была заимствована ссылка – создаётся новая собственная ссылка, и на нового владельца возлагаются все обязанности владельца (новый владелец должен правильно распорядиться ссылкой, равно как и предыдущий владелец).550551### 1.10.2. Правила владения552553Всякий раз, когда ссылка на объект передаётся в функцию или из неё, является частью спецификации интерфейса функции, передаётся ли владение вместе со ссылкой или нет.554555Большинство функций, возвращающих ссылку на объект, передают вместе с ней и владение. В частности, все функции, чья задача – создать новый объект, такие как [`PyInt_FromLong()`](https://python-all.ru/2.7/c-api/int.html#c.PyInt_FromLong) и [`Py_BuildValue()`](https://python-all.ru/2.7/c-api/arg.html#c.Py_BuildValue), передают владение получателю. Даже если объект на самом деле не новый, всё равно получается владение новой ссылкой на этот объект. Например, [`PyInt_FromLong()`](https://python-all.ru/2.7/c-api/int.html#c.PyInt_FromLong) поддерживает кеш популярных значений и может вернуть ссылку на кешированный элемент.556557Многие функции, извлекающие объекты из других объектов, также передают владение вместе со ссылкой, например [`PyObject_GetAttrString()`](https://python-all.ru/2.7/c-api/object.html#c.PyObject_GetAttrString). Однако здесь картина менее ясна, поскольку несколько распространённых подпрограмм являются исключениями: [`PyTuple_GetItem()`](https://python-all.ru/2.7/c-api/tuple.html#c.PyTuple_GetItem), [`PyList_GetItem()`](https://python-all.ru/2.7/c-api/list.html#c.PyList_GetItem), [`PyDict_GetItem()`](https://python-all.ru/2.7/c-api/dict.html#c.PyDict_GetItem) и [`PyDict_GetItemString()`](https://python-all.ru/2.7/c-api/dict.html#c.PyDict_GetItemString) – все они возвращают ссылки, которые заимствуются из кортежа, списка или словаря.558559Функция [`PyImport_AddModule()`](https://python-all.ru/2.7/c-api/import.html#c.PyImport_AddModule) также возвращает заимствованную ссылку, даже если она на самом деле создаёт возвращаемый объект: это возможно, потому что собственная ссылка на объект хранится в `sys.modules`.560561Когда вы передаёте ссылку на объект в другую функцию, в общем случае функция заимствует у вас эту ссылку – если ей нужно сохранить её, она использует [`Py_INCREF()`](https://python-all.ru/2.7/c-api/refcounting.html#c.Py_INCREF), чтобы стать независимым владельцем. Из этого правила есть ровно два важных исключения: [`PyTuple_SetItem()`](https://python-all.ru/2.7/c-api/tuple.html#c.PyTuple_SetItem) и [`PyList_SetItem()`](https://python-all.ru/2.7/c-api/list.html#c.PyList_SetItem). Эти функции принимают владение переданным им объектом – даже в случае неудачи! (Обратите внимание, что [`PyDict_SetItem()`](https://python-all.ru/2.7/c-api/dict.html#c.PyDict_SetItem) и подобные ему функции не принимают владение – они «нормальные».)562563Когда C-функция вызывается из Python, она заимствует ссылки на свои аргументы у вызывающей стороны. Вызывающая сторона владеет ссылкой на объект, поэтому время жизни заимствованной ссылки гарантировано до возврата из функции. Только если такую заимствованную ссылку необходимо сохранить или передать дальше, она должна быть превращена в собственную ссылку с помощью вызова [`Py_INCREF()`](https://python-all.ru/2.7/c-api/refcounting.html#c.Py_INCREF).564565Ссылка на объект, возвращаемая из C-функции, вызванной из Python, должна быть собственной – владение передаётся от функции её вызывающей стороне.566567### 1.10.3. Тонкий лёд568569Есть несколько ситуаций, когда безобидное, на первый взгляд, использование заимствованной ссылки может привести к проблемам. Все они связаны с неявными вызовами интерпретатора, которые могут заставить владельца ссылки освободить её.570571Первый и самый важный случай, о котором стоит знать, – это использование [`Py_DECREF()`](https://python-all.ru/2.7/c-api/refcounting.html#c.Py_DECREF) на постороннем объекте, пока заимствована ссылка на элемент списка. Например:572573```c574void575bug(PyObject *list)576{577 PyObject *item = PyList_GetItem(list, 0);578579 PyList_SetItem(list, 1, PyInt_FromLong(0L));580 PyObject_Print(item, stdout, 0); /* ОШИБКА! */581}582```583584Эта функция сначала заимствует ссылку на `list[0]`, затем заменяет `list[1]` значением `0` и наконец печатает заимствованную ссылку. Выглядит безобидно, правда? Но это не так!585586Проследим поток управления внутри [`PyList_SetItem()`](https://python-all.ru/2.7/c-api/list.html#c.PyList_SetItem). Список владеет ссылками на все свои элементы, поэтому при замене элемента 1 он должен избавиться от исходного элемента 1. Предположим теперь, что исходный элемент 1 был экземпляром пользовательского класса, и далее предположим, что в классе определён метод [`__del__()`](https://python-all.ru/2.7/reference/datamodel.html#object.__del__). Если у этого экземпляра класса счётчик ссылок равен 1, при его удалении будет вызван метод [`__del__()`](https://python-all.ru/2.7/reference/datamodel.html#object.__del__).587588Поскольку метод [`__del__()`](https://python-all.ru/2.7/reference/datamodel.html#object.__del__) написан на Python, он может выполнять произвольный код Python. Может ли он каким-то образом аннулировать ссылку на `item` в `bug()`? Ещё как! Если предположить, что список, переданный в `bug()`, доступен методу [`__del__()`](https://python-all.ru/2.7/reference/datamodel.html#object.__del__), то он может выполнить инструкцию вроде `del list[0]`, и если это была последняя ссылка на этот объект, то он освободит связанную с ним память, тем самым аннулировав `item`.589590Решение, если знать источник проблемы, простое: временно увеличить счётчик ссылок. Правильная версия функции выглядит так:591592```c593void594no_bug(PyObject *list)595{596 PyObject *item = PyList_GetItem(list, 0);597598 Py_INCREF(item);599 PyList_SetItem(list, 1, PyInt_FromLong(0L));600 PyObject_Print(item, stdout, 0);601 Py_DECREF(item);602}603```604605Это реальная история. В старой версии Python были варианты этой ошибки, и кому-то пришлось потратить много времени в отладчике C, чтобы выяснить, почему его методы [`__del__()`](https://python-all.ru/2.7/reference/datamodel.html#object.__del__) не работали…606607Второй случай проблем с заимствованной ссылкой связан с потоками. Обычно несколько потоков в интерпретаторе Python не мешают друг другу, поскольку существует глобальная блокировка, защищающая всё пространство объектов Python. Однако эту блокировку можно временно отпустить с помощью макроса [`Py_BEGIN_ALLOW_THREADS`](https://python-all.ru/2.7/c-api/init.html#c.Py_BEGIN_ALLOW_THREADS) и снова захватить с помощью [`Py_END_ALLOW_THREADS`](https://python-all.ru/2.7/c-api/init.html#c.Py_END_ALLOW_THREADS). Это обычная практика вокруг блокирующих операций ввода-вывода, чтобы дать другим потокам использовать процессор во время ожидания завершения ввода-вывода. Очевидно, следующая функция имеет ту же проблему, что и предыдущая:608609```c610void611bug(PyObject *list)612{613 PyObject *item = PyList_GetItem(list, 0);614 Py_BEGIN_ALLOW_THREADS615 ...some blocking I/O call...616 Py_END_ALLOW_THREADS617 PyObject_Print(item, stdout, 0); /* ОШИБКА! */618}619```620621### 1.10.4. Указатели NULL622623В общем, функции, принимающие ссылки на объекты в качестве аргументов, не ожидают, что им будут передавать указатели *NULL*, и при такой передаче может произойти аварийное завершение (дамп ядра) или возникнуть последующие сбои. Функции, возвращающие ссылки на объекты, обычно возвращают *NULL* только для указания на то, что произошло исключение. Причина, по которой не проверяются аргументы на *NULL*, заключается в том, что функции часто передают полученные объекты другим функциям – если бы каждая функция проверяла *NULL*, было бы много избыточных проверок и код работал бы медленнее.624625Лучше проверять на *NULL* только у «источника»: когда получен указатель, который может быть *NULL*, например, от `malloc()` или от функции, которая может возбуждать исключение.626627Макросы [`Py_INCREF()`](https://python-all.ru/2.7/c-api/refcounting.html#c.Py_INCREF) и [`Py_DECREF()`](https://python-all.ru/2.7/c-api/refcounting.html#c.Py_DECREF) не проверяют указатели на *NULL* – однако их варианты [`Py_XINCREF()`](https://python-all.ru/2.7/c-api/refcounting.html#c.Py_XINCREF) и [`Py_XDECREF()`](https://python-all.ru/2.7/c-api/refcounting.html#c.Py_XDECREF) делают это.628629Макросы для проверки конкретного типа объекта (`Pytype_Check()`) не проверяют указатели на *NULL* – опять же, есть много кода, который вызывает несколько таких макросов подряд для проверки объекта на соответствие различным ожидаемым типам, и это привело бы к избыточным проверкам. Нет вариантов с проверкой *NULL*.630631Механизм вызова C-функций гарантирует, что список аргументов, передаваемый C-функциям (`args` в примерах), никогда не равен *NULL* – фактически он гарантирует, что это всегда кортеж [4](https://python-all.ru/2.7/extending/extending.html#id8).632633Серьёзной ошибкой является допустить, чтобы указатель *NULL* «попал» к пользователю Python.634635## 1.11. Написание расширений на C++636637Модули расширения можно писать на C++. Применяются некоторые ограничения. Если главная программа (интерпретатор Python) компилируется и компонуется C- компилятором, нельзя использовать глобальные или статические объекты с конструкторами. Это не проблема, если главная программа компонуется C++-компилятором. Функции, которые будут вызываться интерпретатором Python (в частности, функции инициализации модулей), должны быть объявлены с помощью `extern "C"`. Нет необходимости заключать заголовочные файлы Python в `extern "C" {...}` – они уже используют эту форму, если определён символ `__cplusplus` (все современные C++-компиляторы определяют этот символ).638639## 1.12. Предоставление C API для модуля расширения640641Многие модули расширения просто предоставляют новые функции и типы для использования из Python, но иногда код в модуле расширения может быть полезен для других модулей расширения. Например, модуль расширения может реализовать тип «коллекция», который работает как список без порядка. Подобно тому, как стандартный тип списка Python имеет C API, позволяющий модулям расширения создавать списки и управлять ими, этот новый тип коллекции должен иметь набор C-функций для прямого управления из других модулей расширения.642643На первый взгляд задача кажется простой: достаточно написать функции (не объявляя их `static`, разумеется), предоставить соответствующий заголовочный файл и документировать C API. И действительно, это бы сработало, если бы все модули расширения всегда статически компоновались с интерпретатором Python. Однако, когда модули используются как разделяемые библиотеки, символы, определённые в одном модуле, могут быть не видны другому модулю. Детали видимости зависят от операционной системы; одни системы используют единое глобальное пространство имён для интерпретатора Python и всех модулей расширения (например, Windows), а другие требуют явного списка импортируемых символов на этапе компоновки модуля (например, AIX) или предлагают выбор разных стратегий (большинство Unix-систем). И даже если символы глобально видны, модуль, функции которого нужно вызвать, может быть ещё не загружен!644645Поэтому для обеспечения переносимости не следует делать предположений о видимости символов. Это означает, что все символы в модулях расширения должны быть объявлены `static`, за исключением функции инициализации модуля, чтобы избежать конфликтов имён с другими модулями расширения (как обсуждается в разделе [Таблица методов модуля и функция инициализации](https://python-all.ru/2.7/extending/extending.html#methodtable)). И это также означает, что символы, которые *должны* быть доступны из других модулей расширения, должны экспортироваться иным способом.646647Python предоставляет специальный механизм для передачи информации уровня C (указателей) из одного модуля расширения в другой: капсулы (Capsules). Капсула – это тип данных Python, который хранит указатель (`void *`). Капсулы можно создавать и использовать только через их C API, но их можно передавать как любой другой объект Python. В частности, их можно присвоить имени в пространстве имён модуля расширения. Другие модули расширения могут затем импортировать этот модуль, получить значение этого имени и затем извлечь указатель из капсулы.648649Существует много способов использования Capsules для экспорта C API модуля расширения. Каждая функция может получить свой собственный Capsule, или все указатели C API могут храниться в массиве, адрес которого опубликован в Capsule. А различные задачи хранения и извлечения указателей могут быть распределены разными способами между модулем, предоставляющим код, и модулями-клиентами.650651Какой бы метод вы ни выбрали, важно правильно называть свои Capsule. Функция [`PyCapsule_New()`](https://python-all.ru/2.7/c-api/capsule.html#c.PyCapsule_New) принимает параметр name (`const char *`); разрешается передать имя *NULL*, но мы настоятельно рекомендуем указывать имя. Правильно названные Capsule обеспечивают определённую степень типобезопасности во время выполнения; нет практического способа отличить одну безымянную Capsule от другой.652653В частности, Capsules, используемые для предоставления C API, должны получать имена согласно следующему соглашению:654655```c656modulename.attributename657```658659Удобная функция [`PyCapsule_Import()`](https://python-all.ru/2.7/c-api/capsule.html#c.PyCapsule_Import) упрощает загрузку C API, предоставленного через Capsule, но только если имя Capsule соответствует этому соглашению. Такое поведение даёт пользователям C API высокую степень уверенности в том, что загруженный ими Capsule содержит правильный C API.660661Следующий пример демонстрирует подход, который возлагает большую часть ответственности на разработчика экспортирующего модуля, что подходит для часто используемых модулей библиотеки. Он хранит все указатели C API (в примере только один!) в массиве указателей `void`, который становится значением капсулы. Заголовочный файл, соответствующий модулю, предоставляет макрос, который импортирует модуль и получает его указатели C API; клиентским модулям остаётся только вызвать этот макрос перед обращением к C API.662663Экспортирующий модуль – это модификация модуля `spam` из раздела [Простой пример](https://python-all.ru/2.7/extending/extending.html#extending-simpleexample). Функция `spam.system()` не вызывает напрямую функцию библиотеки C `system()`, а вызывает функцию `PySpam_System()`, которая в реальности, конечно, делала бы что-то более сложное (например, добавляла бы «spam» к каждой команде). Эта функция `PySpam_System()` также экспортируется в другие модули расширения.664665Функция `PySpam_System()` – это обычная функция на C, объявленная `static`, как и всё остальное:666667```c668static int669PySpam_System(const char *command)670{671 return system(command);672}673```674675Функция `spam_system()` тривиально модифицирована:676677```c678static PyObject *679spam_system(PyObject *self, PyObject *args)680{681 const char *command;682 int sts;683684 if (!PyArg_ParseTuple(args, "s", &command))685 return NULL;686 sts = PySpam_System(command);687 return Py_BuildValue("i", sts);688}689```690691В начале модуля, сразу после строки692693```c694#include "Python.h"695```696697необходимо добавить ещё две строки:698699```c700#define SPAM_MODULE701#include "spammodule.h"702```703704`#define` используется, чтобы сообщить заголовочному файлу, что он включается в экспортирующий модуль, а не в клиентский модуль. Наконец, функция инициализации модуля должна позаботиться об инициализации массива указателей C API:705706```c707PyMODINIT_FUNC708initspam(void)709{710 PyObject *m;711 static void *PySpam_API[PySpam_API_pointers];712 PyObject *c_api_object;713714 m = Py_InitModule("spam", SpamMethods);715 if (m == NULL)716 return;717718 /* Инициализация массива указателей C API */719 PySpam_API[PySpam_System_NUM] = (void *)PySpam_System;720721 /* Создание капсулы, содержащей адрес массива указателей API */722 c_api_object = PyCapsule_New((void *)PySpam_API, "spam._C_API", NULL);723724 if (c_api_object != NULL)725 PyModule_AddObject(m, "_C_API", c_api_object);726}727```728729Обратите внимание, что `PySpam_API` объявлен `static`; иначе массив указателей исчезнет после завершения `initspam()`!730731Основная работа выполняется в заголовочном файле `spammodule.h`, который выглядит следующим образом:732733```c734#ifndef Py_SPAMMODULE_H735#define Py_SPAMMODULE_H736#ifdef __cplusplus737extern "C" {738#endif739740/* Заголовочный файл для spammodule */741742/* Функции C API */743#define PySpam_System_NUM 0744#define PySpam_System_RETURN int745#define PySpam_System_PROTO (const char *command)746747/* Общее количество указателей C API */748#define PySpam_API_pointers 1749750#ifdef SPAM_MODULE751/* Этот раздел используется при компиляции spammodule.c */752753static PySpam_System_RETURN PySpam_System PySpam_System_PROTO;754755#else756/* Этот раздел используется в модулях, которые используют API spammodule */757758static void **PySpam_API;759760#define PySpam_System \761 (*(PySpam_System_RETURN (*)PySpam_System_PROTO) PySpam_API[PySpam_System_NUM])762763/* Возвращает -1 при ошибке, 0 при успехе.764 * PyCapsule_Import установит исключение, если произошла ошибка.765 */766static int767import_spam(void)768{769 PySpam_API = (void **)PyCapsule_Import("spam._C_API", 0);770 return (PySpam_API != NULL) ? 0 : -1;771}772773#endif774775#ifdef __cplusplus776}777#endif778779#endif /* !defined(Py_SPAMMODULE_H) */780```781782Всё, что нужно сделать клиентскому модулю для доступа к функции `PySpam_System()` – это вызвать функцию (точнее, макрос) `import_spam()` в своей функции инициализации:783784```c785PyMODINIT_FUNC786initclient(void)787{788 PyObject *m;789790 m = Py_InitModule("client", ClientMethods);791 if (m == NULL)792 return;793 if (import_spam() < 0)794 return;795 /* дополнительная инициализация может быть выполнена здесь */796}797```798799Главный недостаток этого подхода в том, что файл `spammodule.h` довольно сложен. Однако базовая структура одинакова для каждой экспортируемой функции, поэтому её достаточно изучить один раз.800801Наконец, стоит упомянуть, что Capsules предоставляют дополнительную функциональность, которая особенно полезна для выделения и освобождения памяти указателя, хранящегося в Capsule. Подробности описаны в справочном руководстве по Python/C API в разделе [Capsules](https://python-all.ru/2.7/c-api/capsule.html#capsules) и в реализации Capsules (файлы `Include/pycapsule.h` и `Objects/pycapsule.c` в дистрибутиве исходного кода Python).802803Сноски804805**[1](https://python-all.ru/2.7/extending/extending.html#id1)**806807Интерфейс для этой функции уже существует в стандартном модуле [`os`](https://python-all.ru/2.7/library/os.html#module-os) – он был выбран в качестве простого и наглядного примера.808809**[2](https://python-all.ru/2.7/extending/extending.html#id2)**810811Метафора «заимствования» ссылки не совсем точна: владелец всё ещё имеет копию ссылки.812813**[3](https://python-all.ru/2.7/extending/extending.html#id3)**814815Проверка того, что счётчик ссылок не меньше 1, **не работает** – сам счётчик ссылок может находиться в освобождённой памяти и поэтому может быть повторно использован для другого объекта!816817**[4](https://python-all.ru/2.7/extending/extending.html#id4)**818819Эти гарантии не действуют при использовании «старого» стиля соглашения о вызовах – он всё ещё встречается в большом объёме существующего кода.820