Документация Python неофициальный перевод
Содержание страницы

Поддержка циклической сборки мусораSupporting Cyclic Garbage Collection

Поддержка Python обнаружения и сбора мусора, связанного с циклическими ссылками, требует поддержки со стороны объектных типов, которые являются «контейнерами» для других объектов, которые также могут быть контейнерами. Типы, которые не хранят ссылок на другие объекты или хранят только ссылки на атомарные типы (например, числа или строки), не нуждаются в явной поддержке сборки мусора.

Чтобы создать контейнерный тип, поле tp_flags объекта типа должно включать Py_TPFLAGS_HAVE_GC и предоставлять реализацию обработчика tp_traverse. Если экземпляры типа являются изменяемыми, также должна быть предоставлена реализация tp_clear.

Py_TPFLAGS_HAVE_GC

Объекты с типом, у которого установлен этот флаг, должны соответствовать правилам, описанным здесь. Для удобства такие объекты будут называться контейнерными объектами.

Конструкторы контейнерных типов должны соответствовать двум правилам:

  1. Память для объекта должна выделяться с помощью PyObject_GC_New или PyObject_GC_NewVar.

  2. Как только все поля, которые могут содержать ссылки на другие контейнеры, будут инициализированы, необходимо вызвать PyObject_GC_Track().

Аналогично, деаллокатор объекта должен соответствовать такой же паре правил:

  1. Перед тем как поля, ссылающиеся на другие контейнеры, станут недействительными, должен быть вызван PyObject_GC_UnTrack().

  2. Память объекта должна быть освобождена с помощью PyObject_GC_Del().

    Предупреждение

    Если тип добавляет Py_TPFLAGS_HAVE_GC, то он должен реализовать как минимум обработчик tp_traverse или явно использовать его из своего подкласса или подклассов.

    При вызове PyType_Ready() или некоторых API, которые вызывают его косвенно, таких как PyType_FromSpecWithBases() или PyType_FromSpec(), интерпретатор автоматически заполнит поля tp_flags, tp_traverse и tp_clear, если тип наследуется от класса, реализующего протокол сборщика мусора, и дочерний класс не включает флаг Py_TPFLAGS_HAVE_GC.

PyObject_GC_New(TYPE, typeobj)

Аналогично PyObject_New, но для контейнерных объектов с установленным флагом Py_TPFLAGS_HAVE_GC.

Не вызывайте это напрямую для выделения памяти под объект; вместо этого вызывайте слот tp_alloc типа.

При заполнении слота tp_alloc типа предпочтительнее использовать PyType_GenericAlloc(), а не собственную функцию, которая просто вызывает этот макрос.

Память, выделенная этим макросом, должна быть освобождена с помощью PyObject_GC_Del() (обычно вызывается через слот tp_free объекта).

PyObject_GC_NewVar(TYPE, typeobj, size)

Аналогично PyObject_NewVar, но для контейнерных объектов с установленным флагом Py_TPFLAGS_HAVE_GC.

Не вызывайте это напрямую для выделения памяти под объект; вместо этого вызывайте слот tp_alloc типа.

При заполнении слота tp_alloc типа предпочтительнее использовать PyType_GenericAlloc(), а не собственную функцию, которая просто вызывает этот макрос.

Память, выделенная этим макросом, должна быть освобождена с помощью PyObject_GC_Del() (обычно вызывается через слот tp_free объекта).

PyObject *PyUnstable_Object_GC_NewWithExtraData(PyTypeObject *type, size_t extra_size)
Это нестабильное API. Оно может меняться без предупреждения в минорных версиях.

Аналог PyObject_GC_New, но выделяет extra_size байт в конце объекта (по смещению tp_basicsize). Выделенная память обнуляется, за исключением Python object header.

Дополнительные данные будут освобождены вместе с объектом, но в остальном Python ими не управляет.

Память, выделенная этой функцией, должна освобождаться через PyObject_GC_Del() (обычно вызывается через слот tp_free объекта).

Предупреждение

Функция помечена как нестабильная, потому что окончательный механизм резервирования дополнительных данных после экземпляра ещё не определён. Для выделения переменного числа полей предпочтительнее использовать PyVarObject и tp_itemsize.

Добавлено в версии 3.12.

PyObject_GC_Resize(TYPE, op, newsize)

Изменяет размер объекта, выделенного через PyObject_NewVar. Возвращает объект нового размера типа TYPE* (ссылается на любой тип C) или NULL в случае ошибки.

op должен иметь тип PyVarObject* и ещё не отслеживаться сборщиком. newsize должен иметь тип Py_ssize_t.

void PyObject_GC_Track(PyObject *op)
Часть Stable ABI.

Добавляет объект op в набор контейнерных объектов, отслеживаемых сборщиком. Сборщик может запускаться в неожиданные моменты, поэтому объекты должны быть корректны во время отслеживания. Эту функцию следует вызывать, когда все поля, за которыми следит обработчик tp_traverse, станут корректны, обычно ближе к концу конструктора.

int PyObject_IS_GC(PyObject *obj)

Возвращает ненулевое значение, если объект реализует протокол сборщика мусора, иначе возвращает 0.

Объект не может отслеживаться сборщиком мусора, если эта функция возвращает 0.

int PyObject_GC_IsTracked(PyObject *op)
Часть Stable ABI начиная с версии 3.9.

Возвращает 1, если тип объекта op реализует протокол GC и op в данный момент отслеживается сборщиком мусора, и 0 в противном случае.

Это аналог функции Python gc.is_tracked().

Добавлено в версии 3.9.

int PyObject_GC_IsFinalized(PyObject *op)
Часть Stable ABI начиная с версии 3.9.

Возвращает 1, если тип объекта op реализует протокол GC и op уже был финализирован сборщиком мусора, и 0 в противном случае.

Это аналог функции Python gc.is_finalized().

Добавлено в версии 3.9.

void PyObject_GC_Del(void *op)
Часть Stable ABI.

Освобождает память, выделенную объекту через PyObject_GC_New или PyObject_GC_NewVar.

Не вызывайте это напрямую для освобождения памяти объекта; вместо этого вызывайте слот tp_free типа.

Не используйте это для памяти, выделенной PyObject_New, PyObject_NewVar или связанными функциями выделения; используйте PyObject_Free().

См. также

void PyObject_GC_UnTrack(void *op)
Часть Stable ABI.

Удаляет объект op из набора контейнерных объектов, отслеживаемых сборщиком. Обратите внимание, что PyObject_GC_Track() можно снова вызвать для этого объекта, чтобы вернуть его в набор отслеживаемых объектов. Деструктор (обработчик tp_dealloc) должен вызывать это для объекта до того, как какие-либо поля, используемые обработчиком tp_traverse, станут недействительными.

Изменено в версии 3.8: Макросы _PyObject_GC_TRACK() и _PyObject_GC_UNTRACK() были удалены из публичного C API.

Обработчик tp_traverse принимает параметр-функцию следующего типа:

typedef int (*visitproc)(PyObject *object, void *arg)
Часть Stable ABI.

Тип функции обхода, передаваемой обработчику tp_traverse. Функцию следует вызывать с объектом для обхода в качестве object и третьим параметром обработчика tp_traverse в качестве arg. Ядро Python использует несколько функций обхода для реализации обнаружения циклического мусора; не ожидается, что пользователям потребуется писать собственные функции обхода.

Обработчик tp_clear должен иметь тип inquiry или NULL, если объект неизменяем.

typedef int (*inquiry)(PyObject *self)
Часть Stable ABI.

Удаляет ссылки, которые могли создать циклические ссылки. Неизменяемые объекты не обязаны определять этот метод, поскольку они никогда не могут напрямую создавать циклические ссылки. Обратите внимание, что объект после вызова этого метода должен оставаться корректным (нельзя просто вызвать Py_DECREF() для ссылки). Сборщик вызовет этот метод, если обнаружит, что этот объект участвует в циклической ссылке.

ОбходTraversal

Обработчик tp_traverse должен иметь следующий тип:

typedef int (*traverseproc)(PyObject *self, visitproc visit, void *arg)
Часть Stable ABI.

Функция обхода для объекта, подлежащего сборке мусора, используется сборщиком мусора для обнаружения циклических ссылок. Реализации должны вызывать функцию visit для каждого объекта, непосредственно содержащегося в self, с параметрами visit: содержащийся объект и значение arg, переданное обработчику. Функция visit не должна вызываться с аргументом NULL объекта. Если visit возвращает ненулевое значение, это значение должно быть возвращено немедленно.

Типичная функция tp_traverse вызывает удобный макрос Py_VISIT() для каждого из членов экземпляра, которые являются объектами Python, которыми владеет экземпляр. Например, это (слегка устаревшая) функция обхода для класса threading.local:

static int
local_traverse(PyObject *op, visitproc visit, void *arg)
{
    localobject *self = (localobject *) op;
    Py_VISIT(Py_TYPE(self));
    Py_VISIT(self->args);
    Py_VISIT(self->kw);
    Py_VISIT(self->dict);
    return 0;
}

Примечание

Py_VISIT() требует, чтобы параметры visit и arg в local_traverse() имели именно эти имена; не называйте их произвольно.

Экземпляры типов, выделяемых в куче, содержат ссылку на свой тип. Поэтому их функция обхода должна посетить тип:

Py_VISIT(Py_TYPE(self));

В качестве альтернативы, тип может делегировать эту ответственность, вызывая tp_traverse суперкласса, выделенного в куче (или другого типа, выделенного в куче, если применимо). Если этого не сделать, объект типа может не быть собран сборщиком мусора.

Если бит Py_TPFLAGS_MANAGED_DICT установлен в поле tp_flags, функция обхода должна вызвать PyObject_VisitManagedDict() следующим образом:

int err = PyObject_VisitManagedDict((PyObject*)self, visit, arg);
if (err) {
    return err;
}

Посещать нужно только те члены, которыми экземпляр владеет (имея на них сильные ссылки). Например, если объект поддерживает слабые ссылки через слот tp_weaklist, указатель, поддерживающий связный список (то, на что указывает tp_weaklist), не должен посещаться, так как экземпляр не владеет напрямую слабыми ссылками на себя.

Функция обхода имеет ограничение:

Предупреждение

Функция обхода не должна иметь никаких побочных эффектов. Реализации не должны изменять счетчики ссылок каких-либо объектов Python, а также создавать или уничтожать какие-либо объекты Python прямо или косвенно.

Это означает, что большинство функций Python C API нельзя использовать, поскольку они могут вызывать новое исключение, возвращать новую ссылку на объект-результат, иметь внутреннюю логику, использующую побочные эффекты. Кроме того, если не указано иное, функции, которые в настоящее время не имеют побочных эффектов, могут начать их иметь в будущих версиях без предупреждения.

Список безопасных функций см. в отдельном разделе ниже.

Примечание

Вызов Py_VISIT() можно пропустить для тех членов, которые заведомо не могут участвовать в циклических ссылках. В примере local_traverse выше также есть член self->key, но он может быть только NULL или строкой Python, и поэтому не может быть частью циклической ссылки.

С другой стороны, даже если вы знаете, что член никогда не может быть частью цикла, в качестве средства отладки вы можете захотеть все равно посетить его, чтобы функция get_referents() модуля gc включала его.

Примечание

Функцию tp_traverse можно вызывать из любого потока.

Деталь реализации CPython: Сборка мусора – это операция «остановки мира»: даже в сборках free threading, когда запускаются обработчики tp_traverse, прикреплено только одно состояние потока attached.

Изменено в версии 3.9: Ожидается, что типы, выделяемые в куче, будут посещать Py_TYPE(self) в tp_traverse. В более ранних версиях Python из-за ошибки 40217 это могло приводить к сбоям в подклассах.

Для упрощения написания обработчиков tp_traverse предоставляется макрос Py_VISIT(). Чтобы использовать этот макрос, реализация tp_traverse должна называть свои аргументы именно visit и arg:

Py_VISIT(o)

Если PyObject* o не является NULL, вызвать колбэк visit с аргументами o и arg. Если visit возвращает ненулевое значение, вернуть его.

Это примерно соответствует:

#define Py_VISIT(o)                             \
   if (op) {                                    \
      int visit_result = visit(o, arg);         \
      if (visit_result != 0) {                  \
         return visit_result;                   \
      }                                         \
   }

Функции, безопасные для обходаTraversal-safe functions

Следующие функции и макросы безопасно использовать в обработчике tp_traverse:

Функции «DuringGC»“DuringGC” functions

Следующие функции следует использовать только в обработчике tp_traverse; вызов их в других контекстах может иметь непреднамеренные последствия.

Эти функции действуют как их аналоги без суффикса _DuringGC, но гарантированно не имеют побочных эффектов, не устанавливают исключение при сбое и возвращают/устанавливают заимствованные ссылки, как описано в соответствующей документации.

Обратите внимание, что эти функции могут завершиться ошибкой (вернуть NULL или -1), но поскольку они не устанавливают исключение, информация об ошибке недоступна. В некоторых случаях сбой невозможно отличить от успешного результата NULL.

void *PyObject_GetTypeData_DuringGC(PyObject *o, PyTypeObject *cls)
void *PyObject_GetItemData_DuringGC(PyObject *o)
void *PyType_GetModuleState_DuringGC(PyTypeObject *type)
void *PyModule_GetState_DuringGC(PyObject *module)
int PyModule_GetToken_DuringGC(PyObject *module, void **result)
Часть Stable ABI начиная с версии 3.15.

Смотрите функции “DuringGC” для общей информации.

Добавлено в версии 3.15.

int PyType_GetBaseByToken_DuringGC(PyTypeObject *type, void *tp_token, PyTypeObject **result)
Часть Stable ABI начиная с версии 3.15.

Смотрите функции “DuringGC” для общей информации.

Устанавливает *result в заимствованную ссылку, а не сильную. Ссылка действительна на время вызова обработчика tp_traverse.

Добавлено в версии 3.15.

См. также

PyType_GetBaseByToken()

PyObject *PyType_GetModule_DuringGC(PyTypeObject *type)
PyObject *PyType_GetModuleByToken_DuringGC(PyTypeObject *type, const void *mod_token)
Возвращаемое значение: заимствованная ссылка. Часть стабильного ABI начиная с версии 3.15.

Смотрите функции “DuringGC” для общей информации.

Эти функции возвращают заимствованную ссылку, которая действительна на время вызова обработчика tp_traverse.

Добавлено в версии 3.15.

Управление состоянием сборщика мусораControlling the Garbage Collector State

C-API предоставляет следующие функции для управления запусками сборки мусора.

Py_ssize_t PyGC_Collect(void)
Часть Stable ABI.

Выполняет полную сборку мусора, если сборщик мусора включён. (Обратите внимание, что gc.collect() запускает её безусловно.)

Возвращает количество собранных + недостижимых объектов, которые не могут быть собраны. Если сборщик мусора отключён или уже выполняет сборку, немедленно возвращает 0. Ошибки во время сборки мусора передаются в sys.unraisablehook. Эта функция не вызывает исключений.

int PyGC_Enable(void)
Часть Stable ABI начиная с версии 3.10.

Включает сборщик мусора: аналогично gc.enable(). Возвращает предыдущее состояние: 0 – отключён, 1 – включён.

Добавлено в версии 3.10.

int PyGC_Disable(void)
Часть Stable ABI начиная с версии 3.10.

Отключает сборщик мусора: аналогично gc.disable(). Возвращает предыдущее состояние: 0 – отключён, 1 – включён.

Добавлено в версии 3.10.

int PyGC_IsEnabled(void)
Часть Stable ABI начиная с версии 3.10.

Запрашивает состояние сборщика мусора: аналогично gc.isenabled(). Возвращает текущее состояние: 0 – отключён, 1 – включён.

Добавлено в версии 3.10.

Запрос состояния сборщика мусораQuerying Garbage Collector State

C-API предоставляет следующий интерфейс для запроса информации о сборщике мусора.

void PyUnstable_GC_VisitObjects(gcvisitobjects_t callback, void *arg)
Это нестабильное API. Оно может меняться без предупреждения в минорных версиях.

Вызывает переданный колбэк для всех живых объектов, поддерживающих GC. arg передаётся во все вызовы колбэк.

Предупреждение

Если колбэк выделяет или освобождает новые объекты, то не определено, будут ли они посещены.

Во время работы сборка мусора отключена. Явный запуск сборки в колбэке может привести к неопределённому поведению, например, к посещению одних и тех же объектов несколько раз или ни разу.

Добавлено в версии 3.12.

typedef int (*gcvisitobjects_t)(PyObject *object, void *arg)

Тип функции-посетителя, передаваемой в PyUnstable_GC_VisitObjects(). Параметр arg – то же самое, что arg, переданный в PyUnstable_GC_VisitObjects. Возвращайте 1 для продолжения итерации, 0 – для остановки. Остальные возвращаемые значения пока зарезервированы, поэтому поведение при возврате чего-либо другого не определено.

Добавлено в версии 3.12.