`unicode.md`

1148 строк · 106.3 КБ · обычная страница · сырой текст · скачать
1> **Источник:** https://python-all.ru/3.9/c-api/unicode.html2>3> «Документация Python на русском» – неофициальный перевод официальной документации Python: версии от 2.6 до 3.16, полнотекстовый поиск, английский оригинал рядом с переводом. Эта Markdown-версия страницы предназначена для работы с LLM: вставьте её в ChatGPT, Claude или Cursor.45---67# Объекты Unicode и кодеки89## Объекты Unicode1011Начиная с реализации [**PEP 393**](https://python-all.ru/3.9/c-api/unicode.html) в Python 3.3, объекты Unicode внутри используют различные представления, чтобы обеспечить обработку полного диапазона символов Unicode, оставаясь при этом эффективными по памяти. Существуют особые случаи для строк, где все кодовые точки находятся ниже 128, 256 или 65536; в противном случае кодовые точки должны быть ниже 1114112 (то есть полного диапазона Unicode).1213Представления [`Py_UNICODE*`](https://python-all.ru/3.9/c-api/unicode.html#c.Py_UNICODE) и UTF-8 создаются по требованию и кэшируются в объекте Unicode. Представление [`Py_UNICODE*`](https://python-all.ru/3.9/c-api/unicode.html#c.Py_UNICODE) устарело и неэффективно.1415Из-за перехода между старыми и новыми API объекты Unicode могут внутренне находиться в двух состояниях в зависимости от того, как они были созданы:1617- «канонические» объекты Unicode – это все объекты, созданные не устаревшим Unicode API. Они используют наиболее эффективное представление, допускаемое реализацией.18- «Унаследованные» объекты Unicode создаются через один из устаревших API (обычно [`PyUnicode_FromUnicode()`](https://python-all.ru/3.9/c-api/unicode.html#c.PyUnicode_FromUnicode)) и содержат только представление [`Py_UNICODE*`](https://python-all.ru/3.9/c-api/unicode.html#c.Py_UNICODE); перед вызовом любого другого API необходимо вызвать [`PyUnicode_READY()`](https://python-all.ru/3.9/c-api/unicode.html#c.PyUnicode_READY).1920> **Примечание**21>22> «Унаследованный» объект Unicode будет удалён в Python 3.12 вместе с устаревшими API. Все объекты Unicode станут «каноническими» с этого момента. Подробнее см. [**PEP 623**](https://python-all.ru/3.9/c-api/unicode.html).2324### Тип Unicode2526Это основные типы объектов Unicode, используемые в реализации Unicode в Python:2728**`Py_UCS4`**2930**`Py_UCS2`**3132**`Py_UCS1`**3334Эти типы являются псевдонимами для беззнаковых целочисленных типов, достаточно широких для хранения символов размером 32, 16 и 8 бит соответственно. При работе с отдельными символами Unicode используйте [`Py_UCS4`](https://python-all.ru/3.9/c-api/unicode.html#c.Py_UCS4).3536Новое в версии 3.3.3738**`Py_UNICODE`**3940Это typedef для `wchar_t`, 16-битный или 32-битный тип в зависимости от платформы.4142Изменено в версии 3.3: В предыдущих версиях это был 16-битный или 32-битный тип в зависимости от того, была ли выбрана «узкая» или «широкая» версия Unicode Python при сборке.4344**`PyASCIIObject`**4546**`PyCompactUnicodeObject`**4748**`PyUnicodeObject`**4950Эти подтипы [`PyObject`](https://python-all.ru/3.9/c-api/structures.html#c.PyObject) представляют объект Unicode в Python. В почти всех случаях их не следует использовать напрямую, так как все функции API, работающие с объектами Unicode, принимают и возвращают указатели [`PyObject`](https://python-all.ru/3.9/c-api/structures.html#c.PyObject).5152Новое в версии 3.3.5354**[PyTypeObject](https://python-all.ru/3.9/c-api/type.html#c.PyTypeObject) `PyUnicode_Type`**5556Этот экземпляр [`PyTypeObject`](https://python-all.ru/3.9/c-api/type.html#c.PyTypeObject) представляет тип Unicode в Python. Он доступен коду Python как `str`.5758Следующие API на самом деле являются макросами C и могут использоваться для быстрых проверок и доступа к внутренним данным Unicode объектов только для чтения:5960#### `int PyUnicode_Check(PyObject *o)`6162Возвращает true, если объект *o* является объектом Unicode или экземпляром подтипа Unicode. Эта функция всегда выполняется успешно.6364#### `int PyUnicode_CheckExact(PyObject *o)`6566Возвращает true, если объект *o* является объектом Unicode, но не экземпляром подтипа. Эта функция всегда выполняется успешно.6768#### `int PyUnicode_READY(PyObject *o)`6970Убедитесь, что строковый объект *o* находится в «каноническом» представлении. Это необходимо перед использованием любых макросов доступа, описанных ниже.7172Возвращает `0` при успехе и `-1` с установленным исключением при неудаче, что в частности происходит при неудаче выделения памяти.7374Новое в версии 3.3.7576Устарело с версии 3.10, будет удалено в версии 3.12: Этот API будет удалён вместе с [`PyUnicode_FromUnicode()`](https://python-all.ru/3.9/c-api/unicode.html#c.PyUnicode_FromUnicode).7778#### `Py_ssize_t PyUnicode_GET_LENGTH(PyObject *o)`7980Возвращает длину строки Unicode в кодовых точках. *o* должен быть объектом Unicode в «каноническом» представлении (не проверяется).8182Новое в версии 3.3.8384#### `Py_UCS1* PyUnicode_1BYTE_DATA(PyObject*o)`8586#### `Py_UCS2* PyUnicode_2BYTE_DATA(PyObject*o)`8788#### `Py_UCS4* PyUnicode_4BYTE_DATA(PyObject*o)`8990Возвращает указатель на каноническое представление, приведённое к целочисленным типам UCS1, UCS2 или UCS4 для прямого доступа к символам. Не выполняется проверок, имеет ли каноническое представление правильный размер символа; используйте [`PyUnicode_KIND()`](https://python-all.ru/3.9/c-api/unicode.html#c.PyUnicode_KIND) для выбора правильного макроса. Убедитесь, что [`PyUnicode_READY()`](https://python-all.ru/3.9/c-api/unicode.html#c.PyUnicode_READY) был вызван перед доступом к этому.9192Новое в версии 3.3.9394**`PyUnicode_WCHAR_KIND`**9596**`PyUnicode_1BYTE_KIND`**9798**`PyUnicode_2BYTE_KIND`**99100**`PyUnicode_4BYTE_KIND`**101102Возвращает значения макроса [`PyUnicode_KIND()`](https://python-all.ru/3.9/c-api/unicode.html#c.PyUnicode_KIND).103104Новое в версии 3.3.105106Устарело с версии 3.10, будет удалено в версии 3.12: `PyUnicode_WCHAR_KIND` устарел.107108#### `unsigned int PyUnicode_KIND(PyObject*o)`109110Возвращает одну из констант PyUnicode kind (см. выше), которые показывают, сколько байт на символ использует этот объект Unicode для хранения данных. *o* должен быть объектом Unicode в «каноническом» представлении (не проверяется).111112Новое в версии 3.3.113114#### `void* PyUnicode_DATA(PyObject*o)`115116Возвращает указатель void на необработанный буфер Unicode. *o* должен быть объектом Unicode в «каноническом» представлении (не проверяется).117118Новое в версии 3.3.119120#### `void PyUnicode_WRITE(intkind, void*data, Py_ssize_tindex, Py_UCS4value)`121122Записывает в каноническое представление *data* (полученное с помощью [`PyUnicode_DATA()`](https://python-all.ru/3.9/c-api/unicode.html#c.PyUnicode_DATA)). Этот макрос не выполняет никаких проверок корректности и предназначен для использования в циклах. Вызывающий код должен кэшировать значение *kind* и указатель *data*, полученные из других вызовов макросов. *index* – это индекс в строке (начиная с 0), а *value* – новое значение кодовой точки, которое должно быть записано в эту позицию.123124Новое в версии 3.3.125126#### `Py_UCS4 PyUnicode_READ(intkind, void*data, Py_ssize_tindex)`127128Читает кодовую точку из канонического представления *data* (полученного с помощью [`PyUnicode_DATA()`](https://python-all.ru/3.9/c-api/unicode.html#c.PyUnicode_DATA)). Никаких проверок или вызовов готовности не выполняется.129130Новое в версии 3.3.131132#### `Py_UCS4 PyUnicode_READ_CHAR(PyObject*o, Py_ssize_tindex)`133134Читает символ из объекта Unicode *o*, который должен находиться в «каноническом» представлении. Это менее эффективно, чем [`PyUnicode_READ()`](https://python-all.ru/3.9/c-api/unicode.html#c.PyUnicode_READ) при многократных последовательных чтениях.135136Новое в версии 3.3.137138**`PyUnicode_MAX_CHAR_VALUE`(o)**139140Возвращает максимальную кодовую точку, подходящую для создания другой строки на основе *o*, который должен быть в «каноническом» представлении. Это всегда приблизительное значение, но более эффективно, чем итерация по строке.141142Новое в версии 3.3.143144#### `Py_ssize_t PyUnicode_GET_SIZE(PyObject *o)`145146Возвращает размер устаревшего представления [`Py_UNICODE`](https://python-all.ru/3.9/c-api/unicode.html#c.Py_UNICODE) в кодовых единицах (суррогатные пары считаются за 2 единицы). *o* должен быть объектом Unicode (не проверяется).147148Устарело с версии 3.3, будет удалено в версии 3.12: Часть старого API Unicode, переходите на использование [`PyUnicode_GET_LENGTH()`](https://python-all.ru/3.9/c-api/unicode.html#c.PyUnicode_GET_LENGTH).149150#### `Py_ssize_t PyUnicode_GET_DATA_SIZE(PyObject *o)`151152Возвращает размер устаревшего представления [`Py_UNICODE`](https://python-all.ru/3.9/c-api/unicode.html#c.Py_UNICODE) в байтах. *o* должен быть объектом Unicode (не проверяется).153154Устарело с версии 3.3, будет удалено в версии 3.12: Часть старого API Unicode, переходите на использование [`PyUnicode_GET_LENGTH()`](https://python-all.ru/3.9/c-api/unicode.html#c.PyUnicode_GET_LENGTH).155156#### `Py_UNICODE* PyUnicode_AS_UNICODE(PyObject*o)`157158#### `const char* PyUnicode_AS_DATA(PyObject*o)`159160Возвращает указатель на представление [`Py_UNICODE`](https://python-all.ru/3.9/c-api/unicode.html#c.Py_UNICODE) объекта. Возвращаемый буфер всегда завершается дополнительной нулевой кодовой точкой. Он также может содержать встроенные нулевые кодовые точки, что приведет к усечению строки при использовании в большинстве функций C. Форма `AS_DATA` приводит указатель к `const char *`. Аргумент *o* должен быть объектом Unicode (не проверяется).161162Изменено в версии 3.3: Этот макрос теперь неэффективен, так как во многих случаях представление [`Py_UNICODE`](https://python-all.ru/3.9/c-api/unicode.html#c.Py_UNICODE) не существует и его необходимо создавать, а также может завершиться ошибкой (возвращать `NULL` с установленным исключением). Попробуйте переписать код с использованием новых макросов `PyUnicode_nBYTE_DATA()` или используйте [`PyUnicode_WRITE()`](https://python-all.ru/3.9/c-api/unicode.html#c.PyUnicode_WRITE) или [`PyUnicode_READ()`](https://python-all.ru/3.9/c-api/unicode.html#c.PyUnicode_READ).163164Устарело с версии 3.3, будет удалено в версии 3.12: Часть старого API Unicode, переходите на использование семейства макросов `PyUnicode_nBYTE_DATA()`.165166#### `int PyUnicode_IsIdentifier(PyObject *o)`167168Возвращает `1`, если строка является допустимым идентификатором в соответствии с определением языка, раздел [Идентификаторы и ключевые слова](https://python-all.ru/3.9/reference/lexical_analysis.html#identifiers). В противном случае возвращает `0`.169170Изменено в версии 3.9: Функция больше не вызывает [`Py_FatalError()`](https://python-all.ru/3.9/c-api/sys.html#c.Py_FatalError), если строка не готова.171172### Свойства символов Unicode173174Unicode предоставляет множество различных свойств символов. Наиболее востребованные из них доступны через следующие макросы, которые сопоставляются с функциями на C в зависимости от конфигурации Python.175176#### `int Py_UNICODE_ISSPACE(Py_UCS4ch)`177178Возвращает `1` или `0` в зависимости от того, является ли *ch* пробельным символом.179180#### `int Py_UNICODE_ISLOWER(Py_UCS4ch)`181182Возвращает `1` или `0` в зависимости от того, является ли *ch* символом в нижнем регистре.183184#### `int Py_UNICODE_ISUPPER(Py_UCS4ch)`185186Возвращает `1` или `0` в зависимости от того, является ли *ch* символом в верхнем регистре.187188#### `int Py_UNICODE_ISTITLE(Py_UCS4ch)`189190Возвращает `1` или `0` в зависимости от того, является ли *ch* символом в регистре заголовка (titlecase).191192#### `int Py_UNICODE_ISLINEBREAK(Py_UCS4ch)`193194Возвращает `1` или `0` в зависимости от того, является ли *ch* символом разрыва строки.195196#### `int Py_UNICODE_ISDECIMAL(Py_UCS4ch)`197198Возвращает `1` или `0` в зависимости от того, является ли *ch* десятичным символом.199200#### `int Py_UNICODE_ISDIGIT(Py_UCS4ch)`201202Возвращает `1` или `0` в зависимости от того, является ли *ch* цифровым символом.203204#### `int Py_UNICODE_ISNUMERIC(Py_UCS4ch)`205206Возвращает `1` или `0` в зависимости от того, является ли *ch* числовым символом.207208#### `int Py_UNICODE_ISALPHA(Py_UCS4ch)`209210Возвращает `1` или `0` в зависимости от того, является ли *ch* буквенным символом.211212#### `int Py_UNICODE_ISALNUM(Py_UCS4ch)`213214Возвращает `1` или `0` в зависимости от того, является ли *ch* буквенно-цифровым символом.215216#### `int Py_UNICODE_ISPRINTABLE(Py_UCS4ch)`217218Возвращает `1` или `0` в зависимости от того, является ли *ch* печатным символом. Непечатные символы – это те, которые определены в базе данных Unicode как «Other» или «Separator», за исключением пробела ASCII (0x20), который считается печатным. (Обратите внимание, что печатные символы в этом контексте – это те, которые не должны экранироваться при вызове [`repr()`](https://python-all.ru/3.9/library/functions.html#repr) для строки. Это не влияет на обработку строк, записываемых в [`sys.stdout`](https://python-all.ru/3.9/library/sys.html#sys.stdout) или [`sys.stderr`](https://python-all.ru/3.9/library/sys.html#sys.stderr).)219220Эти API можно использовать для быстрых прямых преобразований символов:221222#### `Py_UCS4 Py_UNICODE_TOLOWER(Py_UCS4ch)`223224Возвращает символ *ch*, преобразованный в нижний регистр.225226Устарело с версии 3.3: Эта функция использует простые отображения регистра.227228#### `Py_UCS4 Py_UNICODE_TOUPPER(Py_UCS4ch)`229230Возвращает символ *ch*, преобразованный в верхний регистр.231232Устарело с версии 3.3: Эта функция использует простые отображения регистра.233234#### `Py_UCS4 Py_UNICODE_TOTITLE(Py_UCS4ch)`235236Возвращает символ *ch*, приведённый к регистру заголовка.237238Устарело с версии 3.3: Эта функция использует простые отображения регистра.239240#### `int Py_UNICODE_TODECIMAL(Py_UCS4ch)`241242Возвращает символ *ch*, преобразованный в десятичное положительное целое. Возвращает `-1`, если это невозможно. Этот макрос не вызывает исключений.243244#### `int Py_UNICODE_TODIGIT(Py_UCS4ch)`245246Возвращает символ *ch*, преобразованный в целое однозначное число. Возвращает `-1`, если это невозможно. Этот макрос не вызывает исключений.247248#### `double Py_UNICODE_TONUMERIC(Py_UCS4ch)`249250Возвращает символ *ch*, преобразованный в double. Возвращает `-1.0`, если это невозможно. Этот макрос не вызывает исключений.251252Эти API можно использовать для работы с суррогатами:253254**`Py_UNICODE_IS_SURROGATE`(ch)**255256Проверяет, является ли *ch* суррогатом (`0xD800 <= ch <= 0xDFFF`).257258**`Py_UNICODE_IS_HIGH_SURROGATE`(ch)**259260Проверяет, является ли *ch* старшим суррогатом (`0xD800 <= ch <= 0xDBFF`).261262**`Py_UNICODE_IS_LOW_SURROGATE`(ch)**263264Проверяет, является ли *ch* младшим суррогатом (`0xDC00 <= ch <= 0xDFFF`).265266**`Py_UNICODE_JOIN_SURROGATES`(high, low)**267268Объединяет два суррогатных символа и возвращает одно значение Py\_UCS4. *high* и *low* – это соответственно старший и младший суррогаты в суррогатной паре.269270### Создание строк Unicode и доступ к ним271272Для создания объектов Unicode и доступа к их базовым свойствам последовательности используйте следующие API:273274#### `PyObject* PyUnicode_New(Py_ssize_t size, Py_UCS4 maxchar)`275276*Возвращаемое значение: новая ссылка.*277278Создаёт новый объект Unicode. *maxchar* должен быть истинным максимальным кодом, который будет помещён в строку. В качестве приближения его можно округлить до ближайшего значения из последовательности 127, 255, 65535, 1114111.279280Это рекомендуемый способ выделения нового объекта Unicode. Объекты, созданные с помощью этой функции, не подлежат изменению размера.281282Новое в версии 3.3.283284#### `PyObject* PyUnicode_FromKindAndData(int kind, const void *buffer, Py_ssize_t size)`285286*Возвращаемое значение: новая ссылка.*287288Создаёт новый объект Unicode с заданным *видом* (возможные значения: [`PyUnicode_1BYTE_KIND`](https://python-all.ru/3.9/c-api/unicode.html#c.PyUnicode_1BYTE_KIND) и т.д., возвращаемые [`PyUnicode_KIND()`](https://python-all.ru/3.9/c-api/unicode.html#c.PyUnicode_KIND)). *Буфер* должен указывать на массив из *size* единиц по 1, 2 или 4 байта на символ, в зависимости от вида.289290Новое в версии 3.3.291292#### `PyObject* PyUnicode_FromStringAndSize(const char *u, Py_ssize_t size)`293294*Возвращаемое значение: новая ссылка.*295296Создаёт объект Unicode из буфера символов *u*. Байты будут интерпретироваться как закодированные в UTF-8. Буфер копируется в новый объект. Если буфер не равен `NULL`, возвращаемое значение может быть разделяемым объектом, т.е. изменение данных не допускается.297298Если *u* равен `NULL`, эта функция ведёт себя как [`PyUnicode_FromUnicode()`](https://python-all.ru/3.9/c-api/unicode.html#c.PyUnicode_FromUnicode) с буфером, установленным в `NULL`. Такое использование устарело в пользу [`PyUnicode_New()`](https://python-all.ru/3.9/c-api/unicode.html#c.PyUnicode_New) и будет удалено в Python 3.12.299300#### `PyObject *PyUnicode_FromString(const char *u)`301302*Возвращаемое значение: новая ссылка.*303304Создаёт объект Unicode из UTF-8-закодированного нуль-терминированного буфера символов *u*.305306#### `PyObject* PyUnicode_FromFormat(const char *format, ...)`307308*Возвращаемое значение: новая ссылка.*309310Принимает строку формата в стиле C `printf()` *format* и переменное число аргументов, вычисляет размер результирующей строки Python Unicode и возвращает строку со вставленными отформатированными значениями. Переменные аргументы должны быть типами C и должны точно соответствовать символам формата в строке *format*, закодированной в ASCII. Допускаются следующие символы формата:311312| Символы формата | Тип | Описание |313| --- | --- | --- |314| `%%` | *н/д* | Буквальный символ %. |315| `%c` | int | Один символ, представленный как C int. |316| `%d` | int | Эквивалентно `printf("%d")`. [1](https://python-all.ru/3.9/c-api/unicode.html#id14) |317| `%u` | unsigned int | Эквивалентно `printf("%u")`. [1](https://python-all.ru/3.9/c-api/unicode.html#id14) |318| `%ld` | long | Эквивалентно `printf("%ld")`. [1](https://python-all.ru/3.9/c-api/unicode.html#id14) |319| `%li` | long | Эквивалентно `printf("%li")`. [1](https://python-all.ru/3.9/c-api/unicode.html#id14) |320| `%lu` | unsigned long | Эквивалентно `printf("%lu")`. [1](https://python-all.ru/3.9/c-api/unicode.html#id14) |321| `%lld` | long long | Эквивалентно `printf("%lld")`. [1](https://python-all.ru/3.9/c-api/unicode.html#id14) |322| `%lli` | long long | Эквивалентно `printf("%lli")`. [1](https://python-all.ru/3.9/c-api/unicode.html#id14) |323| `%llu` | unsigned long long | Эквивалентно `printf("%llu")`. [1](https://python-all.ru/3.9/c-api/unicode.html#id14) |324| `%zd` | [`Py_ssize_t`](https://python-all.ru/3.9/c-api/intro.html#c.Py_ssize_t) | Эквивалентно `printf("%zd")`. [1](https://python-all.ru/3.9/c-api/unicode.html#id14) |325| `%zi` | [`Py_ssize_t`](https://python-all.ru/3.9/c-api/intro.html#c.Py_ssize_t) | Эквивалентно `printf("%zi")`. [1](https://python-all.ru/3.9/c-api/unicode.html#id14) |326| `%zu` | size\_t | Эквивалентно `printf("%zu")`. [1](https://python-all.ru/3.9/c-api/unicode.html#id14) |327| `%i` | int | Эквивалентно `printf("%i")`. [1](https://python-all.ru/3.9/c-api/unicode.html#id14) |328| `%x` | int | Эквивалентно `printf("%x")`. [1](https://python-all.ru/3.9/c-api/unicode.html#id14) |329| `%s` | const char\* | Нуль-терминированный массив символов C. |330| `%p` | const void\* | Шестнадцатеричное представление указателя C. В основном эквивалентно `printf("%p")`, за исключением того, что гарантированно начинается с литерала `0x` независимо от того, что возвращает `printf` на данной платформе. |331| `%A` | PyObject\* | Результат вызова [`ascii()`](https://python-all.ru/3.9/library/functions.html#ascii). |332| `%U` | PyObject\* | Объект Unicode. |333| `%V` | PyObject\*, const char\* | Объект Unicode (который может быть `NULL`) и завершающийся нулём символьный массив C в качестве второго параметра (который будет использоваться, если первый параметр равен `NULL`). |334| `%S` | PyObject\* | Результат вызова [`PyObject_Str()`](https://python-all.ru/3.9/c-api/object.html#c.PyObject_Str). |335| `%R` | PyObject\* | Результат вызова [`PyObject_Repr()`](https://python-all.ru/3.9/c-api/object.html#c.PyObject_Repr). |336337Нераспознанный символ формата приводит к тому, что вся оставшаяся строка формата копируется как есть в результирующую строку, а все лишние аргументы отбрасываются.338339> **Примечание**340>341> Единицей форматирования ширины является количество символов, а не байтов. Единицей форматирования точности является количество байтов для `"%s"` и `"%V"` (если аргумент `PyObject*` равен `NULL`) и количество символов для `"%A"`, `"%U"`, `"%S"`, `"%R"` и `"%V"` (если аргумент `PyObject*` не равен `NULL`).342343**1([1](https://python-all.ru/3.9/c-api/unicode.html#id1),[2](https://python-all.ru/3.9/c-api/unicode.html#id2),[3](https://python-all.ru/3.9/c-api/unicode.html#id3),[4](https://python-all.ru/3.9/c-api/unicode.html#id4),[5](https://python-all.ru/3.9/c-api/unicode.html#id5),[6](https://python-all.ru/3.9/c-api/unicode.html#id6),[7](https://python-all.ru/3.9/c-api/unicode.html#id7),[8](https://python-all.ru/3.9/c-api/unicode.html#id8),[9](https://python-all.ru/3.9/c-api/unicode.html#id9),[10](https://python-all.ru/3.9/c-api/unicode.html#id10),[11](https://python-all.ru/3.9/c-api/unicode.html#id11),[12](https://python-all.ru/3.9/c-api/unicode.html#id12),[13](https://python-all.ru/3.9/c-api/unicode.html#id13))**344345Для спецификаторов целых чисел (d, u, ld, li, lu, lld, lli, llu, zd, zi, zu, i, x): флаг преобразования 0 действует, даже если задана точность.346347Изменено в версии 3.2: Добавлена поддержка `"%lld"` и `"%llu"`.348349Изменено в версии 3.3: Добавлена поддержка `"%li"`, `"%lli"` и `"%zi"`.350351Изменено в версии 3.4: Добавлена поддержка форматтеров ширины и точности для `"%s"`, `"%A"`, `"%U"`, `"%V"`, `"%S"`, `"%R"`.352353#### `PyObject* PyUnicode_FromFormatV(const char *format, va_list vargs)`354355*Возвращаемое значение: новая ссылка.*356357Идентично [`PyUnicode_FromFormat()`](https://python-all.ru/3.9/c-api/unicode.html#c.PyUnicode_FromFormat), за исключением того, что принимает ровно два аргумента.358359#### `PyObject* PyUnicode_FromEncodedObject(PyObject *obj, const char *encoding, const char *errors)`360361*Возвращаемое значение: новая ссылка.*362363Декодирует закодированный объект *obj* в объект Unicode.364365[`bytes`](https://python-all.ru/3.9/library/stdtypes.html#bytes), [`bytearray`](https://python-all.ru/3.9/library/stdtypes.html#bytearray) и другие [объекты, подобные байтовым строкам](https://python-all.ru/3.9/glossary.html#term-bytes-like-object) декодируются в соответствии с заданной *encoding* и с использованием обработки ошибок, определённой *errors*. Оба параметра могут быть `NULL`, чтобы интерфейс использовал значения по умолчанию (см. [Встроенные кодеки](https://python-all.ru/3.9/c-api/unicode.html#builtincodecs) для подробностей).366367Все остальные объекты, включая объекты Unicode, приводят к установке [`TypeError`](https://python-all.ru/3.9/library/exceptions.html#TypeError).368369API возвращает `NULL` в случае ошибки. Вызывающий отвечает за уменьшение счётчика ссылок (decref) возвращённых объектов.370371#### `Py_ssize_t PyUnicode_GetLength(PyObject *unicode)`372373Возвращает длину объекта Unicode в кодовых точках.374375Новое в версии 3.3.376377#### `Py_ssize_t PyUnicode_CopyCharacters(PyObject *to, Py_ssize_t to_start, PyObject *from, Py_ssize_t from_start, Py_ssize_t how_many)`378379Копирует символы из одного объекта Unicode в другой. При необходимости выполняет преобразование символов и, если возможно, использует `memcpy()`. Возвращает `-1` и устанавливает исключение при ошибке, в противном случае возвращает количество скопированных символов.380381Новое в версии 3.3.382383#### `Py_ssize_t PyUnicode_Fill(PyObject *unicode, Py_ssize_t start, Py_ssize_t length, Py_UCS4 fill_char)`384385Заполняет строку символом: записывает *fill\_char* в `unicode[start:start+length]`.386387Завершается ошибкой, если *fill\_char* больше максимального символа строки или если у строки больше одной ссылки.388389Возвращает количество записанных символов или `-1` и возбуждает исключение при ошибке.390391Новое в версии 3.3.392393#### `int PyUnicode_WriteChar(PyObject *unicode, Py_ssize_t index, Py_UCS4 character)`394395Записывает символ в строку. Строка должна быть создана с помощью [`PyUnicode_New()`](https://python-all.ru/3.9/c-api/unicode.html#c.PyUnicode_New). Поскольку строки Unicode считаются неизменяемыми, строка не должна быть общей или уже хэшированной.396397Эта функция проверяет, что *unicode* является объектом Unicode, индекс не выходит за границы, и объект можно безопасно изменять (т.е. его счётчик ссылок равен единице).398399Новое в версии 3.3.400401#### `Py_UCS4 PyUnicode_ReadChar(PyObject *unicode, Py_ssize_t index)`402403Читает символ из строки. Эта функция проверяет, что *unicode* является объектом Unicode и индекс не выходит за границы, в отличие от макроса [`PyUnicode_READ_CHAR()`](https://python-all.ru/3.9/c-api/unicode.html#c.PyUnicode_READ_CHAR).404405Новое в версии 3.3.406407#### `PyObject* PyUnicode_Substring(PyObject *str, Py_ssize_t start, Py_ssize_t end)`408409*Возвращаемое значение: новая ссылка.*410411Возвращает подстроку *str* от индекса символа *start* (включительно) до индекса символа *end* (исключительно). Отрицательные индексы не поддерживаются.412413Новое в версии 3.3.414415#### `Py_UCS4* PyUnicode_AsUCS4(PyObject *u, Py_UCS4 *buffer, Py_ssize_t buflen, int copy_null)`416417Копирует строку *u* в буфер UCS4, включая нулевой символ, если *copy\_null* установлен. Возвращает `NULL` и устанавливает исключение при ошибке (в частности, [`SystemError`](https://python-all.ru/3.9/library/exceptions.html#SystemError), если *buflen* меньше длины *u*). В случае успеха возвращается *buffer*.418419Новое в версии 3.3.420421#### `Py_UCS4* PyUnicode_AsUCS4Copy(PyObject *u)`422423Копирует строку *u* в новый буфер UCS4, выделяемый с помощью [`PyMem_Malloc()`](https://python-all.ru/3.9/c-api/memory.html#c.PyMem_Malloc). Если это не удаётся, возвращается `NULL` с установленным [`MemoryError`](https://python-all.ru/3.9/library/exceptions.html#MemoryError). Возвращаемый буфер всегда содержит дополнительный нулевой кодовый элемент.424425Новое в версии 3.3.426427### Устаревшие API Py\_UNICODE428429Устарело с версии 3.3, будет удалено в версии 3.12.430431Эти функции API устарели с реализацией [**PEP 393**](https://python-all.ru/3.9/c-api/unicode.html). Модули-расширения могут продолжать их использовать, поскольку они не будут удалены в Python 3.x, но следует учитывать, что их использование теперь может приводить к снижению производительности и увеличению потребления памяти.432433#### `PyObject* PyUnicode_FromUnicode(const Py_UNICODE *u, Py_ssize_t size)`434435*Возвращаемое значение: новая ссылка.*436437Создаёт объект Unicode из буфера Py\_UNICODE *u* заданного размера. *u* может быть `NULL`, что делает содержимое неопределённым. Пользователь отвечает за заполнение необходимых данных. Буфер копируется в новый объект.438439Если буфер не равен `NULL`, возвращаемое значение может быть разделяемым объектом. Поэтому изменение полученного объекта Unicode разрешено только тогда, когда *u* равен `NULL`.440441Если буфер равен `NULL`, [`PyUnicode_READY()`](https://python-all.ru/3.9/c-api/unicode.html#c.PyUnicode_READY) должен быть вызван после заполнения содержимого строки, перед использованием любых макросов доступа, таких как [`PyUnicode_KIND()`](https://python-all.ru/3.9/c-api/unicode.html#c.PyUnicode_KIND).442443Устарело с версии 3.3, будет удалено в версии 3.12: Часть старого стиля Unicode API, перейдите на использование [`PyUnicode_FromKindAndData()`](https://python-all.ru/3.9/c-api/unicode.html#c.PyUnicode_FromKindAndData), [`PyUnicode_FromWideChar()`](https://python-all.ru/3.9/c-api/unicode.html#c.PyUnicode_FromWideChar) или [`PyUnicode_New()`](https://python-all.ru/3.9/c-api/unicode.html#c.PyUnicode_New).444445#### `Py_UNICODE* PyUnicode_AsUnicode(PyObject *unicode)`446447Возвращает указатель только для чтения на внутренний [`Py_UNICODE`](https://python-all.ru/3.9/c-api/unicode.html#c.Py_UNICODE) буфер объекта Unicode или `NULL` в случае ошибки. При этом создаётся [`Py_UNICODE*`](https://python-all.ru/3.9/c-api/unicode.html#c.Py_UNICODE) представление объекта, если оно ещё не доступно. Буфер всегда завершается дополнительным нулевым кодовым элементом. Обратите внимание, что результирующая строка [`Py_UNICODE`](https://python-all.ru/3.9/c-api/unicode.html#c.Py_UNICODE) может также содержать встроенные нулевые кодовые элементы, что приведёт к усечению строки при использовании в большинстве функций C.448449Устарело с версии 3.3, будет удалено в версии 3.12: Часть старого стиля Unicode API, перейдите на использование [`PyUnicode_AsUCS4()`](https://python-all.ru/3.9/c-api/unicode.html#c.PyUnicode_AsUCS4), [`PyUnicode_AsWideChar()`](https://python-all.ru/3.9/c-api/unicode.html#c.PyUnicode_AsWideChar), [`PyUnicode_ReadChar()`](https://python-all.ru/3.9/c-api/unicode.html#c.PyUnicode_ReadChar) или аналогичных новых API.450451Устарело с версии 3.3, будет удалено в версии 3.10.452453#### `PyObject* PyUnicode_TransformDecimalToASCII(Py_UNICODE *s, Py_ssize_t size)`454455*Возвращаемое значение: новая ссылка.*456457Создаёт объект Unicode, заменяя все десятичные цифры в буфере [`Py_UNICODE`](https://python-all.ru/3.9/c-api/unicode.html#c.Py_UNICODE) указанного размера *size* на цифры ASCII 0–9 в соответствии с их десятичным значением. Возвращает `NULL` в случае возникновения исключения.458459Устарело с версии 3.3, будет удалено в версии 3.11: Часть старого API [`Py_UNICODE`](https://python-all.ru/3.9/c-api/unicode.html#c.Py_UNICODE); переходите на использование [`Py_UNICODE_TODECIMAL()`](https://python-all.ru/3.9/c-api/unicode.html#c.Py_UNICODE_TODECIMAL).460461#### `Py_UNICODE* PyUnicode_AsUnicodeAndSize(PyObject *unicode, Py_ssize_t *size)`462463Как и [`PyUnicode_AsUnicode()`](https://python-all.ru/3.9/c-api/unicode.html#c.PyUnicode_AsUnicode), но также сохраняет длину массива [`Py_UNICODE()`](https://python-all.ru/3.9/c-api/unicode.html#c.Py_UNICODE) (исключая дополнительный нулевой терминатор) в *size*. Обратите внимание, что результирующая строка [`Py_UNICODE*`](https://python-all.ru/3.9/c-api/unicode.html#c.Py_UNICODE) может содержать встроенные нулевые кодовые элементы, что приведёт к усечению строки при использовании в большинстве функций C.464465Новое в версии 3.3.466467Устарело с версии 3.3, будет удалено в версии 3.12: Часть старого стиля Unicode API, перейдите на использование [`PyUnicode_AsUCS4()`](https://python-all.ru/3.9/c-api/unicode.html#c.PyUnicode_AsUCS4), [`PyUnicode_AsWideChar()`](https://python-all.ru/3.9/c-api/unicode.html#c.PyUnicode_AsWideChar), [`PyUnicode_ReadChar()`](https://python-all.ru/3.9/c-api/unicode.html#c.PyUnicode_ReadChar) или аналогичных новых API.468469#### `Py_UNICODE* PyUnicode_AsUnicodeCopy(PyObject *unicode)`470471Создаёт копию строки Unicode, завершающуюся нулевым кодовым знаком. Возвращает `NULL` и возбуждает исключение [`MemoryError`](https://python-all.ru/3.9/library/exceptions.html#MemoryError) при ошибке выделения памяти, иначе возвращает новый выделенный буфер (используйте [`PyMem_Free()`](https://python-all.ru/3.9/c-api/memory.html#c.PyMem_Free) для освобождения буфера). Обратите внимание, что результирующая строка [`Py_UNICODE*`](https://python-all.ru/3.9/c-api/unicode.html#c.Py_UNICODE) может содержать встроенные нулевые кодовые знаки, что приведёт к усечению строки при использовании в большинстве функций C.472473Новое в версии 3.2.474475Переходите на использование [`PyUnicode_AsUCS4Copy()`](https://python-all.ru/3.9/c-api/unicode.html#c.PyUnicode_AsUCS4Copy) или аналогичных новых API.476477#### `Py_ssize_t PyUnicode_GetSize(PyObject *unicode)`478479Возвращает размер устаревшего представления [`Py_UNICODE`](https://python-all.ru/3.9/c-api/unicode.html#c.Py_UNICODE), в кодовых единицах (суррогатные пары учитываются как 2 единицы).480481Устарело с версии 3.3, будет удалено в версии 3.12: Часть старого API Unicode, переходите на использование [`PyUnicode_GET_LENGTH()`](https://python-all.ru/3.9/c-api/unicode.html#c.PyUnicode_GET_LENGTH).482483#### `PyObject* PyUnicode_FromObject(PyObject *obj)`484485*Возвращаемое значение: новая ссылка.*486487Копирует экземпляр подтипа Unicode в новый истинный объект Unicode, если это необходимо. Если *obj* уже является истинным объектом Unicode (не подтипом), возвращает ссылку с увеличенным счётчиком ссылок.488489Объекты, отличные от Unicode или его подтипов, вызывают [`TypeError`](https://python-all.ru/3.9/library/exceptions.html#TypeError).490491### Кодировка локали492493Текущую кодировку локали можно использовать для декодирования текста из операционной системы.494495#### `PyObject* PyUnicode_DecodeLocaleAndSize(const char *str, Py_ssize_t len, const char *errors)`496497*Возвращаемое значение: новая ссылка.*498499Decode a string from UTF-8 on Android and VxWorks, or from the current locale encoding on other platforms. The supported error handlers are `"strict"` and `"surrogateescape"` ([**PEP 383**](https://python-all.ru/3.9/c-api/unicode.html)). The decoder uses `"strict"` error handler if *errors* is `NULL`. *str* must end with a null character but cannot contain embedded null characters.500501Используйте [`PyUnicode_DecodeFSDefaultAndSize()`](https://python-all.ru/3.9/c-api/unicode.html#c.PyUnicode_DecodeFSDefaultAndSize) для декодирования строки из `Py_FileSystemDefaultEncoding` (кодировка локали, полученная при запуске Python).502503Эта функция игнорирует режим UTF-8 Python.504505> **См. также**506>507> Функция [`Py_DecodeLocale()`](https://python-all.ru/3.9/c-api/sys.html#c.Py_DecodeLocale).508509Новое в версии 3.3.510511Изменено в версии 3.7: Теперь функция также использует текущую кодировку локали для обработчика ошибок `surrogateescape`, за исключением Android. Ранее для `surrogateescape` использовался [`Py_DecodeLocale()`](https://python-all.ru/3.9/c-api/sys.html#c.Py_DecodeLocale), а для `strict` использовалась текущая кодировка локали.512513#### `PyObject* PyUnicode_DecodeLocale(const char *str, const char *errors)`514515*Возвращаемое значение: новая ссылка.*516517Аналогично [`PyUnicode_DecodeLocaleAndSize()`](https://python-all.ru/3.9/c-api/unicode.html#c.PyUnicode_DecodeLocaleAndSize), но длина строки вычисляется с помощью `strlen()`.518519Новое в версии 3.3.520521#### `PyObject* PyUnicode_EncodeLocale(PyObject *unicode, const char *errors)`522523*Возвращаемое значение: новая ссылка.*524525Encode a Unicode object to UTF-8 on Android and VxWorks, or to the current locale encoding on other platforms. The supported error handlers are `"strict"` and `"surrogateescape"` ([**PEP 383**](https://python-all.ru/3.9/c-api/unicode.html)). The encoder uses `"strict"` error handler if *errors* is `NULL`. Return a [`bytes`](https://python-all.ru/3.9/library/stdtypes.html#bytes) object. *unicode* cannot contain embedded null characters.526527Используйте [`PyUnicode_EncodeFSDefault()`](https://python-all.ru/3.9/c-api/unicode.html#c.PyUnicode_EncodeFSDefault) для кодирования строки в `Py_FileSystemDefaultEncoding` (кодировка локали, полученная при запуске Python).528529Эта функция игнорирует режим UTF-8 Python.530531> **См. также**532>533> Функция [`Py_EncodeLocale()`](https://python-all.ru/3.9/c-api/sys.html#c.Py_EncodeLocale).534535Новое в версии 3.3.536537Изменено в версии 3.7: Теперь функция также использует текущую кодировку локали для обработчика ошибок `surrogateescape`, за исключением Android. Ранее для `surrogateescape` использовался [`Py_EncodeLocale()`](https://python-all.ru/3.9/c-api/sys.html#c.Py_EncodeLocale), а для `strict` использовалась текущая кодировка локали.538539### Кодировка файловой системы540541Для кодирования и декодирования имён файлов и других строк окружения в качестве кодировки следует использовать `Py_FileSystemDefaultEncoding`, а в качестве обработчика ошибок – `Py_FileSystemDefaultEncodeErrors` ([**PEP 383**](https://python-all.ru/3.9/c-api/unicode.html) и [**PEP 529**](https://python-all.ru/3.9/c-api/unicode.html)). Для кодирования имён файлов в [`bytes`](https://python-all.ru/3.9/library/stdtypes.html#bytes) при разборе аргументов следует использовать преобразователь `"O&"`, передавая [`PyUnicode_FSConverter()`](https://python-all.ru/3.9/c-api/unicode.html#c.PyUnicode_FSConverter) в качестве функции преобразования:542543#### `int PyUnicode_FSConverter(PyObject* obj, void* result)`544545Конвертер ParseTuple: кодирует объекты [`str`](https://python-all.ru/3.9/library/stdtypes.html#str) – полученные напрямую или через интерфейс [`os.PathLike`](https://python-all.ru/3.9/library/os.html#os.PathLike) – в [`bytes`](https://python-all.ru/3.9/library/stdtypes.html#bytes) с помощью [`PyUnicode_EncodeFSDefault()`](https://python-all.ru/3.9/c-api/unicode.html#c.PyUnicode_EncodeFSDefault); объекты [`bytes`](https://python-all.ru/3.9/library/stdtypes.html#bytes) выводятся как есть. *result* должен быть [`PyBytesObject*`](https://python-all.ru/3.9/c-api/bytes.html#c.PyBytesObject), который необходимо освободить, когда он больше не используется.546547Новое в версии 3.1.548549Изменено в версии 3.6: Принимает [объект, подобный пути](https://python-all.ru/3.9/glossary.html#term-path-like-object).550551Для декодирования имен файлов в [`str`](https://python-all.ru/3.9/library/stdtypes.html#str) во время разбора аргументов следует использовать конвертер `"O&"`, передавая [`PyUnicode_FSDecoder()`](https://python-all.ru/3.9/c-api/unicode.html#c.PyUnicode_FSDecoder) в качестве функции преобразования:552553#### `int PyUnicode_FSDecoder(PyObject* obj, void* result)`554555Конвертер ParseTuple: декодирует объекты [`bytes`](https://python-all.ru/3.9/library/stdtypes.html#bytes) – полученные либо напрямую, либо косвенно через интерфейс [`os.PathLike`](https://python-all.ru/3.9/library/os.html#os.PathLike) – в [`str`](https://python-all.ru/3.9/library/stdtypes.html#str) с помощью [`PyUnicode_DecodeFSDefaultAndSize()`](https://python-all.ru/3.9/c-api/unicode.html#c.PyUnicode_DecodeFSDefaultAndSize); объекты [`str`](https://python-all.ru/3.9/library/stdtypes.html#str) выводятся как есть. *result* должен быть [`PyUnicodeObject*`](https://python-all.ru/3.9/c-api/unicode.html#c.PyUnicodeObject), который необходимо освободить, когда он больше не используется.556557Новое в версии 3.2.558559Изменено в версии 3.6: Принимает [объект, подобный пути](https://python-all.ru/3.9/glossary.html#term-path-like-object).560561#### `PyObject* PyUnicode_DecodeFSDefaultAndSize(const char *s, Py_ssize_t size)`562563*Возвращаемое значение: новая ссылка.*564565Декодирует строку с использованием `Py_FileSystemDefaultEncoding` и обработчика ошибок `Py_FileSystemDefaultEncodeErrors`.566567Если `Py_FileSystemDefaultEncoding` не задана, используется кодировка локали.568569`Py_FileSystemDefaultEncoding` инициализируется при запуске из кодировки локали и не может быть изменена позднее. Если требуется декодировать строку из текущей кодировки локали, используйте [`PyUnicode_DecodeLocaleAndSize()`](https://python-all.ru/3.9/c-api/unicode.html#c.PyUnicode_DecodeLocaleAndSize).570571> **См. также**572>573> Функция [`Py_DecodeLocale()`](https://python-all.ru/3.9/c-api/sys.html#c.Py_DecodeLocale).574575Изменено в версии 3.6: Используйте обработчик ошибок `Py_FileSystemDefaultEncodeErrors`.576577#### `PyObject* PyUnicode_DecodeFSDefault(const char *s)`578579*Возвращаемое значение: новая ссылка.*580581Декодирует строку, завершающуюся нулевым символом, с использованием `Py_FileSystemDefaultEncoding` и обработчика ошибок `Py_FileSystemDefaultEncodeErrors`.582583Если `Py_FileSystemDefaultEncoding` не задана, используется кодировка локали.584585Используйте [`PyUnicode_DecodeFSDefaultAndSize()`](https://python-all.ru/3.9/c-api/unicode.html#c.PyUnicode_DecodeFSDefaultAndSize), если известна длина строки.586587Изменено в версии 3.6: Используйте обработчик ошибок `Py_FileSystemDefaultEncodeErrors`.588589#### `PyObject* PyUnicode_EncodeFSDefault(PyObject *unicode)`590591*Возвращаемое значение: новая ссылка.*592593Кодирует объект Unicode в `Py_FileSystemDefaultEncoding` с обработчиком ошибок `Py_FileSystemDefaultEncodeErrors` и возвращает [`bytes`](https://python-all.ru/3.9/library/stdtypes.html#bytes). Обратите внимание, что результирующий объект [`bytes`](https://python-all.ru/3.9/library/stdtypes.html#bytes) может содержать нулевые байты.594595Если `Py_FileSystemDefaultEncoding` не задана, используется кодировка локали.596597`Py_FileSystemDefaultEncoding` инициализируется при запуске из кодировки локали и не может быть изменена позднее. Если требуется закодировать строку в текущую кодировку локали, используйте [`PyUnicode_EncodeLocale()`](https://python-all.ru/3.9/c-api/unicode.html#c.PyUnicode_EncodeLocale).598599> **См. также**600>601> Функция [`Py_EncodeLocale()`](https://python-all.ru/3.9/c-api/sys.html#c.Py_EncodeLocale).602603Новое в версии 3.2.604605Изменено в версии 3.6: Используйте обработчик ошибок `Py_FileSystemDefaultEncodeErrors`.606607### Поддержка wchar\_t608609`wchar_t` поддержка на платформах, которые её поддерживают:610611#### `PyObject* PyUnicode_FromWideChar(const wchar_t *w, Py_ssize_t size)`612613*Возвращаемое значение: новая ссылка.*614615Создаёт объект Unicode из буфера `wchar_t` *w* указанного размера *size*. Передача `-1` в качестве *size* указывает, что функция должна сама вычислить длину, используя wcslen. Возвращает `NULL` в случае неудачи.616617#### `Py_ssize_t PyUnicode_AsWideChar(PyObject *unicode, wchar_t *w, Py_ssize_t size)`618619Копирует содержимое объекта Unicode в буфер `wchar_t` *w*. Копируется не более *size* символов `wchar_t` (исключая возможный завершающий нулевой символ). Возвращает количество скопированных символов `wchar_t` или `-1` в случае ошибки. Обратите внимание, что результирующая строка `wchar_t*` может быть как завершена нулевым символом, так и нет. Вызывающий обязан убедиться, что строка `wchar_t*` завершена нулевым символом, если это требуется приложением. Кроме того, строка `wchar_t*` может содержать нулевые символы, что приведёт к усечению строки при использовании с большинством функций C.620621#### `wchar_t* PyUnicode_AsWideCharString(PyObject *unicode, Py_ssize_t *size)`622623Преобразует объект Unicode в широкую символьную строку. Выходная строка всегда завершается нулевым символом. Если *size* не равно `NULL`, количество широких символов (исключая завершающий нулевой символ) записывается в *\*size*. Обратите внимание, что результирующая строка `wchar_t` может содержать нулевые символы, что приведёт к усечению строки при использовании с большинством функций C. Если *size* равно `NULL` и строка `wchar_t*` содержит нулевые символы, возбуждается [`ValueError`](https://python-all.ru/3.9/library/exceptions.html#ValueError).624625В случае успеха возвращает буфер, выделенный функцией `PyMem_Alloc()` (для освобождения используйте [`PyMem_Free()`](https://python-all.ru/3.9/c-api/memory.html#c.PyMem_Free)). При ошибке возвращает `NULL`, а *\*size* не определён. Возбуждает [`MemoryError`](https://python-all.ru/3.9/library/exceptions.html#MemoryError), если выделение памяти не удалось.626627Новое в версии 3.2.628629Изменено в версии 3.7: Возбуждает [`ValueError`](https://python-all.ru/3.9/library/exceptions.html#ValueError), если *size* равно `NULL` и строка `wchar_t*` содержит нулевые символы.630631## Встроенные кодеки632633Python предоставляет набор встроенных кодеков, написанных на C для скорости. Все эти кодеки могут использоваться напрямую через следующие функции.634635Многие из следующих API принимают два аргумента: encoding и errors, и их семантика совпадает с семантикой соответствующих аргументов встроенного конструктора строк [`str()`](https://python-all.ru/3.9/library/stdtypes.html#str).636637Установка кодировки в `NULL` приводит к использованию кодировки по умолчанию, которая является UTF-8. Системные вызовы файловой системы должны использовать [`PyUnicode_FSConverter()`](https://python-all.ru/3.9/c-api/unicode.html#c.PyUnicode_FSConverter) для кодирования имён файлов. Для этого внутри используется переменная `Py_FileSystemDefaultEncoding`. Эту переменную следует считать доступной только для чтения: в некоторых системах это будет указатель на статическую строку, в других – она будет изменяться во время выполнения (например, когда приложение вызывает setlocale).638639Обработка ошибок задаётся параметром errors, который также может быть установлен в `NULL`, что означает использование обработки по умолчанию, определённой для кодека. По умолчанию для всех встроенных кодеков используется строгий режим (возбуждается [`ValueError`](https://python-all.ru/3.9/library/exceptions.html#ValueError)).640641Все кодеки используют схожий интерфейс. Для простоты документированы только отличия от приведённого ниже общего описания.642643### Общие кодеки644645Это общие API кодеков:646647#### `PyObject* PyUnicode_Decode(const char *s, Py_ssize_t size, const char *encoding, const char *errors)`648649*Возвращаемое значение: новая ссылка.*650651Создаёт объект Unicode путём декодирования *size* байтов закодированной строки *s*. *encoding* и *errors* имеют тот же смысл, что и одноимённые параметры во встроенной функции [`str()`](https://python-all.ru/3.9/library/stdtypes.html#str). Используемый кодек находится с помощью реестра кодеков Python. Возвращает `NULL`, если кодек возбудил исключение.652653#### `PyObject* PyUnicode_AsEncodedString(PyObject *unicode, const char *encoding, const char *errors)`654655*Возвращаемое значение: новая ссылка.*656657Кодирует объект Unicode и возвращает результат в виде объекта bytes. Параметры *encoding* и *errors* имеют тот же смысл, что и одноимённые параметры метода [`encode()`](https://python-all.ru/3.9/library/stdtypes.html#str.encode) объекта Unicode. Используемый кодек ищется с помощью реестра кодеков Python. Возвращает `NULL`, если кодек возбудил исключение.658659#### `PyObject* PyUnicode_Encode(const Py_UNICODE *s, Py_ssize_t size, const char *encoding, const char *errors)`660661*Возвращаемое значение: новая ссылка.*662663Кодирует буфер [`Py_UNICODE`](https://python-all.ru/3.9/c-api/unicode.html#c.Py_UNICODE) *s* заданного *размера* и возвращает объект Python bytes. Параметры *encoding* и *errors* имеют тот же смысл, что и одноимённые параметры метода Unicode [`encode()`](https://python-all.ru/3.9/library/stdtypes.html#str.encode). Используемый кодек ищется по реестру кодеков Python. Возвращает `NULL`, если кодек выбросил исключение.664665Устарело с версии 3.3, будет удалено в версии 3.11: Часть старого API [`Py_UNICODE`](https://python-all.ru/3.9/c-api/unicode.html#c.Py_UNICODE); переходите на использование [`PyUnicode_AsEncodedString()`](https://python-all.ru/3.9/c-api/unicode.html#c.PyUnicode_AsEncodedString).666667### Кодеки UTF-8668669Это API кодеков UTF-8:670671#### `PyObject* PyUnicode_DecodeUTF8(const char *s, Py_ssize_t size, const char *errors)`672673*Возвращаемое значение: новая ссылка.*674675Создаёт объект Unicode, декодируя *size* байт строки *s* в кодировке UTF-8. Возвращает `NULL`, если кодек выбросил исключение.676677#### `PyObject* PyUnicode_DecodeUTF8Stateful(const char *s, Py_ssize_t size, const char *errors, Py_ssize_t *consumed)`678679*Возвращаемое значение: новая ссылка.*680681Если *consumed* равно `NULL`, ведёт себя как [`PyUnicode_DecodeUTF8()`](https://python-all.ru/3.9/c-api/unicode.html#c.PyUnicode_DecodeUTF8). Если *consumed* не равно `NULL`, неполные конечные последовательности байтов UTF-8 не будут считаться ошибкой. Эти байты не будут декодированы, а количество декодированных байтов будет сохранено в *consumed*.682683#### `PyObject* PyUnicode_AsUTF8String(PyObject *unicode)`684685*Возвращаемое значение: новая ссылка.*686687Кодирует объект Unicode в UTF-8 и возвращает результат в виде объекта bytes Python. Обработка ошибок – «strict». Возвращает `NULL`, если кодек вызвал исключение.688689#### `const char* PyUnicode_AsUTF8AndSize(PyObject *unicode, Py_ssize_t *size)`690691Возвращает указатель на UTF-8-кодировку объекта Unicode и сохраняет размер закодированного представления (в байтах) в *size*. Аргумент *size* может быть `NULL`; в этом случае размер не сохраняется. Возвращаемый буфер всегда содержит дополнительный нулевой байт в конце (не включён в *size*), независимо от наличия других нулевых кодовых точек.692693В случае ошибки возвращается `NULL` с установленным исключением, а *size* не сохраняется.694695Это кеширует UTF-8-представление строки в объекте Unicode, и последующие вызовы будут возвращать указатель на тот же буфер. Вызывающий не отвечает за освобождение буфера. Буфер освобождается, а указатели на него становятся недействительными, когда объект Unicode удаляется сборщиком мусора.696697Новое в версии 3.3.698699Изменено в версии 3.7: Тип возвращаемого значения теперь `const char *` вместо `char *`.700701#### `const char* PyUnicode_AsUTF8(PyObject *unicode)`702703Как [`PyUnicode_AsUTF8AndSize()`](https://python-all.ru/3.9/c-api/unicode.html#c.PyUnicode_AsUTF8AndSize), но не сохраняет размер.704705Новое в версии 3.3.706707Изменено в версии 3.7: Тип возвращаемого значения теперь `const char *` вместо `char *`.708709#### `PyObject* PyUnicode_EncodeUTF8(const Py_UNICODE *s, Py_ssize_t size, const char *errors)`710711*Возвращаемое значение: новая ссылка.*712713Кодирует буфер [`Py_UNICODE`](https://python-all.ru/3.9/c-api/unicode.html#c.Py_UNICODE) *s* заданного *размера* с использованием UTF-8 и возвращает объект Python bytes. Возвращает `NULL`, если кодек выбросил исключение.714715Устарело с версии 3.3, будет удалено в версии 3.11: Часть старого API [`Py_UNICODE`](https://python-all.ru/3.9/c-api/unicode.html#c.Py_UNICODE); переходите на использование [`PyUnicode_AsUTF8String()`](https://python-all.ru/3.9/c-api/unicode.html#c.PyUnicode_AsUTF8String), [`PyUnicode_AsUTF8AndSize()`](https://python-all.ru/3.9/c-api/unicode.html#c.PyUnicode_AsUTF8AndSize) или [`PyUnicode_AsEncodedString()`](https://python-all.ru/3.9/c-api/unicode.html#c.PyUnicode_AsEncodedString).716717### Кодеки UTF-32718719Это API кодеков UTF-32:720721#### `PyObject* PyUnicode_DecodeUTF32(const char *s, Py_ssize_t size, const char *errors, int *byteorder)`722723*Возвращаемое значение: новая ссылка.*724725Декодирует *size* байтов из буферной строки, закодированной в UTF-32, и возвращает соответствующий объект Unicode. *errors* (если не `NULL`) определяет обработку ошибок. По умолчанию – «strict».726727Если *byteorder* не равно `NULL`, декодер начинает декодирование с указанным порядком байтов:728729```c730*byteorder == -1: little endian731*byteorder == 0:  native order732*byteorder == 1:  big endian733```734735Если `*byteorder` равен нулю и первые четыре байта входных данных являются маркером порядка байтов (BOM), декодер переключается на этот порядок байтов, и BOM не копируется в результирующую строку Unicode. Если `*byteorder` равно `-1` или `1`, любой маркер порядка байтов копируется в выходные данные.736737После завершения *\*byteorder* устанавливается в текущий порядок байтов в конце входных данных.738739Если *byteorder* равен `NULL`, кодек запускается в режиме собственного порядка байтов.740741Возвращает `NULL`, если кодек вызвал исключение.742743#### `PyObject* PyUnicode_DecodeUTF32Stateful(const char *s, Py_ssize_t size, const char *errors, int *byteorder, Py_ssize_t *consumed)`744745*Возвращаемое значение: новая ссылка.*746747Если *consumed* равно `NULL`, ведёт себя как [`PyUnicode_DecodeUTF32()`](https://python-all.ru/3.9/c-api/unicode.html#c.PyUnicode_DecodeUTF32). Если *consumed* не равно `NULL`, [`PyUnicode_DecodeUTF32Stateful()`](https://python-all.ru/3.9/c-api/unicode.html#c.PyUnicode_DecodeUTF32Stateful) не будет считать неполные конечные последовательности байтов UTF-32 (например, количество байтов, не делящееся на четыре) ошибкой. Эти байты не будут декодированы, а количество декодированных байтов будет сохранено в *consumed*.748749#### `PyObject* PyUnicode_AsUTF32String(PyObject *unicode)`750751*Возвращаемое значение: новая ссылка.*752753Возвращает байтовую строку Python в кодировке UTF-32 в собственном порядке байтов. Строка всегда начинается с метки BOM. Обработка ошибок – «strict». Возвращает `NULL`, если кодек вызвал исключение.754755#### `PyObject* PyUnicode_EncodeUTF32(const Py_UNICODE *s, Py_ssize_t size, const char *errors, int byteorder)`756757*Возвращаемое значение: новая ссылка.*758759Возвращает объект Python bytes, содержащий значение Unicode-данных из *s*, закодированное в UTF-32. Вывод записывается в соответствии со следующим порядком байтов:760761```c762byteorder == -1: little endian763byteorder == 0:  native byte order (writes a BOM mark)764byteorder == 1:  big endian765```766767Если `0`, выходная строка всегда начинается с метки BOM Unicode (U+FEFF). В двух других режимах метка BOM не добавляется.768769Если `Py_UNICODE_WIDE` не определён, суррогатные пары будут выводиться как одна кодовая точка.770771Возвращает `NULL`, если кодек вызвал исключение.772773Устарело с версии 3.3, будет удалено в версии 3.11: Часть старого API [`Py_UNICODE`](https://python-all.ru/3.9/c-api/unicode.html#c.Py_UNICODE); переходите на использование [`PyUnicode_AsUTF32String()`](https://python-all.ru/3.9/c-api/unicode.html#c.PyUnicode_AsUTF32String) или [`PyUnicode_AsEncodedString()`](https://python-all.ru/3.9/c-api/unicode.html#c.PyUnicode_AsEncodedString).774775### Кодеки UTF-32776777Это API кодеков UTF-32:778779#### `PyObject* PyUnicode_DecodeUTF16(const char *s, Py_ssize_t size, const char *errors, int *byteorder)`780781*Возвращаемое значение: новая ссылка.*782783Декодирует *size* байтов из строки буфера, закодированной в UTF-16, и возвращает соответствующий объект Unicode. *errors* (если не `NULL`) определяет обработку ошибок. По умолчанию используется «strict».784785Если *byteorder* не равно `NULL`, декодер начинает декодирование с указанным порядком байтов:786787```c788*byteorder == -1: little endian789*byteorder == 0:  native order790*byteorder == 1:  big endian791```792793Если `*byteorder` равен нулю и первые два байта входных данных являются меткой порядка байтов (BOM), декодер переключается на этот порядок байтов, а BOM не копируется в результирующую строку Unicode. Если `*byteorder` равен `-1` или `1`, любая метка порядка байтов копируется в выходные данные (что приведёт к символу `\ufeff` или `\ufffe`).794795После завершения `*byteorder` устанавливается в текущий порядок байтов в конце входных данных.796797Если *byteorder* равен `NULL`, кодек запускается в режиме собственного порядка байтов.798799Возвращает `NULL`, если кодек вызвал исключение.800801#### `PyObject* PyUnicode_DecodeUTF16Stateful(const char *s, Py_ssize_t size, const char *errors, int *byteorder, Py_ssize_t *consumed)`802803*Возвращаемое значение: новая ссылка.*804805Если *consumed* равен `NULL`, ведёт себя как [`PyUnicode_DecodeUTF16()`](https://python-all.ru/3.9/c-api/unicode.html#c.PyUnicode_DecodeUTF16). Если *consumed* не равен `NULL`, [`PyUnicode_DecodeUTF16Stateful()`](https://python-all.ru/3.9/c-api/unicode.html#c.PyUnicode_DecodeUTF16Stateful) не будет рассматривать хвостовые неполные последовательности байтов UTF-16 (например, нечётное количество байтов или разбитую суррогатную пару) как ошибку. Эти байты не будут декодированы, а количество декодированных байтов будет сохранено в *consumed*.806807#### `PyObject* PyUnicode_AsUTF16String(PyObject *unicode)`808809*Возвращаемое значение: новая ссылка.*810811Возвращает байтовую строку Python в кодировке UTF-16 в собственном порядке байтов. Строка всегда начинается с метки BOM. Обработка ошибок – «strict». Возвращает `NULL`, если кодек вызвал исключение.812813#### `PyObject* PyUnicode_EncodeUTF16(const Py_UNICODE *s, Py_ssize_t size, const char *errors, int byteorder)`814815*Возвращаемое значение: новая ссылка.*816817Возвращает объект Python bytes, содержащий значение Unicode-данных из *s*, закодированное в UTF-16. Вывод записывается в соответствии со следующим порядком байтов:818819```c820byteorder == -1: little endian821byteorder == 0:  native byte order (writes a BOM mark)822byteorder == 1:  big endian823```824825Если `0`, выходная строка всегда начинается с метки BOM Unicode (U+FEFF). В двух других режимах метка BOM не добавляется.826827Если `Py_UNICODE_WIDE` определён, одно значение [`Py_UNICODE`](https://python-all.ru/3.9/c-api/unicode.html#c.Py_UNICODE) может быть представлено как суррогатная пара. Если не определён, каждое значение [`Py_UNICODE`](https://python-all.ru/3.9/c-api/unicode.html#c.Py_UNICODE) интерпретируется как символ UCS-2.828829Возвращает `NULL`, если кодек вызвал исключение.830831Устарело с версии 3.3, будет удалено в версии 3.11: Часть старого API [`Py_UNICODE`](https://python-all.ru/3.9/c-api/unicode.html#c.Py_UNICODE); переходите на использование [`PyUnicode_AsUTF16String()`](https://python-all.ru/3.9/c-api/unicode.html#c.PyUnicode_AsUTF16String) или [`PyUnicode_AsEncodedString()`](https://python-all.ru/3.9/c-api/unicode.html#c.PyUnicode_AsEncodedString).832833### Кодеки UTF-7834835Это API кодеков UTF-7:836837#### `PyObject* PyUnicode_DecodeUTF7(const char *s, Py_ssize_t size, const char *errors)`838839*Возвращаемое значение: новая ссылка.*840841Создаёт объект Unicode, декодируя *size* байт строки *s* в кодировке UTF-7. Возвращает `NULL`, если кодек выбросил исключение.842843#### `PyObject* PyUnicode_DecodeUTF7Stateful(const char *s, Py_ssize_t size, const char *errors, Py_ssize_t *consumed)`844845*Возвращаемое значение: новая ссылка.*846847Если *consumed* равен `NULL`, ведёт себя как [`PyUnicode_DecodeUTF7()`](https://python-all.ru/3.9/c-api/unicode.html#c.PyUnicode_DecodeUTF7). Если *consumed* не равен `NULL`, хвостовые неполные секции base-64 UTF-7 не будут рассматриваться как ошибка. Эти байты не будут декодированы, а количество декодированных байтов будет сохранено в *consumed*.848849#### `PyObject* PyUnicode_EncodeUTF7(const Py_UNICODE *s, Py_ssize_t size, int base64SetO, int base64WhiteSpace, const char *errors)`850851*Возвращаемое значение: новая ссылка.*852853Кодирует буфер [`Py_UNICODE`](https://python-all.ru/3.9/c-api/unicode.html#c.Py_UNICODE) указанного размера с помощью UTF-7 и возвращает объект Python bytes. Возвращает `NULL`, если кодек вызвал исключение.854855Если *base64SetO* не равно нулю, «Set O» (знаки препинания, не имеющие иного особого значения) будут закодированы в base-64. Если *base64WhiteSpace* не равно нулю, пробельные символы будут закодированы в base-64. Оба параметра установлены в ноль для кодека Python «utf-7».856857Устарело с версии 3.3, будет удалено в версии 3.11: Часть старого API [`Py_UNICODE`](https://python-all.ru/3.9/c-api/unicode.html#c.Py_UNICODE); переходите на использование [`PyUnicode_AsEncodedString()`](https://python-all.ru/3.9/c-api/unicode.html#c.PyUnicode_AsEncodedString).858859### Кодеки Unicode-Escape860861Это API кодеков «Unicode Escape»:862863#### `PyObject* PyUnicode_DecodeUnicodeEscape(const char *s, Py_ssize_t size, const char *errors)`864865*Возвращаемое значение: новая ссылка.*866867Создаёт объект Unicode, декодируя *size* байтов строки *s*, закодированной в Unicode-Escape. Возвращает `NULL`, если кодек вызвал исключение.868869#### `PyObject* PyUnicode_AsUnicodeEscapeString(PyObject *unicode)`870871*Возвращаемое значение: новая ссылка.*872873Кодирует объект Unicode с помощью Unicode-Escape и возвращает результат в виде объекта bytes. Обработка ошибок – «strict». Возвращает `NULL`, если кодек вызвал исключение.874875#### `PyObject* PyUnicode_EncodeUnicodeEscape(const Py_UNICODE *s, Py_ssize_t size)`876877*Возвращаемое значение: новая ссылка.*878879Кодирует буфер [`Py_UNICODE`](https://python-all.ru/3.9/c-api/unicode.html#c.Py_UNICODE) указанного *size* с помощью Unicode-Escape и возвращает объект bytes. Возвращает `NULL`, если кодек вызвал исключение.880881Устарело с версии 3.3, будет удалено в версии 3.11: Часть старого API [`Py_UNICODE`](https://python-all.ru/3.9/c-api/unicode.html#c.Py_UNICODE); переходите на использование [`PyUnicode_AsUnicodeEscapeString()`](https://python-all.ru/3.9/c-api/unicode.html#c.PyUnicode_AsUnicodeEscapeString).882883### Кодеки Raw-Unicode-Escape884885Это API кодеков «Raw Unicode Escape»:886887#### `PyObject* PyUnicode_DecodeRawUnicodeEscape(const char *s, Py_ssize_t size, const char *errors)`888889*Возвращаемое значение: новая ссылка.*890891Создаёт объект Unicode, декодируя *size* байтов строки *s*, закодированной в Raw-Unicode-Escape. Возвращает `NULL`, если кодек вызвал исключение.892893#### `PyObject* PyUnicode_AsRawUnicodeEscapeString(PyObject *unicode)`894895*Возвращаемое значение: новая ссылка.*896897Кодирует объект Unicode с помощью Raw-Unicode-Escape и возвращает результат в виде объекта bytes. Обработка ошибок – «strict». Возвращает `NULL`, если кодек вызвал исключение.898899#### `PyObject* PyUnicode_EncodeRawUnicodeEscape(const Py_UNICODE *s, Py_ssize_t size)`900901*Возвращаемое значение: новая ссылка.*902903Кодирует буфер [`Py_UNICODE`](https://python-all.ru/3.9/c-api/unicode.html#c.Py_UNICODE) указанного *size* с помощью Raw-Unicode-Escape и возвращает объект bytes. Возвращает `NULL`, если кодек вызвал исключение.904905Устарело с версии 3.3, будет удалено в версии 3.11: Часть старого API [`Py_UNICODE`](https://python-all.ru/3.9/c-api/unicode.html#c.Py_UNICODE); переходите на использование [`PyUnicode_AsRawUnicodeEscapeString()`](https://python-all.ru/3.9/c-api/unicode.html#c.PyUnicode_AsRawUnicodeEscapeString) или [`PyUnicode_AsEncodedString()`](https://python-all.ru/3.9/c-api/unicode.html#c.PyUnicode_AsEncodedString).906907### Кодеки Latin-1908909Это API кодеков Latin-1: Latin-1 соответствует первым 256 кодовым позициям Unicode, и только они принимаются кодеками при кодировании.910911#### `PyObject* PyUnicode_DecodeLatin1(const char *s, Py_ssize_t size, const char *errors)`912913*Возвращаемое значение: новая ссылка.*914915Создаёт объект Unicode, декодируя *size* байтов строки *s*, закодированной в Latin-1. Возвращает `NULL`, если кодек вызвал исключение.916917#### `PyObject* PyUnicode_AsLatin1String(PyObject *unicode)`918919*Возвращаемое значение: новая ссылка.*920921Кодирует объект Unicode с помощью Latin-1 и возвращает результат в виде объекта bytes Python. Обработка ошибок – «strict». Возвращает `NULL`, если кодек выбросил исключение.922923#### `PyObject* PyUnicode_EncodeLatin1(const Py_UNICODE *s, Py_ssize_t size, const char *errors)`924925*Возвращаемое значение: новая ссылка.*926927Кодирует буфер [`Py_UNICODE`](https://python-all.ru/3.9/c-api/unicode.html#c.Py_UNICODE) указанного *size* с помощью Latin-1 и возвращает объект Python bytes. Возвращает `NULL`, если кодек вызвал исключение.928929Устарело с версии 3.3, будет удалено в версии 3.11: Часть старого API [`Py_UNICODE`](https://python-all.ru/3.9/c-api/unicode.html#c.Py_UNICODE); переходите на использование [`PyUnicode_AsLatin1String()`](https://python-all.ru/3.9/c-api/unicode.html#c.PyUnicode_AsLatin1String) или [`PyUnicode_AsEncodedString()`](https://python-all.ru/3.9/c-api/unicode.html#c.PyUnicode_AsEncodedString).930931### Кодеки ASCII932933Это API кодеков ASCII. Принимаются только 7-битные данные ASCII. Все остальные коды вызывают ошибки.934935#### `PyObject* PyUnicode_DecodeASCII(const char *s, Py_ssize_t size, const char *errors)`936937*Возвращаемое значение: новая ссылка.*938939Создаёт объект Unicode, декодируя *size* байтов строки *s*, закодированной в ASCII. Возвращает `NULL`, если кодек вызвал исключение.940941#### `PyObject* PyUnicode_AsASCIIString(PyObject *unicode)`942943*Возвращаемое значение: новая ссылка.*944945Кодирует объект Unicode с помощью ASCII и возвращает результат в виде объекта bytes Python. Обработка ошибок – «strict». Возвращает `NULL`, если кодек выбросил исключение.946947#### `PyObject* PyUnicode_EncodeASCII(const Py_UNICODE *s, Py_ssize_t size, const char *errors)`948949*Возвращаемое значение: новая ссылка.*950951Кодирует буфер [`Py_UNICODE`](https://python-all.ru/3.9/c-api/unicode.html#c.Py_UNICODE) указанного *size* с помощью ASCII и возвращает объект Python bytes. Возвращает `NULL`, если кодек вызвал исключение.952953Устарело с версии 3.3, будет удалено в версии 3.11: Часть старого API [`Py_UNICODE`](https://python-all.ru/3.9/c-api/unicode.html#c.Py_UNICODE); переходите на использование [`PyUnicode_AsASCIIString()`](https://python-all.ru/3.9/c-api/unicode.html#c.PyUnicode_AsASCIIString) или [`PyUnicode_AsEncodedString()`](https://python-all.ru/3.9/c-api/unicode.html#c.PyUnicode_AsEncodedString).954955### Кодеки с таблицей символов956957Этот кодек особенный тем, что его можно использовать для реализации множества различных кодеков (именно так и были получены большинство стандартных кодеков, входящих в пакет `encodings`). Кодек использует отображения для кодирования и декодирования символов. Предоставляемые объекты отображения должны поддерживать интерфейс отображения [`__getitem__()`](https://python-all.ru/3.9/reference/datamodel.html#object.__getitem__); словари и последовательности прекрасно работают.958959Это API кодеков отображения:960961#### `PyObject* PyUnicode_DecodeCharmap(const char *data, Py_ssize_t size, PyObject *mapping, const char *errors)`962963*Возвращаемое значение: новая ссылка.*964965Создаёт объект Unicode, декодируя *size* байтов закодированной строки *s* с помощью указанного объекта *mapping*. Возвращает `NULL`, если кодек вызвал исключение.966967Если *mapping* равен `NULL`, будет применяться декодирование Latin-1. В противном случае *mapping* должен отображать порядковые номера байтов (целые числа в диапазоне от 0 до 255) в строки Unicode, целые числа (которые затем интерпретируются как кодовые позиции Unicode) или `None`. Неотображённые байты данных – те, которые вызывают [`LookupError`](https://python-all.ru/3.9/library/exceptions.html#LookupError), а также те, которые отображаются в `None`, `0xFFFE` или `'\ufffe'`, считаются неопределёнными отображениями и вызывают ошибку.968969#### `PyObject* PyUnicode_AsCharmapString(PyObject *unicode, PyObject *mapping)`970971*Возвращаемое значение: новая ссылка.*972973Кодирует объект Unicode с использованием заданного объекта *mapping* и возвращает результат в виде объекта bytes. Обработка ошибок – «strict». Возвращает `NULL`, если кодек выбросил исключение.974975Объект *mapping* должен отображать целые числа – кодовые позиции Unicode – в объекты bytes, целые числа в диапазоне от 0 до 255 или `None`. Неотображённые кодовые позиции символов (те, которые вызывают [`LookupError`](https://python-all.ru/3.9/library/exceptions.html#LookupError)), а также отображённые в `None` считаются «неопределённым отображением» и вызывают ошибку.976977#### `PyObject* PyUnicode_EncodeCharmap(const Py_UNICODE *s, Py_ssize_t size, PyObject *mapping, const char *errors)`978979*Возвращаемое значение: новая ссылка.*980981Кодирует буфер [`Py_UNICODE`](https://python-all.ru/3.9/c-api/unicode.html#c.Py_UNICODE) заданного *размера* с помощью заданного объекта *mapping* и возвращает результат в виде объекта bytes. Возвращает `NULL`, если кодек вызвал исключение.982983Устарело с версии 3.3, будет удалено в версии 3.11: Часть старого API [`Py_UNICODE`](https://python-all.ru/3.9/c-api/unicode.html#c.Py_UNICODE); переходите на использование [`PyUnicode_AsCharmapString()`](https://python-all.ru/3.9/c-api/unicode.html#c.PyUnicode_AsCharmapString) или [`PyUnicode_AsEncodedString()`](https://python-all.ru/3.9/c-api/unicode.html#c.PyUnicode_AsEncodedString).984985Следующее API кодека особенное тем, что отображает Unicode в Unicode.986987#### `PyObject* PyUnicode_Translate(PyObject *str, PyObject *table, const char *errors)`988989*Возвращаемое значение: новая ссылка.*990991Преобразует строку, применяя к ней таблицу отображения символов, и возвращает результирующий объект Unicode. Возвращает `NULL`, если кодек выбросил исключение.992993Таблица отображения должна отображать целые числа – кодовые позиции Unicode – в целые числа – кодовые позиции Unicode – или в `None` (вызывает удаление символа).994995Таблицы отображения должны лишь предоставлять интерфейс [`__getitem__()`](https://python-all.ru/3.9/reference/datamodel.html#object.__getitem__); словари и последовательности работают хорошо. Неотображённые кодовые позиции символов (те, которые вызывают [`LookupError`](https://python-all.ru/3.9/library/exceptions.html#LookupError)) остаются нетронутыми и копируются как есть.996997*errors* имеет обычное для кодеков значение. Он может быть `NULL`, что означает использование обработки ошибок по умолчанию.998999#### `PyObject* PyUnicode_TranslateCharmap(const Py_UNICODE *s, Py_ssize_t size, PyObject *mapping, const char *errors)`10001001*Возвращаемое значение: новая ссылка.*10021003Преобразует буфер [`Py_UNICODE`](https://python-all.ru/3.9/c-api/unicode.html#c.Py_UNICODE) заданного *размера*, применяя таблицу *mapping* символов, и возвращает результирующий объект Unicode. Возвращает `NULL`, когда кодек вызвал исключение.10041005Устарело с версии 3.3, будет удалено в версии 3.11: Часть старого API [`Py_UNICODE`](https://python-all.ru/3.9/c-api/unicode.html#c.Py_UNICODE); переходите на использование [`PyUnicode_Translate()`](https://python-all.ru/3.9/c-api/unicode.html#c.PyUnicode_Translate). или [универсального API на основе кодеков](https://python-all.ru/3.9/c-api/codec.html#codec-registry)10061007### Кодеки MBCS для Windows10081009Это API кодеков MBCS. В настоящее время они доступны только в Windows и используют преобразователи Win32 MBCS для выполнения преобразований. Обратите внимание, что MBCS (или DBCS) – это класс кодировок, а не одна конкретная. Целевая кодировка определяется пользовательскими настройками на машине, где выполняется кодек.10101011#### `PyObject* PyUnicode_DecodeMBCS(const char *s, Py_ssize_t size, const char *errors)`10121013*Возвращаемое значение: новая ссылка.*10141015Создаёт объект Unicode, декодируя *size* байт строки *s*, закодированной в MBCS. Возвращает `NULL`, если кодек вызвал исключение.10161017#### `PyObject* PyUnicode_DecodeMBCSStateful(const char *s, Py_ssize_t size, const char *errors, Py_ssize_t *consumed)`10181019*Возвращаемое значение: новая ссылка.*10201021Если *consumed* равно `NULL`, поведение аналогично [`PyUnicode_DecodeMBCS()`](https://python-all.ru/3.9/c-api/unicode.html#c.PyUnicode_DecodeMBCS). Если *consumed* не равно `NULL`, [`PyUnicode_DecodeMBCSStateful()`](https://python-all.ru/3.9/c-api/unicode.html#c.PyUnicode_DecodeMBCSStateful) не будет декодировать конечный ведущий байт, а количество декодированных байт будет сохранено в *consumed*.10221023#### `PyObject* PyUnicode_AsMBCSString(PyObject *unicode)`10241025*Возвращаемое значение: новая ссылка.*10261027Кодирует объект Unicode с помощью MBCS и возвращает результат в виде объекта bytes. Обработка ошибок – «strict». Возвращает `NULL`, если кодек вызвал исключение.10281029#### `PyObject* PyUnicode_EncodeCodePage(int code_page, PyObject *unicode, const char *errors)`10301031*Возвращаемое значение: новая ссылка.*10321033Кодирует объект Unicode с помощью указанной кодовой страницы и возвращает объект bytes. Возвращает `NULL`, если кодек вызвал исключение. Используйте кодовую страницу `CP_ACP` для получения кодировщика MBCS.10341035Новое в версии 3.3.10361037#### `PyObject* PyUnicode_EncodeMBCS(const Py_UNICODE *s, Py_ssize_t size, const char *errors)`10381039*Возвращаемое значение: новая ссылка.*10401041Кодирует буфер [`Py_UNICODE`](https://python-all.ru/3.9/c-api/unicode.html#c.Py_UNICODE) заданного *размера* с использованием MBCS и возвращает объект Python bytes. Возвращает `NULL`, если кодек вызвал исключение.10421043Устарело с версии 3.3, будет удалено в версии 4.0: Часть старого API [`Py_UNICODE`](https://python-all.ru/3.9/c-api/unicode.html#c.Py_UNICODE); переходите на использование [`PyUnicode_AsMBCSString()`](https://python-all.ru/3.9/c-api/unicode.html#c.PyUnicode_AsMBCSString), [`PyUnicode_EncodeCodePage()`](https://python-all.ru/3.9/c-api/unicode.html#c.PyUnicode_EncodeCodePage) или [`PyUnicode_AsEncodedString()`](https://python-all.ru/3.9/c-api/unicode.html#c.PyUnicode_AsEncodedString).10441045### Методы и слоты10461047## Методы и слот-функции10481049Следующие API могут обрабатывать объекты Unicode и строки на входе (в описаниях мы называем их строками) и возвращают объекты Unicode или целые числа по необходимости.10501051Все они возвращают `NULL` или `-1` в случае возникновения исключения.10521053#### `PyObject* PyUnicode_Concat(PyObject *left, PyObject *right)`10541055*Возвращаемое значение: новая ссылка.*10561057Объединяет две строки, возвращая новую строку Unicode.10581059#### `PyObject* PyUnicode_Split(PyObject *s, PyObject *sep, Py_ssize_t maxsplit)`10601061*Возвращаемое значение: новая ссылка.*10621063Разделяет строку, возвращая список строк Unicode. Если *sep* равно `NULL`, разделение происходит по всем пробельным подстрокам. В противном случае разделение происходит по указанному разделителю. Будет выполнено не более *maxsplit* разбиений. Если значение отрицательное, ограничение не задано. Разделители не включаются в результирующий список.10641065#### `PyObject* PyUnicode_Splitlines(PyObject *s, int keepend)`10661067*Возвращаемое значение: новая ссылка.*10681069Разделяет строку Unicode по символам перевода строки и возвращает список строк Unicode. Последовательность CRLF считается одним переносом строки. Если *keepend* равен `0`, символы переноса строки не включаются в результирующие строки.10701071#### `PyObject* PyUnicode_Join(PyObject *separator, PyObject *seq)`10721073*Возвращаемое значение: новая ссылка.*10741075Объединяет последовательность строк, используя заданный *разделитель*, и возвращает полученную Unicode-строку.10761077#### `Py_ssize_t PyUnicode_Tailmatch(PyObject *str, PyObject *substr, Py_ssize_t start, Py_ssize_t end, int direction)`10781079Возвращает `1`, если *substr* совпадает с `str[start:end]` на заданном хвосте (*direction* == `-1` означает проверку на совпадение с началом, *direction* == `1` – с концом), иначе `0`. Возвращает `-1`, если произошла ошибка.10801081#### `Py_ssize_t PyUnicode_Find(PyObject *str, PyObject *substr, Py_ssize_t start, Py_ssize_t end, int direction)`10821083Возвращает первую позицию *substr* в `str[start:end]`, используя заданное *direction* (*direction* == `1` означает прямой поиск, *direction* == `-1` – обратный). Возвращаемое значение – индекс первого совпадения; значение `-1` означает, что совпадений не найдено, а `-2` – что произошла ошибка и было установлено исключение.10841085#### `Py_ssize_t PyUnicode_FindChar(PyObject *str, Py_UCS4 ch, Py_ssize_t start, Py_ssize_t end, int direction)`10861087Возвращает первую позицию символа *ch* в `str[start:end]`, используя заданное *direction* (*direction* == `1` означает прямой поиск, *direction* == `-1` – обратный). Возвращаемое значение – индекс первого совпадения; значение `-1` означает, что совпадений не найдено, а `-2` – что произошла ошибка и было установлено исключение.10881089Новое в версии 3.3.10901091Изменено в версии 3.7: *start* и *end* теперь скорректированы, чтобы вести себя как `str[start:end]`.10921093#### `Py_ssize_t PyUnicode_Count(PyObject *str, PyObject *substr, Py_ssize_t start, Py_ssize_t end)`10941095Возвращает количество неперекрывающихся вхождений *substr* в `str[start:end]`. Возвращает `-1`, если произошла ошибка.10961097#### `PyObject* PyUnicode_Replace(PyObject *str, PyObject *substr, PyObject *replstr, Py_ssize_t maxcount)`10981099*Возвращаемое значение: новая ссылка.*11001101Заменяет не более *maxcount* вхождений *substr* в *str* на *replstr* и возвращает результирующий объект Unicode. *maxcount* == `-1` означает замену всех вхождений.11021103#### `int PyUnicode_Compare(PyObject *left, PyObject *right)`11041105Сравнивает две строки и возвращает `-1`, `0`, `1` для случаев меньше, равно и больше соответственно.11061107Эта функция возвращает `-1` при ошибке, поэтому для проверки на ошибки следует вызывать [`PyErr_Occurred()`](https://python-all.ru/3.9/c-api/exceptions.html#c.PyErr_Occurred).11081109#### `int PyUnicode_CompareWithASCIIString(PyObject *uni, const char *string)`11101111Сравнивает объект Unicode *uni* со строкой *string* и возвращает `-1`, `0`, `1` для случаев меньше, равно и больше соответственно. Рекомендуется передавать только строки в кодировке ASCII, но функция интерпретирует входную строку как ISO-8859-1, если она содержит не-ASCII символы.11121113Эта функция не вызывает исключений.11141115#### `PyObject* PyUnicode_RichCompare(PyObject *left, PyObject *right, int op)`11161117*Возвращаемое значение: новая ссылка.*11181119Сравнивает две строки Unicode и возвращает одно из следующих значений:11201121- `NULL` в случае, если возникло исключение1122- `Py_True` или `Py_False` для успешных сравнений1123- `Py_NotImplemented` в случае, если комбинация типов неизвестна11241125Возможные значения для *op*: `Py_GT`, `Py_GE`, `Py_EQ`, `Py_NE`, `Py_LT` и `Py_LE`.11261127#### `PyObject* PyUnicode_Format(PyObject *format, PyObject *args)`11281129*Возвращаемое значение: новая ссылка.*11301131Возвращает новый строковый объект из *format* и *args*; это аналог `format % args`.11321133#### `int PyUnicode_Contains(PyObject *container, PyObject *element)`11341135Проверяет, содержится ли *element* в *container*, и возвращает true или false соответственно.11361137*Элемент* должен приводиться к одноэлементной строке Unicode. `-1` возвращается при возникновении ошибки.11381139#### `void PyUnicode_InternInPlace(PyObject **string)`11401141Интернирует аргумент *\*string* на месте. Аргумент должен быть адресом переменной-указателя, указывающей на объект строки Python Unicode. Если уже существует интернированная строка, совпадающая с *\*string*, то она устанавливает *\*string* на неё (уменьшая счетчик ссылок старого строкового объекта и увеличивая счетчик ссылок интернированного строкового объекта); в противном случае она оставляет *\*string* без изменений и интернирует её (увеличивая её счетчик ссылок). (Пояснение: хотя много говорится о счетчиках ссылок, считайте эту функцию нейтральной по отношению к счетчикам ссылок; вы владеете объектом после вызова только в том случае, если вы владели им до вызова.)11421143#### `PyObject* PyUnicode_InternFromString(const char *v)`11441145*Возвращаемое значение: новая ссылка.*11461147Комбинация [`PyUnicode_FromString()`](https://python-all.ru/3.9/c-api/unicode.html#c.PyUnicode_FromString) и [`PyUnicode_InternInPlace()`](https://python-all.ru/3.9/c-api/unicode.html#c.PyUnicode_InternInPlace), возвращающая либо новый интернированный объект строки Unicode, либо новую («собственную») ссылку на ранее интернированный объект строки с тем же значением.1148