Объекты Unicode и кодеки¶Unicode Objects and Codecs

Тип Unicode¶Unicode Type

Это основные типы объектов Unicode, используемые в реализации Unicode в Python:

Py_UCS4¶

Py_UCS2¶

Py_UCS1¶

Эти типы являются псевдонимами беззнаковых целочисленных типов, достаточно широкими, чтобы содержать символы размером 32, 16 и 8 бит соответственно. При работе с отдельными символами Unicode используйте Py_UCS4.

Новое в версии 3.3.

Py_UNICODE¶

Это typedef для wchar_t, который является 16-битным или 32-битным типом в зависимости от платформы.

Изменено в версии 3.3: В предыдущих версиях это был 16-битный или 32-битный тип в зависимости от того, была ли выбрана «узкая» или «широкая» версия Unicode Python при сборке.

PyASCIIObject¶

PyCompactUnicodeObject¶

PyUnicodeObject¶

Эти подтипы PyObject представляют объект Unicode в Python. В подавляющем большинстве случаев их не следует использовать напрямую, поскольку все функции API, работающие с объектами Unicode, принимают и возвращают указатели на PyObject.

Новое в версии 3.3.

PyTypeObject PyUnicode_Type¶

Этот экземпляр PyTypeObject представляет тип Unicode в Python. Он доступен в коде Python как str.

Следующие API на самом деле являются макросами C и могут использоваться для быстрых проверок и доступа к внутренним данным Unicode объектов только для чтения:

int PyUnicode_Check(PyObject *o)¶

Возвращает true, если объект o является объектом Unicode или экземпляром подтипа Unicode.

int PyUnicode_CheckExact(PyObject *o)¶

Возвращает true, если объект o является объектом Unicode, но не экземпляром подтипа.

int PyUnicode_READY(PyObject *o)¶

Убедитесь, что строковый объект o находится в «каноническом» представлении. Это необходимо перед использованием любых макросов доступа, описанных ниже.

Возвращает 0 в случае успеха и -1 с установленным исключением в случае неудачи, что, в частности, происходит при сбое выделения памяти.

Новое в версии 3.3.

Py_ssize_t PyUnicode_GET_LENGTH(PyObject *o)¶

Возвращает длину строки Unicode в кодовых точках. o должен быть объектом Unicode в «каноническом» представлении (не проверяется).

Новое в версии 3.3.

Py_UCS1* PyUnicode_1BYTE_DATA(PyObject *o)¶

Py_UCS2* PyUnicode_2BYTE_DATA(PyObject *o)¶

Py_UCS4* PyUnicode_4BYTE_DATA(PyObject *o)¶

Возвращает указатель на каноническое представление, приведённое к целочисленным типам UCS1, UCS2 или UCS4 для прямого доступа к символам. Не проверяется, имеет ли каноническое представление правильный размер символа; используйте PyUnicode_KIND() для выбора правильного макроса. Убедитесь, что PyUnicode_READY() был вызван перед доступом к этому.

Новое в версии 3.3.

PyUnicode_WCHAR_KIND¶

PyUnicode_1BYTE_KIND¶

PyUnicode_2BYTE_KIND¶

PyUnicode_4BYTE_KIND¶

Возвращаемые значения макроса PyUnicode_KIND().

Новое в версии 3.3.

int PyUnicode_KIND(PyObject *o)¶

Возвращает одну из констант PyUnicode kind (см. выше), которые показывают, сколько байт на символ использует этот объект Unicode для хранения данных. o должен быть объектом Unicode в «каноническом» представлении (не проверяется).

Новое в версии 3.3.

void* PyUnicode_DATA(PyObject *o)¶

Возвращает указатель void на необработанный буфер unicode. o должен быть объектом Unicode в «каноническом» представлении (не проверяется).

Новое в версии 3.3.

void PyUnicode_WRITE(int kind, void *data, Py_ssize_t index, Py_UCS4 value)¶

Записывает в каноническое представление data (полученное с помощью PyUnicode_DATA()). Этот макрос не выполняет никаких проверок корректности и предназначен для использования в циклах. Вызывающий код должен кешировать значение kind и указатель data, полученные из других макросов. index – это индекс в строке (начиная с 0), а value – новое значение кодовой точки, которое должно быть записано в эту позицию.

Новое в версии 3.3.

Py_UCS4 PyUnicode_READ(int kind, void *data, Py_ssize_t index)¶

Читает кодовую точку из канонического представления data (полученного с помощью PyUnicode_DATA()). Никаких проверок или вызовов готовности не выполняется.

Новое в версии 3.3.

Py_UCS4 PyUnicode_READ_CHAR(PyObject *o, Py_ssize_t index)¶

Читает символ из объекта Unicode o, который должен находиться в «каноническом» представлении. Это менее эффективно, чем PyUnicode_READ(), если выполняется несколько последовательных чтений.

Новое в версии 3.3.

PyUnicode_MAX_CHAR_VALUE(PyObject *o)¶

Возвращает максимальную кодовую точку, подходящую для создания другой строки на основе o, который должен быть в «каноническом» представлении. Это всегда приблизительное значение, но более эффективно, чем итерация по строке.

Новое в версии 3.3.

int PyUnicode_ClearFreeList()¶

Очищает список свободных элементов. Возвращает общее количество освобождённых элементов.

Py_ssize_t PyUnicode_GET_SIZE(PyObject *o)¶

Возвращает размер устаревшего представления Py_UNICODE в кодовых единицах (суррогатные пары считаются за 2 единицы). o должен быть объектом Unicode (проверка не выполняется).

Устарело с версии 3.3, будет удалено в версии 4.0: Часть старого API Unicode, переходите на использование PyUnicode_GET_LENGTH().

Py_ssize_t PyUnicode_GET_DATA_SIZE(PyObject *o)¶

Возвращает размер устаревшего представления Py_UNICODE в байтах. o должен быть объектом Unicode (проверка не выполняется).

Устарело с версии 3.3, будет удалено в версии 4.0: Часть старого API Unicode, переходите на использование PyUnicode_GET_LENGTH().

Py_UNICODE* PyUnicode_AS_UNICODE(PyObject *o)¶

const char* PyUnicode_AS_DATA(PyObject *o)¶

Возвращает указатель на представление Py_UNICODE объекта. Возвращаемый буфер всегда завершается дополнительным нулевым кодовым символом. Он также может содержать встроенные нулевые кодовые символы, что приведёт к усечению строки при использовании в большинстве функций C. Форма AS_DATA приводит указатель к типу const char *. Аргумент o должен быть объектом Unicode (проверка не выполняется).

Изменено в версии 3.3: Этот макрос теперь неэффективен – поскольку во многих случаях представление Py_UNICODE не существует и его нужно создавать – и может завершиться ошибкой (возвращает NULL с установленным исключением). Перенесите код на использование новых макросов PyUnicode_nBYTE_DATA() или используйте PyUnicode_WRITE() или PyUnicode_READ().

Устарело с версии 3.3, будет удалено в версии 4.0: Часть старого API Unicode, переходите на использование семейства макросов PyUnicode_nBYTE_DATA().

Свойства символов Unicode¶Unicode Character Properties

Unicode предоставляет множество различных свойств символов. Наиболее востребованные из них доступны через следующие макросы, которые сопоставляются с функциями на C в зависимости от конфигурации Python.

int Py_UNICODE_ISSPACE(Py_UNICODE ch)¶

Возвращает 1 или 0 в зависимости от того, является ли ch пробельным символом.

int Py_UNICODE_ISLOWER(Py_UNICODE ch)¶

Возвращает 1 или 0 в зависимости от того, является ли ch символом нижнего регистра.

int Py_UNICODE_ISUPPER(Py_UNICODE ch)¶

Возвращает 1 или 0 в зависимости от того, является ли ch символом верхнего регистра.

int Py_UNICODE_ISTITLE(Py_UNICODE ch)¶

Возвращает 1 или 0 в зависимости от того, является ли ch символом в регистре заголовка.

int Py_UNICODE_ISLINEBREAK(Py_UNICODE ch)¶

Возвращает 1 или 0 в зависимости от того, является ли ch символом разрыва строки.

int Py_UNICODE_ISDECIMAL(Py_UNICODE ch)¶

Возвращает 1 или 0 в зависимости от того, является ли ch десятичной цифрой.

int Py_UNICODE_ISDIGIT(Py_UNICODE ch)¶

Возвращает 1 или 0 в зависимости от того, является ли ch цифровым символом.

int Py_UNICODE_ISNUMERIC(Py_UNICODE ch)¶

Возвращает 1 или 0 в зависимости от того, является ли ch числовым символом.

int Py_UNICODE_ISALPHA(Py_UNICODE ch)¶

Возвращает 1 или 0 в зависимости от того, является ли ch буквенным символом.

int Py_UNICODE_ISALNUM(Py_UNICODE ch)¶

Возвращает 1 или 0 в зависимости от того, является ли ch буквенно-цифровым символом.

int Py_UNICODE_ISPRINTABLE(Py_UNICODE ch)¶

Возвращает 1 или 0 в зависимости от того, является ли ch печатаемым символом. Непечатаемые символы – это символы, определённые в базе данных Unicode как «Other» или «Separator», за исключением пробела ASCII (0x20), который считается печатаемым. (Обратите внимание, что печатаемые символы в этом контексте – это те, которые не должны экранироваться при вызове repr() для строки. Это не влияет на обработку строк, записываемых в sys.stdout или sys.stderr.)

Эти API можно использовать для быстрых прямых преобразований символов:

Py_UNICODE Py_UNICODE_TOLOWER(Py_UNICODE ch)¶

Возвращает символ ch, преобразованный в нижний регистр.

Устарело с версии 3.3: Эта функция использует простые отображения регистра.

Py_UNICODE Py_UNICODE_TOUPPER(Py_UNICODE ch)¶

Возвращает символ ch, преобразованный в верхний регистр.

Устарело с версии 3.3: Эта функция использует простые отображения регистра.

Py_UNICODE Py_UNICODE_TOTITLE(Py_UNICODE ch)¶

Возвращает символ ch, приведённый к регистру заголовка.

Устарело с версии 3.3: Эта функция использует простые отображения регистра.

int Py_UNICODE_TODECIMAL(Py_UNICODE ch)¶

Возвращает символ ch, преобразованный в десятичное положительное целое. Возвращает -1, если это невозможно. Этот макрос не вызывает исключений.

int Py_UNICODE_TODIGIT(Py_UNICODE ch)¶

Возвращает символ ch, преобразованный в целое однозначное число. Возвращает -1, если это невозможно. Этот макрос не вызывает исключений.

double Py_UNICODE_TONUMERIC(Py_UNICODE ch)¶

Возвращает символ ch, преобразованный в double. Возвращает -1.0, если это невозможно. Этот макрос не вызывает исключений.

Эти API можно использовать для работы с суррогатами:

Py_UNICODE_IS_SURROGATE(ch)¶

Проверяет, является ли ch суррогатом (0xD800 <= ch <= 0xDFFF).

Py_UNICODE_IS_HIGH_SURROGATE(ch)¶

Проверяет, является ли ch старшим суррогатом (0xD800 <= ch <= 0xDBFF).

Py_UNICODE_IS_LOW_SURROGATE(ch)¶

Проверяет, является ли ch младшим суррогатом (0xDC00 <= ch <= 0xDFFF).

Py_UNICODE_JOIN_SURROGATES(high, low)¶

Объединяет два суррогатных символа и возвращает одно значение Py_UCS4. high и low – это соответственно старший и младший суррогаты в суррогатной паре.

Создание строк Unicode и доступ к ним¶Creating and accessing Unicode strings

Для создания объектов Unicode и доступа к их базовым свойствам последовательности используйте следующие API:

PyObject* PyUnicode_New(Py_ssize_t size, Py_UCS4 maxchar)¶

Создаёт новый объект Unicode. maxchar должен быть истинным максимальным кодом, который будет помещён в строку. В качестве приближения его можно округлить до ближайшего значения из последовательности 127, 255, 65535, 1114111.

Это рекомендуемый способ выделения нового объекта Unicode. Объекты, созданные с помощью этой функции, не подлежат изменению размера.

Новое в версии 3.3.

PyObject* PyUnicode_FromKindAndData(int kind, const void *buffer, Py_ssize_t size)¶

Создаёт новый объект Unicode с заданным kind (возможные значения: PyUnicode_1BYTE_KIND и т. д., возвращаемые PyUnicode_KIND()). buffer должен указывать на массив из size единиц по 1, 2 или 4 байта на символ, в соответствии с kind.

Новое в версии 3.3.

PyObject* PyUnicode_FromStringAndSize(const char *u, Py_ssize_t size)¶

Создает объект Unicode из буфера символов u. Байты интерпретируются как закодированные в UTF-8. Буфер копируется в новый объект. Если буфер не является NULL, возвращаемое значение может быть разделяемым объектом, т.е. изменение данных не допускается.

Если u равен NULL, эта функция ведёт себя как PyUnicode_FromUnicode() с буфером, равным NULL. Такое использование устарело в пользу PyUnicode_New().

PyObject *PyUnicode_FromString(const char *u)¶

Создаёт объект Unicode из UTF-8-кодированного символьного буфера с завершающим нулём u.

PyObject* PyUnicode_FromFormat(const char *format, ...)¶

Принимает строку format в стиле C printf() и переменное количество аргументов, вычисляет размер результирующей Python-строки Unicode и возвращает строку с отформатированными значениями. Переменные аргументы должны быть типами C и должны точно соответствовать символам формата в строке format, закодированной в ASCII. Допускаются следующие символы формата:

Символы формата	Тип	Описание
%%	н/д	Буквальный символ %.
%c	int	Одиночный символ, представленный как C int.
%d	int	Полностью эквивалентно printf("%d").
%u	unsigned int	Полностью эквивалентно printf("%u").
%ld	long	Полностью эквивалентно printf("%ld").
%li	long	Полностью эквивалентно printf("%li").
%lu	unsigned long	Полностью эквивалентно printf("%lu").
%lld	long long	Полностью эквивалентно printf("%lld").
%lli	long long	Полностью эквивалентно printf("%lli").
%llu	unsigned long long	Полностью эквивалентно printf("%llu").
%zd	Py_ssize_t	Полностью эквивалентно printf("%zd").
%zi	Py_ssize_t	Полностью эквивалентно printf("%zi").
%zu	size_t	Полностью эквивалентно printf("%zu").
%i	int	Полностью эквивалентно printf("%i").
%x	int	Полностью эквивалентно printf("%x").
%s	char*	Нуль-терминированный массив символов C.
%p	void*	Шестнадцатеричное представление указателя C. В основном эквивалентно printf("%p") за исключением того, что гарантированно начинается с литерала 0x независимо от того, что выдает printf на данной платформе.
%A	PyObject*	Результат вызова ascii().
%U	PyObject*	Unicode-объект.
%V	PyObject*, char *	Unicode-объект (может быть NULL) и завершающийся нулевым символом C-массив символов в качестве второго параметра (используется, если первый параметр равен NULL).
%S	PyObject*	Результат вызова PyObject_Str().
%R	PyObject*	Результат вызова PyObject_Repr().

Нераспознанный символ формата приводит к тому, что вся оставшаяся строка формата копируется как есть в результирующую строку, а все лишние аргументы отбрасываются.

Примечание

Спецификаторы формата "%lld" и "%llu" доступны только при определённом HAVE_LONG_LONG.

Примечание

Единицей форматирования ширины является количество символов, а не байтов. Единицей форматирования точности является количество байтов для "%s" и "%V" (если аргумент PyObject* равен NULL) и количество символов для "%A", "%U", "%S", "%R" и "%V" (если аргумент PyObject* не равен NULL).

Изменено в версии 3.2: Добавлена поддержка "%lld" и "%llu".

Изменено в версии 3.3: Добавлена поддержка "%li", "%lli" и "%zi".

Изменено в версии 3.4: Добавлена поддержка форматирования ширины и точности для "%s", "%A", "%U", "%V", "%S", "%R".

PyObject* PyUnicode_FromFormatV(const char *format, va_list vargs)¶

Идентична PyUnicode_FromFormat(), за исключением того, что принимает ровно два аргумента.

PyObject* PyUnicode_FromEncodedObject(PyObject *obj, const char *encoding, const char *errors)¶

Возвращаемое значение: новая ссылка.

Преобразует закодированный объект obj в объект Unicode и возвращает ссылку с увеличенным счётчиком ссылок.

bytes, bytearray и другие bytes-подобные объекты декодируются в соответствии с заданной encoding и с использованием обработки ошибок, определяемой errors. Оба могут быть равны NULL, чтобы интерфейс использовал значения по умолчанию (подробнее см. в следующем разделе).

Все остальные объекты, включая объекты Unicode, вызывают установку TypeError.

API возвращает NULL при ошибке. Вызывающий отвечает за уменьшение счётчика ссылок возвращённых объектов.

Py_ssize_t PyUnicode_GetLength(PyObject *unicode)¶

Возвращает длину объекта Unicode в кодовых точках.

Новое в версии 3.3.

int PyUnicode_CopyCharacters(PyObject *to, Py_ssize_t to_start, PyObject *from, Py_ssize_t from_start, Py_ssize_t how_many)¶

Копирует символы из одного объекта Unicode в другой. Эта функция выполняет преобразование символов при необходимости и использует memcpy(), если возможно. Возвращает -1 и устанавливает исключение при ошибке, в противном случае возвращает 0.

Новое в версии 3.3.

Py_ssize_t PyUnicode_Fill(PyObject *unicode, Py_ssize_t start, Py_ssize_t length, Py_UCS4 fill_char)¶

Fill a string with a character: write fill_char into unicode[start:start+length].

Завершается ошибкой, если fill_char больше максимального символа строки или если у строки больше одной ссылки.

Возвращает количество записанных символов или -1 и возбуждает исключение при ошибке.

Новое в версии 3.3.

int PyUnicode_WriteChar(PyObject *unicode, Py_ssize_t index, Py_UCS4 character)¶

Write a character to a string. The string must have been created through PyUnicode_New(). Since Unicode strings are supposed to be immutable, the string must not be shared, or have been hashed yet.

This function checks that unicode is a Unicode object, that the index is not out of bounds, and that the object can be modified safely (i.e. that it its reference count is one), in contrast to the macro version PyUnicode_WRITE_CHAR().

Новое в версии 3.3.

Py_UCS4 PyUnicode_ReadChar(PyObject *unicode, Py_ssize_t index)¶

Read a character from a string. This function checks that unicode is a Unicode object and the index is not out of bounds, in contrast to the macro version PyUnicode_READ_CHAR().

Новое в версии 3.3.

PyObject* PyUnicode_Substring(PyObject *str, Py_ssize_t start, Py_ssize_t end)¶

Возвращает подстроку str от индекса символа start (включительно) до индекса символа end (исключительно). Отрицательные индексы не поддерживаются.

Новое в версии 3.3.

Py_UCS4* PyUnicode_AsUCS4(PyObject *u, Py_UCS4 *buffer, Py_ssize_t buflen, int copy_null)¶

Copy the string u into a UCS4 buffer, including a null character, if copy_null is set. Returns NULL and sets an exception on error (in particular, a ValueError if buflen is smaller than the length of u). buffer is returned on success.

Новое в версии 3.3.

Py_UCS4* PyUnicode_AsUCS4Copy(PyObject *u)¶

Copy the string u into a new UCS4 buffer that is allocated using PyMem_Malloc(). If this fails, NULL is returned with a MemoryError set. The returned buffer always has an extra null code point appended.

Новое в версии 3.3.

Устаревшие API Py_UNICODE¶Deprecated Py_UNICODE APIs

Эти функции API устарели с реализацией PEP 393. Модули-расширения могут продолжать их использовать, поскольку они не будут удалены в Python 3.x, но следует учитывать, что их использование теперь может приводить к снижению производительности и увеличению потребления памяти.

PyObject* PyUnicode_FromUnicode(const Py_UNICODE *u, Py_ssize_t size)¶

Возвращаемое значение: новая ссылка.

Создаёт объект Unicode из буфера u типа Py_UNICODE заданного размера. u может быть NULL, что приводит к неопределённости содержимого. Пользователь должен заполнить необходимые данные. Буфер копируется в новый объект.

Если буфер не равен NULL, возвращаемое значение может быть разделяемым объектом. Поэтому изменение результирующего объекта Unicode допускается только когда u равен NULL.

If the buffer is NULL, PyUnicode_READY() must be called once the string content has been filled before using any of the access macros such as PyUnicode_KIND().

Please migrate to using PyUnicode_FromKindAndData() or PyUnicode_New().

Py_UNICODE* PyUnicode_AsUnicode(PyObject *unicode)¶

Return a read-only pointer to the Unicode object’s internal Py_UNICODE buffer, or NULL on error. This will create the Py_UNICODE* representation of the object if it is not yet available. The buffer is always terminated with an extra null code point. Note that the resulting Py_UNICODE string may also contain embedded null code points, which would cause the string to be truncated when used in most C functions.

Please migrate to using PyUnicode_AsUCS4(), PyUnicode_Substring(), PyUnicode_ReadChar() or similar new APIs.

PyObject* PyUnicode_TransformDecimalToASCII(Py_UNICODE *s, Py_ssize_t size)¶

Create a Unicode object by replacing all decimal digits in Py_UNICODE buffer of the given size by ASCII digits 0–9 according to their decimal value. Return NULL if an exception occurs.

Py_UNICODE* PyUnicode_AsUnicodeAndSize(PyObject *unicode, Py_ssize_t *size)¶

Like PyUnicode_AsUnicode(), but also saves the Py_UNICODE() array length (excluding the extra null terminator) in size. Note that the resulting Py_UNICODE* string may contain embedded null code points, which would cause the string to be truncated when used in most C functions.

Новое в версии 3.3.

Py_UNICODE* PyUnicode_AsUnicodeCopy(PyObject *unicode)¶

Create a copy of a Unicode string ending with a null code point. Return NULL and raise a MemoryError exception on memory allocation failure, otherwise return a new allocated buffer (use PyMem_Free() to free the buffer). Note that the resulting Py_UNICODE* string may contain embedded null code points, which would cause the string to be truncated when used in most C functions.

Новое в версии 3.2.

Please migrate to using PyUnicode_AsUCS4Copy() or similar new APIs.

Py_ssize_t PyUnicode_GetSize(PyObject *unicode)¶

Return the size of the deprecated Py_UNICODE representation, in code units (this includes surrogate pairs as 2 units).

Please migrate to using PyUnicode_GetLength().

PyObject* PyUnicode_FromObject(PyObject *obj)¶

Возвращаемое значение: новая ссылка.

Shortcut for PyUnicode_FromEncodedObject(obj, NULL, "strict") which is used throughout the interpreter whenever coercion to Unicode is needed.

Кодировка локали¶Locale Encoding

Текущую кодировку локали можно использовать для декодирования текста из операционной системы.

PyObject* PyUnicode_DecodeLocaleAndSize(const char *str, Py_ssize_t len, const char *errors)¶

Decode a string from the current locale encoding. The supported error handlers are "strict" and "surrogateescape" (PEP 383). The decoder uses "strict" error handler if errors is NULL. str must end with a null character but cannot contain embedded null characters.

См. также

Use PyUnicode_DecodeFSDefaultAndSize() to decode a string from Py_FileSystemDefaultEncoding (the locale encoding read at Python startup).

Новое в версии 3.3.

PyObject* PyUnicode_DecodeLocale(const char *str, const char *errors)¶

Аналог PyUnicode_DecodeLocaleAndSize(), но длина строки вычисляется с помощью strlen().

Новое в версии 3.3.

PyObject* PyUnicode_EncodeLocale(PyObject *unicode, const char *errors)¶

Кодирует объект Unicode в текущую кодировку локали. Поддерживаемые обработчики ошибок: "strict" и "surrogateescape" (PEP 383). Если errors равен NULL, кодировщик использует обработчик ошибок "strict". Возвращает объект bytes. str не может содержать встроенные нулевые символы.

См. также

Используйте PyUnicode_EncodeFSDefault() для кодирования строки в Py_FileSystemDefaultEncoding (кодировка локали, считанная при запуске Python).

Новое в версии 3.3.

Кодировка файловой системы¶File System Encoding

Для кодирования и декодирования имён файлов и других строк окружения в качестве кодировки следует использовать Py_FileSystemEncoding, а в качестве обработчика ошибок – "surrogateescape" (PEP 383). Для кодирования имён файлов при разборе аргументов следует использовать преобразователь "O&", передавая PyUnicode_FSConverter() в качестве функции преобразования:

int PyUnicode_FSConverter(PyObject* obj, void* result)¶

Преобразователь ParseTuple: кодирует объекты str в bytes с помощью PyUnicode_EncodeFSDefault(); объекты bytes передаются как есть. result должен быть PyBytesObject*, который нужно освободить, когда он больше не нужен.

Новое в версии 3.1.

Для декодирования имён файлов при разборе аргументов следует использовать преобразователь "O&", передавая PyUnicode_FSDecoder() в качестве функции преобразования:

int PyUnicode_FSDecoder(PyObject* obj, void* result)¶

Преобразователь ParseTuple: декодирует объекты bytes в str с помощью PyUnicode_DecodeFSDefaultAndSize(); объекты str передаются как есть. result должен быть PyUnicodeObject*, который нужно освободить, когда он больше не нужен.

Новое в версии 3.2.

PyObject* PyUnicode_DecodeFSDefaultAndSize(const char *s, Py_ssize_t size)¶

Декодирует строку, используя Py_FileSystemDefaultEncoding и обработчик ошибок "surrogateescape", или "strict" в Windows.

Если Py_FileSystemDefaultEncoding не установлена, используется кодировка локали.

См. также

Py_FileSystemDefaultEncoding инициализируется при запуске из кодировки локали и не может быть изменена впоследствии. Если нужно декодировать строку из текущей кодировки локали, используйте PyUnicode_DecodeLocaleAndSize().

Изменено в версии 3.2: Используйте обработчик ошибок "strict" в Windows.

PyObject* PyUnicode_DecodeFSDefault(const char *s)¶

Декодирует строку, завершающуюся нулевым символом, используя Py_FileSystemDefaultEncoding и обработчик ошибок "surrogateescape", или "strict" в Windows.

Если Py_FileSystemDefaultEncoding не установлена, используется кодировка локали.

Используйте PyUnicode_DecodeFSDefaultAndSize(), если известна длина строки.

Изменено в версии 3.2: Используйте обработчик ошибок "strict" в Windows.

PyObject* PyUnicode_EncodeFSDefault(PyObject *unicode)¶

Кодирует объект Unicode в Py_FileSystemDefaultEncoding с обработчиком ошибок "surrogateescape" или "strict" в Windows и возвращает bytes. Обратите внимание, что результирующий объект bytes может содержать нулевые байты.

Если Py_FileSystemDefaultEncoding не установлена, используется кодировка локали.

См. также

Py_FileSystemDefaultEncoding инициализируется при запуске из кодировки локали и не может быть изменена впоследствии. Если нужно закодировать строку в текущую кодировку локали, используйте PyUnicode_EncodeLocale().

Новое в версии 3.2.

Поддержка wchar_t¶wchar_t Support

Поддержка wchar_t на платформах, которые её поддерживают:

PyObject* PyUnicode_FromWideChar(const wchar_t *w, Py_ssize_t size)¶

Возвращаемое значение: новая ссылка.

Создаёт объект Unicode из буфера wchar_t w заданного размера size. Передача -1 в качестве size означает, что функция должна сама вычислить длину, используя wcslen. В случае ошибки возвращает NULL.

Py_ssize_t PyUnicode_AsWideChar(PyUnicodeObject *unicode, wchar_t *w, Py_ssize_t size)¶

Копирует содержимое объекта Unicode в буфер wchar_t w. Копируется не более size символов wchar_t (исключая возможный завершающий нулевой символ). Возвращает количество скопированных символов wchar_t или -1 в случае ошибки. Обратите внимание, что результирующая строка wchar_t* может как иметь, так и не иметь завершающего нуля. Ответственность вызывающего – убедиться, что строка wchar_t* завершается нулевым символом, если это требуется приложением. Также обратите внимание, что строка wchar_t* может содержать нулевые символы, что приведёт к её усечению при использовании с большинством функций C.

wchar_t* PyUnicode_AsWideCharString(PyObject *unicode, Py_ssize_t *size)¶

Преобразует объект Unicode в строку широких символов. Выходная строка всегда завершается нулевым символом. Если size не равно NULL, записывает количество широких символов (исключая завершающий нулевой символ) в *size.

В случае успеха возвращает буфер, выделенный с помощью PyMem_Alloc() (освобождать через PyMem_Free()). При ошибке возвращает NULL, *size не определено и возбуждается MemoryError. Обратите внимание, что результирующая строка wchar_t может содержать нулевые символы, что приведёт к её усечению при использовании с большинством функций C.

Новое в версии 3.2.

Поддержка UCS4¶UCS4 Support

size_t Py_UCS4_strlen(const Py_UCS4 *u)¶

Py_UCS4* Py_UCS4_strcpy(Py_UCS4 *s1, const Py_UCS4 *s2)¶

Py_UCS4* Py_UCS4_strncpy(Py_UCS4 *s1, const Py_UCS4 *s2, size_t n)¶

Py_UCS4* Py_UCS4_strcat(Py_UCS4 *s1, const Py_UCS4 *s2)¶

int Py_UCS4_strcmp(const Py_UCS4 *s1, const Py_UCS4 *s2)¶

int Py_UCS4_strncmp(const Py_UCS4 *s1, const Py_UCS4 *s2, size_t n)¶

Py_UCS4* Py_UCS4_strchr(const Py_UCS4 *s, Py_UCS4 c)¶

Py_UCS4* Py_UCS4_strrchr(const Py_UCS4 *s, Py_UCS4 c)¶

Эти служебные функции работают со строками символов Py_UCS4 и в остальном ведут себя как функции стандартной библиотеки C с теми же именами.

Общие кодеки¶Generic Codecs

Это общие API кодеков:

PyObject* PyUnicode_Decode(const char *s, Py_ssize_t size, const char *encoding, const char *errors)¶

Возвращаемое значение: новая ссылка.

Создаёт объект Unicode путём декодирования size байт закодированной строки s. Параметры encoding и errors имеют тот же смысл, что и одноимённые параметры встроенной функции str(). Используемый кодек ищется через реестр кодеков Python. Возвращает NULL, если кодек возбудил исключение.

PyObject* PyUnicode_AsEncodedString(PyObject *unicode, const char *encoding, const char *errors)¶

Возвращаемое значение: новая ссылка.

Кодирует объект Unicode и возвращает результат в виде объекта bytes Python. Параметры encoding и errors имеют тот же смысл, что и одноимённые параметры метода Unicode encode(). Кодек ищется через реестр кодеков Python. Возвращает NULL, если кодек возбудил исключение.

PyObject* PyUnicode_Encode(const Py_UNICODE *s, Py_ssize_t size, const char *encoding, const char *errors)¶

Возвращаемое значение: новая ссылка.

Кодирует буфер Py_UNICODE s заданного размера size и возвращает объект bytes Python. Параметры encoding и errors имеют тот же смысл, что и одноимённые параметры метода Unicode encode(). Кодек ищется через реестр кодеков Python. Возвращает NULL, если кодек возбудил исключение.

Устарело с версии 3.3, будет удалено в версии 4.0: Часть старого стиля API Py_UNICODE; пожалуйста, переходите на использование PyUnicode_AsEncodedString().

Кодеки UTF-8¶UTF-8 Codecs

Это API кодеков UTF-8:

PyObject* PyUnicode_DecodeUTF8(const char *s, Py_ssize_t size, const char *errors)¶

Возвращаемое значение: новая ссылка.

Создаёт объект Unicode путём декодирования size байт строки, закодированной в UTF-8, s. Возвращает NULL, если кодек возбудил исключение.

PyObject* PyUnicode_DecodeUTF8Stateful(const char *s, Py_ssize_t size, const char *errors, Py_ssize_t *consumed)¶

Возвращаемое значение: новая ссылка.

Если consumed равно NULL, ведёт себя как PyUnicode_DecodeUTF8(). Если consumed не равно NULL, завершающие неполные последовательности байт UTF-8 не будут считаться ошибкой. Эти байты не будут декодированы, а количество декодированных байт будет сохранено в consumed.

PyObject* PyUnicode_AsUTF8String(PyObject *unicode)¶

Возвращаемое значение: новая ссылка.

Кодирует объект Unicode с использованием UTF-8 и возвращает результат в виде объекта bytes Python. Обработка ошибок – «strict». Возвращает NULL, если кодек возбудил исключение.

char* PyUnicode_AsUTF8AndSize(PyObject *unicode, Py_ssize_t *size)¶

Возвращает указатель на UTF-8 кодировку объекта Unicode и сохраняет размер закодированного представления (в байтах) в size. Аргумент size может быть NULL; в этом случае размер не сохраняется. Возвращаемый буфер всегда имеет добавленный дополнительный нулевой байт (не включённый в size), независимо от наличия других нулевых кодовых точек.

В случае ошибки возвращается NULL с установленным исключением, и size не сохраняется.

Это кэширует UTF-8 представление строки в объекте Unicode, и последующие вызовы будут возвращать указатель на тот же буфер. Вызывающая сторона не отвечает за освобождение буфера.

Новое в версии 3.3.

char* PyUnicode_AsUTF8(PyObject *unicode)¶

Как PyUnicode_AsUTF8AndSize(), но не сохраняет размер.

Новое в версии 3.3.

PyObject* PyUnicode_EncodeUTF8(const Py_UNICODE *s, Py_ssize_t size, const char *errors)¶

Возвращаемое значение: новая ссылка.

Кодирует буфер Py_UNICODE s заданного размера size с использованием UTF-8 и возвращает объект bytes Python. Возвращает NULL, если кодек возбудил исключение.

Устарело с версии 3.3, будет удалено в версии 4.0: Часть старого стиля API Py_UNICODE; пожалуйста, переходите на использование PyUnicode_AsUTF8String() или PyUnicode_AsUTF8AndSize().

Кодеки UTF-32¶UTF-32 Codecs

Это API кодеков UTF-32:

PyObject* PyUnicode_DecodeUTF32(const char *s, Py_ssize_t size, const char *errors, int *byteorder)¶

Декодирует size байт из строки буфера в кодировке UTF-32 и возвращает соответствующий объект Unicode. errors (если не NULL) определяет обработку ошибок. По умолчанию используется «strict».

Если byteorder не равен NULL, декодер начинает декодирование с использованием заданного порядка байтов:

*byteorder == -1: little endian
*byteorder == 0:  native order
*byteorder == 1:  big endian

Если *byteorder равен нулю, и первые четыре байта входных данных являются маркером порядка байт (BOM), декодер переключается на этот порядок байт, и BOM не копируется в результирующую строку Unicode. Если *byteorder равен -1 или 1, любой маркер порядка байт копируется в выходные данные.

После завершения *byteorder устанавливается в текущий порядок байтов в конце входных данных.

Если byteorder равен NULL, кодек запускается в режиме собственного порядка байтов.

Возвращает NULL, если кодек сгенерировал исключение.

PyObject* PyUnicode_DecodeUTF32Stateful(const char *s, Py_ssize_t size, const char *errors, int *byteorder, Py_ssize_t *consumed)¶

Если consumed равен NULL, ведёт себя как PyUnicode_DecodeUTF32(). Если consumed не равен NULL, PyUnicode_DecodeUTF32Stateful() не будет считать неполные конечные последовательности байтов UTF-32 (например, количество байтов, не кратное четырём) ошибкой. Эти байты не будут декодированы, а количество декодированных байтов будет сохранено в consumed.

PyObject* PyUnicode_AsUTF32String(PyObject *unicode)¶

Возвращает Python-строку байт в кодировке UTF-32 с собственным порядком байтов. Строка всегда начинается с маркера BOM. Обработка ошибок – «strict». Возвращает NULL, если кодек сгенерировал исключение.

PyObject* PyUnicode_EncodeUTF32(const Py_UNICODE *s, Py_ssize_t size, const char *errors, int byteorder)¶

Возвращает объект Python bytes, содержащий значение Unicode-данных из s, закодированное в UTF-32. Вывод записывается в соответствии со следующим порядком байтов:

byteorder == -1: little endian
byteorder == 0:  native byte order (writes a BOM mark)
byteorder == 1:  big endian

Если 0, выходная строка всегда начинается с метки BOM Unicode (U+FEFF). В двух других режимах метка BOM не добавляется.

Если Py_UNICODE_WIDE не определён, суррогатные пары будут выводиться как одна кодовая точка.

Возвращает NULL, если кодек сгенерировал исключение.

Устарело с версии 3.3, будет удалено в версии 4.0: Часть старого API Py_UNICODE; переходите на использование PyUnicode_AsUTF32String().

Кодеки UTF-32¶UTF-16 Codecs

Это API кодеков UTF-32:

PyObject* PyUnicode_DecodeUTF16(const char *s, Py_ssize_t size, const char *errors, int *byteorder)¶

Возвращаемое значение: новая ссылка.

Декодирует size байт из строки буфера в кодировке UTF-16 и возвращает соответствующий объект Unicode. errors (если не NULL) определяет обработку ошибок. По умолчанию используется «strict».

Если byteorder не равен NULL, декодер начинает декодирование с использованием заданного порядка байтов:

*byteorder == -1: little endian
*byteorder == 0:  native order
*byteorder == 1:  big endian

Если *byteorder равен нулю и первые два байта входных данных являются меткой порядка байтов (BOM), декодер переключается на этот порядок байтов, и BOM не копируется в результирующую строку Unicode. Если *byteorder равен -1 или 1, любая метка порядка байтов копируется в выходные данные (в результате чего появится символ \ufeff или \ufffe).

После завершения *byteorder устанавливается в текущий порядок байтов в конце входных данных.

Если byteorder равен NULL, кодек запускается в режиме собственного порядка байтов.

Возвращает NULL, если кодек сгенерировал исключение.

PyObject* PyUnicode_DecodeUTF16Stateful(const char *s, Py_ssize_t size, const char *errors, int *byteorder, Py_ssize_t *consumed)¶

Возвращаемое значение: новая ссылка.

Если consumed равен NULL, ведёт себя как PyUnicode_DecodeUTF16(). Если consumed не равен NULL, PyUnicode_DecodeUTF16Stateful() не будет считать неполные конечные последовательности байтов UTF-16 (например, нечётное количество байтов или разбитая суррогатная пара) ошибкой. Эти байты не будут декодированы, а количество декодированных байтов будет сохранено в consumed.

PyObject* PyUnicode_AsUTF16String(PyObject *unicode)¶

Возвращаемое значение: новая ссылка.

Возвращает Python-строку байт в кодировке UTF-16 с собственным порядком байтов. Строка всегда начинается с маркера BOM. Обработка ошибок – «strict». Возвращает NULL, если кодек сгенерировал исключение.

PyObject* PyUnicode_EncodeUTF16(const Py_UNICODE *s, Py_ssize_t size, const char *errors, int byteorder)¶

Возвращаемое значение: новая ссылка.

Возвращает объект Python bytes, содержащий значение Unicode-данных из s, закодированное в UTF-16. Вывод записывается в соответствии со следующим порядком байтов:

byteorder == -1: little endian
byteorder == 0:  native byte order (writes a BOM mark)
byteorder == 1:  big endian

Если 0, выходная строка всегда начинается с метки BOM Unicode (U+FEFF). В двух других режимах метка BOM не добавляется.

Если Py_UNICODE_WIDE определён, одно значение Py_UNICODE может быть представлено как суррогатная пара. Если он не определён, каждое значение Py_UNICODE интерпретируется как символ UCS-2.

Возвращает NULL, если кодек сгенерировал исключение.

Устарело с версии 3.3, будет удалено в версии 4.0: Часть старого API Py_UNICODE; переходите на использование PyUnicode_AsUTF16String().

Кодеки UTF-7¶UTF-7 Codecs

Это API кодеков UTF-7:

PyObject* PyUnicode_DecodeUTF7(const char *s, Py_ssize_t size, const char *errors)¶

Создаёт объект Unicode путём декодирования size байт строки в кодировке UTF-7 s. Возвращает NULL, если кодек сгенерировал исключение.

PyObject* PyUnicode_DecodeUTF7Stateful(const char *s, Py_ssize_t size, const char *errors, Py_ssize_t *consumed)¶

Если consumed равен NULL, ведёт себя как PyUnicode_DecodeUTF7(). Если consumed не равен NULL, конечные неполные секции base-64 UTF-7 не будут считаться ошибкой. Эти байты не будут декодированы, а количество декодированных байтов будет сохранено в consumed.

PyObject* PyUnicode_EncodeUTF7(const Py_UNICODE *s, Py_ssize_t size, int base64SetO, int base64WhiteSpace, const char *errors)¶

Кодирует буфер Py_UNICODE заданного размера с использованием UTF-7 и возвращает объект Python bytes. Возвращает NULL, если кодек вызвал исключение.

Если base64SetO не равно нулю, «Set O» (знаки препинания, не имеющие иного особого значения) будут закодированы в base-64. Если base64WhiteSpace не равно нулю, пробельные символы будут закодированы в base-64. Оба параметра установлены в ноль для кодека Python «utf-7».

Устарело с версии 3.3, будет удалено в версии 4.0: Часть старого API Py_UNICODE.

Кодеки Unicode-Escape¶Unicode-Escape Codecs

Это API кодеков «Unicode Escape»:

PyObject* PyUnicode_DecodeUnicodeEscape(const char *s, Py_ssize_t size, const char *errors)¶

Возвращаемое значение: новая ссылка.

Создаёт объект Unicode путём декодирования size байт строки в кодировке Unicode-Escape s. Возвращает NULL, если кодек сгенерировал исключение.

PyObject* PyUnicode_AsUnicodeEscapeString(PyObject *unicode)¶

Возвращаемое значение: новая ссылка.

Кодирует объект Unicode с использованием Unicode-Escape и возвращает результат в виде строкового объекта Python. Обработка ошибок – «strict». Возвращает NULL, если кодек вызвал исключение.

PyObject* PyUnicode_EncodeUnicodeEscape(const Py_UNICODE *s, Py_ssize_t size)¶

Возвращаемое значение: новая ссылка.

Кодирует буфер Py_UNICODE заданного размера size с использованием Unicode-Escape и возвращает строковый объект Python. Возвращает NULL, если кодек вызвал исключение.

Устарело с версии 3.3, будет удалено в версии 4.0: Часть старого API Py_UNICODE; переходите на использование PyUnicode_AsUnicodeEscapeString().

Кодеки Raw-Unicode-Escape¶Raw-Unicode-Escape Codecs

Это API кодеков «Raw Unicode Escape»:

PyObject* PyUnicode_DecodeRawUnicodeEscape(const char *s, Py_ssize_t size, const char *errors)¶

Возвращаемое значение: новая ссылка.

Создаёт объект Unicode путём декодирования size байт строки s, закодированной в Raw-Unicode-Escape. Возвращает NULL, если кодек вызвал исключение.

PyObject* PyUnicode_AsRawUnicodeEscapeString(PyObject *unicode)¶

Возвращаемое значение: новая ссылка.

Кодирует объект Unicode с использованием Raw-Unicode-Escape и возвращает результат в виде строкового объекта Python. Обработка ошибок – «strict». Возвращает NULL, если кодек вызвал исключение.

PyObject* PyUnicode_EncodeRawUnicodeEscape(const Py_UNICODE *s, Py_ssize_t size, const char *errors)¶

Возвращаемое значение: новая ссылка.

Кодирует буфер Py_UNICODE заданного размера size с использованием Raw-Unicode-Escape и возвращает строковый объект Python. Возвращает NULL, если кодек вызвал исключение.

Устарело с версии 3.3, будет удалено в версии 4.0: Часть старого API Py_UNICODE; переходите на использование PyUnicode_AsRawUnicodeEscapeString().

Кодеки Latin-1¶Latin-1 Codecs

Это API кодеков Latin-1: Latin-1 соответствует первым 256 кодовым позициям Unicode, и только они принимаются кодеками при кодировании.

PyObject* PyUnicode_DecodeLatin1(const char *s, Py_ssize_t size, const char *errors)¶

Возвращаемое значение: новая ссылка.

Создаёт объект Unicode путём декодирования size байт строки s, закодированной в Latin-1. Возвращает NULL, если кодек вызвал исключение.

PyObject* PyUnicode_AsLatin1String(PyObject *unicode)¶

Возвращаемое значение: новая ссылка.

Кодирует объект Unicode с помощью Latin-1 и возвращает результат как объект bytes Python. Обработка ошибок – “strict”. Возвращает NULL, если кодек вызвал исключение.

PyObject* PyUnicode_EncodeLatin1(const Py_UNICODE *s, Py_ssize_t size, const char *errors)¶

Возвращаемое значение: новая ссылка.

Кодирует буфер Py_UNICODE заданного размера size с помощью Latin-1 и возвращает объект bytes Python. Возвращает NULL, если кодек вызвал исключение.

Устарело с версии 3.3, будет удалено в версии 4.0: Часть старого API на Py_UNICODE; перейдите на использование PyUnicode_AsLatin1String().

Кодеки ASCII¶ASCII Codecs

Это API кодеков ASCII. Принимаются только 7-битные данные ASCII. Все остальные коды вызывают ошибки.

PyObject* PyUnicode_DecodeASCII(const char *s, Py_ssize_t size, const char *errors)¶

Возвращаемое значение: новая ссылка.

Создаёт объект Unicode путём декодирования size байт строки s, закодированной в ASCII. Возвращает NULL, если кодек вызвал исключение.

PyObject* PyUnicode_AsASCIIString(PyObject *unicode)¶

Возвращаемое значение: новая ссылка.

Кодирует объект Unicode с помощью ASCII и возвращает результат как объект bytes Python. Обработка ошибок – “strict”. Возвращает NULL, если кодек вызвал исключение.

PyObject* PyUnicode_EncodeASCII(const Py_UNICODE *s, Py_ssize_t size, const char *errors)¶

Возвращаемое значение: новая ссылка.

Кодирует буфер Py_UNICODE заданного размера size с помощью ASCII и возвращает объект bytes Python. Возвращает NULL, если кодек вызвал исключение.

Устарело с версии 3.3, будет удалено в версии 4.0: Часть старого API на Py_UNICODE; перейдите на использование PyUnicode_AsASCIIString().

Кодеки с таблицей символов¶Character Map Codecs

Этот кодек особенный, так как его можно использовать для реализации множества разных кодеков (именно так и были получены большинство стандартных кодеков, входящих в пакет encodings). Кодек использует отображение для кодирования и декодирования символов.

Отображения для декодирования должны сопоставлять отдельные строковые символы отдельным символам Unicode, целым числам (которые затем интерпретируются как кодовые точки Unicode) или None (что означает «неопределённое отображение» и вызывает ошибку).

Отображения для кодирования должны сопоставлять отдельные символы Unicode отдельным строковым символам, целым числам (которые затем интерпретируются как кодовые точки Latin-1) или None (что означает «неопределённое отображение» и вызывает ошибку).

Объекты отображения должны поддерживать только интерфейс отображения __getitem__.

Если при поиске символа возникает LookupError, символ копируется как есть; это означает, что его порядковое значение будет интерпретироваться как кодовая точка Unicode или Latin-1 соответственно. Из-за этого отображения должны содержать только те соответствия, которые переводят символы в другие кодовые точки.

Это API кодеков отображения:

PyObject* PyUnicode_DecodeCharmap(const char *s, Py_ssize_t size, PyObject *mapping, const char *errors)¶

Возвращаемое значение: новая ссылка.

Создаёт объект Unicode, декодируя size байт закодированной строки s с помощью заданного объекта mapping. Возвращает NULL, если кодек вызвал исключение. Если mapping равен NULL, выполняется декодирование Latin-1. В противном случае это может быть словарь, отображающий байты, или строка Unicode, которая интерпретируется как таблица поиска. Значения байтов, превышающие длину строки, и «символ» U+FFFE считаются «неопределённым отображением».

PyObject* PyUnicode_AsCharmapString(PyObject *unicode, PyObject *mapping)¶

Возвращаемое значение: новая ссылка.

Кодирует объект Unicode с помощью заданного объекта mapping и возвращает результат в виде строкового объекта Python. Обработка ошибок – «strict». Возвращает NULL, если кодек вызвал исключение.

Следующее API кодека особенное тем, что отображает Unicode в Unicode.

PyObject* PyUnicode_TranslateCharmap(const Py_UNICODE *s, Py_ssize_t size, PyObject *table, const char *errors)¶

Возвращаемое значение: новая ссылка.

Переводит буфер Py_UNICODE заданного размера size, применяя к нему символьное отображение table, и возвращает результирующий объект Unicode. Возвращает NULL, если кодек вызвал исключение.

Таблица mapping должна сопоставлять целочисленные кодовые точки Unicode целочисленным кодовым точкам Unicode или None (что приводит к удалению символа).

Таблицы отображения должны предоставлять только интерфейс __getitem__(); словари и последовательности работают хорошо. Кодовые точки неотображённых символов (те, которые вызывают LookupError) остаются нетронутыми и копируются как есть.

Устарело с версии 3.3, будет удалено в версии 4.0: Часть старого API на Py_UNICODE.

PyObject* PyUnicode_EncodeCharmap(const Py_UNICODE *s, Py_ssize_t size, PyObject *mapping, const char *errors)¶

Возвращаемое значение: новая ссылка.

Кодирует буфер Py_UNICODE заданного размера size с помощью заданного объекта mapping и возвращает строковый объект Python. Возвращает NULL, если кодек вызвал исключение.

Устарело с версии 3.3, будет удалено в версии 4.0: Часть старого API на Py_UNICODE; перейдите на использование PyUnicode_AsCharmapString().

Кодеки MBCS для Windows¶MBCS codecs for Windows

Это API кодеков MBCS. В настоящее время они доступны только в Windows и используют преобразователи Win32 MBCS для выполнения преобразований. Обратите внимание, что MBCS (или DBCS) – это класс кодировок, а не одна конкретная. Целевая кодировка определяется пользовательскими настройками на машине, где выполняется кодек.

PyObject* PyUnicode_DecodeMBCS(const char *s, Py_ssize_t size, const char *errors)¶

Возвращаемое значение: новая ссылка.

Создаёт объект Unicode, декодируя size байтов строки, закодированной в MBCS, из s. Возвращает NULL, если кодек вызвал исключение.

PyObject* PyUnicode_DecodeMBCSStateful(const char *s, int size, const char *errors, int *consumed)¶

Если consumed равен NULL, ведёт себя как PyUnicode_DecodeMBCS(). Если consumed не равен NULL, то PyUnicode_DecodeMBCSStateful() не будет декодировать конечный ведущий байт, а количество декодированных байтов будет сохранено в consumed.

PyObject* PyUnicode_AsMBCSString(PyObject *unicode)¶

Возвращаемое значение: новая ссылка.

Кодирует объект Unicode с помощью MBCS и возвращает результат в виде объекта bytes Python. Обработка ошибок – "strict". Возвращает NULL, если кодек вызвал исключение.

PyObject* PyUnicode_EncodeCodePage(int code_page, PyObject *unicode, const char *errors)¶

Кодирует объект Unicode, используя указанную кодовую страницу, и возвращает объект bytes Python. Возвращает NULL, если кодек вызвал исключение. Используйте кодовую страницу CP_ACP для получения кодировщика MBCS.

Новое в версии 3.3.

PyObject* PyUnicode_EncodeMBCS(const Py_UNICODE *s, Py_ssize_t size, const char *errors)¶

Возвращаемое значение: новая ссылка.

Кодирует буфер Py_UNICODE заданного размера size с помощью MBCS и возвращает объект bytes Python. Возвращает NULL, если кодек возбудил исключение.

Устарело с версии 3.3, будет удалено в версии 4.0: Часть старого API Py_UNICODE; рекомендуется перейти на PyUnicode_AsMBCSString() или PyUnicode_EncodeCodePage().

Методы и слоты¶Methods & Slots