unicode.md
1> **Источник:** https://python-all.ru/2.6/howto/unicode.html2>3> «Документация Python на русском» – неофициальный перевод официальной документации Python: версии от 2.6 до 3.16, полнотекстовый поиск, английский оригинал рядом с переводом. Эта Markdown-версия страницы предназначена для работы с LLM: вставьте её в ChatGPT, Claude или Cursor.45---67# Руководство по Unicode89| Версия: | 1.02 |10| --- | --- |1112В этом руководстве рассматривается поддержка Unicode в Python и объясняются различные проблемы, с которыми люди обычно сталкиваются при работе с Unicode.1314## Введение в Unicode1516### История кодировок символов1718В 1968 году был стандартизирован американский стандартный код для обмена информацией, более известный под аббревиатурой ASCII. ASCII определил числовые коды для различных символов, значения которых находятся в диапазоне от 0 до 127. Например, строчной букве «a» присвоено значение кода 97.1920ASCII был стандартом, разработанным в США, поэтому он определял только символы без диакритических знаков. Буква 'e' была, а 'é' или 'Í' – нет. Это означало, что языки, требующие диакритических знаков, не могли быть точно представлены в ASCII. (На самом деле отсутствие диакритических знаков имеет значение и для английского, в котором есть такие слова, как 'naïve' и 'café', а некоторые издательства требуют написания вроде 'coöperate'.)2122Некоторое время люди просто писали программы, которые не отображали диакритические знаки. Помню, как смотрел на программы на Apple \]\[ BASIC, опубликованные во франкоязычных изданиях в середине 1980-х, в которых были такие строки:2324```python25PRINT "FICHIER EST COMPLETE."26PRINT "CARACTERE NON ACCEPTE."27```2829Эти сообщения должны содержать диакритические знаки, и они выглядят неправильно для того, кто умеет читать по-французски.3031В 1980-х годах почти все персональные компьютеры были 8-битными, то есть байты могли содержать значения от 0 до 255. Коды ASCII достигали только 127, поэтому некоторые машины присваивали значения от 128 до 255 символам с диакритическими знаками. Однако разные машины имели разные коды, что приводило к проблемам при обмене файлами. В конечном итоге появилось несколько часто используемых наборов значений для диапазона 128-255. Некоторые были настоящими стандартами, определёнными Международной организацией по стандартизации, а некоторые – соглашениями **де-факто**, изобретёнными той или иной компанией и сумевшими прижиться.3233255 символов – это не так много. Например, нельзя уместить и символы с диакритическими знаками, используемые в Западной Европе, и кириллицу, используемую в русском языке, в диапазон 128-255, потому что таких символов больше 127.3435Можно было записывать файлы, используя разные кодировки (все русские файлы в кодировке KOI8, все французские файлы в другой кодировке Latin1), но что, если нужно было написать французский документ, цитирующий русский текст? В 1980-х люди начали искать решение этой проблемы, и началась работа по стандартизации Unicode.3637Изначально в Unicode использовались 16-битные символы вместо 8-битных. 16 бит означает, что доступно 2^16 = 65 536 различных значений, что позволяет представлять множество различных символов из множества различных алфавитов; изначальной целью было включить в Unicode алфавиты всех человеческих языков. Оказалось, что даже 16 бит недостаточно для достижения этой цели, и современная спецификация Unicode использует более широкий диапазон кодов: 0–1 114 111 (0x10ffff в шестнадцатеричной системе).3839Существует связанный стандарт ISO – ISO 10646. Unicode и ISO 10646 изначально были разными проектами, но спецификации были объединены в версии Unicode 1.1.4041(Это обсуждение истории Unicode сильно упрощено. Не думаю, что среднестатистическому программисту на Python нужно беспокоиться об исторических деталях; обращайтесь к сайту консорциума Unicode, указанному в разделе «Ссылки», за дополнительной информацией.)4243### Определения4445**Символ** – это наименьший возможный компонент текста. 'A', 'B', 'C' и т.д. – всё это разные символы. Также как 'È' и 'Í'. Символы – это абстракции, и они варьируются в зависимости от языка или контекста. Например, символ ома (Ω) обычно рисуется очень похоже на заглавную букву омега (Ω) в греческом алфавите (в некоторых шрифтах они могут даже совпадать), но это два разных символа с разными значениями.4647Стандарт Unicode описывает, как символы представлены с помощью **кодовых точек**. Кодовая точка – это целое число, обычно записываемое в шестнадцатеричной системе. В стандарте кодовая точка записывается в виде U+12ca и означает символ со значением 0x12ca (4810 в десятичной системе). Стандарт Unicode содержит множество таблиц, перечисляющих символы и соответствующие им кодовые точки:4849```python500061 'a'; LATIN SMALL LETTER A510062 'b'; LATIN SMALL LETTER B520063 'c'; LATIN SMALL LETTER C53...54007B '{'; LEFT CURLY BRACKET55```5657Строго говоря, из этих определений следует, что бессмысленно говорить «это символ U+12ca». U+12ca – это кодовая точка, которая представляет некоторый конкретный символ; в данном случае она представляет символ «ETHIOPIC SYLLABLE WI». В неформальном контексте это различие между кодовыми точками и символами иногда забывается.5859Символ отображается на экране или на бумаге с помощью набора графических элементов, который называется **глифом**. Глиф для заглавной A, например, представляет собой две диагональные и одну горизонтальную черту, хотя точные детали зависят от используемого шрифта. Большинству кода на Python не нужно беспокоиться о глифах; определение правильного глифа для отображения обычно является задачей GUI-инструментария или рендерера шрифтов терминала.6061### Кодировки6263Чтобы обобщить предыдущий раздел: строка Unicode – это последовательность кодовых точек, которые являются числами от 0 до 0x10ffff. Эта последовательность должна быть представлена в виде набора байтов (то есть значений от 0 до 255) в памяти. Правила преобразования строки Unicode в последовательность байтов называются **кодировкой**.6465Первая кодировка, которая может прийти в голову – это массив 32-битных целых чисел. В этом представлении строка «Python» будет выглядеть так:6667```python68 P y t h o n690x50 00 00 00 79 00 00 00 74 00 00 00 68 00 00 00 6f 00 00 00 6e 00 00 0070 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 2371```7273Такое представление интуитивно понятно, но его использование порождает ряд проблем.74751. Оно не является переносимым: разные процессоры по-разному упорядочивают байты.762. Это очень расточительно по памяти. В большинстве текстов большинство кодовых точек меньше 127 или меньше 255, поэтому много места занято нулевыми байтами. Приведенная выше строка занимает 24 байта по сравнению с 6 байтами, необходимыми для ASCII-представления. Увеличение использования оперативной памяти не так важно (настольные компьютеры имеют мегабайты ОЗУ, и строки обычно не такие большие), но увеличение использования дискового пространства и пропускной способности сети в 4 раза недопустимо.773. Она несовместима с существующими функциями C, такими как `strlen()`, поэтому пришлось бы использовать новое семейство функций для работы с широкими строками.784. Многие интернет-стандарты определены в терминах текстовых данных и не могут обрабатывать содержимое с встроенными нулевыми байтами.7980Обычно эту кодировку не используют, вместо неё выбирая другие, более эффективные и удобные.8182Кодировки не обязаны поддерживать все возможные символы Unicode, и большинство из них этого не делает. Например, кодировка по умолчанию в Python – это 'ascii'. Правила преобразования строки Unicode в кодировку ASCII просты: для каждой кодовой точки:83841. Если кодовая точка \< 128, каждый байт равен значению кодовой точки.852. Если кодовая точка равна 128 или больше, Unicode-строка не может быть представлена в этой кодировке. (В этом случае Python возбуждает исключение [`UnicodeEncodeError`](https://python-all.ru/2.6/library/exceptions.html#exceptions.UnicodeEncodeError).)8687Latin-1, также известная как ISO-8859-1, является похожей кодировкой. Кодовые точки Unicode от 0 до 255 идентичны значениям Latin-1, поэтому преобразование в эту кодировку просто требует преобразования кодовых точек в значения байтов; если встречается кодовая точка больше 255, строка не может быть закодирована в Latin-1.8889Кодировки не обязательно должны быть простыми однозначными отображениями, как Latin-1. Рассмотрим EBCDIC от IBM, которая использовалась на мейнфреймах IBM. Значения букв не были в одном блоке: от 'a' до 'i' имели значения от 129 до 137, а от 'j' до 'r' – от 145 до 153. Если бы вы хотели использовать EBCDIC в качестве кодировки, вам, вероятно, пришлось бы использовать какую-нибудь таблицу поиска для выполнения преобразования, но это в значительной степени внутренняя деталь.9091UTF-8 – одна из наиболее часто используемых кодировок. UTF расшифровывается как «Unicode Transformation Format», а «8» означает, что в кодировке используются 8-битные числа. (Существует также кодировка UTF-16, но она используется реже, чем UTF-8.) UTF-8 использует следующие правила:92931. Если кодовая точка меньше 128, она представляется соответствующим значением байта.942. Если кодовая точка находится между 128 и 0x7ff, она преобразуется в два значения байтов от 128 до 255.953. Кодовые точки больше 0x7ff преобразуются в последовательности из трёх или четырёх байтов, где каждый байт последовательности находится в диапазоне от 128 до 255.9697UTF-8 обладает несколькими удобными свойствами:98991. Она может обрабатывать любую кодовую точку Юникода.1002. Unicode-строка преобразуется в строку байтов, не содержащую встроенных нулевых байтов. Это позволяет избежать проблем с порядком байтов и означает, что строки UTF-8 могут обрабатываться функциями C, такими как `strcpy()`, и передаваться по протоколам, которые не могут обрабатывать нулевые байты.1013. Любая строка ASCII также является корректным текстом UTF-8.1024. UTF-8 довольно компактна; большинство кодовых точек преобразуются в два байта, а значения меньше 128 занимают только один байт.1035. Если байты повреждены или потеряны, можно определить начало следующей UTF-8-кодовой точки и восстановить синхронизацию. Кроме того, маловероятно, что случайные 8-битные данные будут выглядеть как корректный UTF-8.104105### Ссылки106107На сайте Unicode Consortium по адресу \<[http://www.unicode.org](https://python-all.ru/2.6/howto/unicode.html)\> есть таблицы символов, глоссарий и PDF-версии спецификации Unicode. Будьте готовы к сложному чтению. \<[http://www.unicode.org/history/](https://python-all.ru/2.6/howto/unicode.html)\> – это хронология происхождения и развития Unicode.108109Чтобы помочь понять стандарт, Юкка Корпела написал вводное руководство по чтению таблиц символов Unicode, доступное по адресу \<[http://www.cs.tut.fi/~jkorpela/unicode/guide.html](https://python-all.ru/2.6/howto/unicode.html)\>.110111Ещё одну хорошую вводную статью написал Джоэл Спольски \<[http://www.joelonsoftware.com/articles/Unicode.html](https://python-all.ru/2.6/howto/unicode.html)\>. Если это введение не прояснило для вас ситуацию, попробуйте прочитать эту альтернативную статью, прежде чем продолжать.112113Статьи в Википедии часто полезны; см. статьи «character encoding» \<[http://en.wikipedia.org/wiki/Character\_encoding](https://python-all.ru/2.6/howto/unicode.html)\> и UTF-8 \<[http://en.wikipedia.org/wiki/UTF-8](https://python-all.ru/2.6/howto/unicode.html)\>, например.114115## Поддержка Юникода в Python116117Теперь, когда вы освоили основы Юникода, давайте рассмотрим возможности Python по работе с ним.118119### Тип Unicode120121Строки Unicode представлены экземплярами типа [`unicode`](https://python-all.ru/2.6/library/functions.html#unicode), одного из встроенных типов Python. Он происходит от абстрактного типа [`basestring`](https://python-all.ru/2.6/library/functions.html#basestring), который также является предком типа [`str`](https://python-all.ru/2.6/library/functions.html#str); поэтому можно проверить, является ли значение строковым типом, с помощью `isinstance(value, basestring)`. Под капотом Python представляет строки Unicode как 16- или 32-битные целые числа, в зависимости от того, как был скомпилирован интерпретатор Python.122123Конструктор [`unicode()`](https://python-all.ru/2.6/library/functions.html#unicode) имеет сигнатуру `unicode(string[, encoding, errors])`. Все его аргументы должны быть 8-битными строками. Первый аргумент преобразуется в Unicode с использованием указанной кодировки; если опустить аргумент `encoding`, для преобразования используется кодировка ASCII, поэтому символы с кодом больше 127 будут приводить к ошибке:124125```python126>>> unicode('abcdef')127u'abcdef'128>>> s = unicode('abcdef')129>>> type(s)130<type 'unicode'>131>>> unicode('abcdef' + chr(255))132Traceback (most recent call last):133 File "<stdin>", line 1, in ?134UnicodeDecodeError: 'ascii' codec can't decode byte 0xff in position 6:135 ordinal not in range(128)136```137138Аргумент `errors` определяет реакцию на случай, если входную строку нельзя преобразовать в соответствии с правилами кодировки. Допустимые значения этого аргумента: ‘strict’ (вызвать исключение `UnicodeDecodeError`), ‘replace’ (добавить U+FFFD, ‘REPLACEMENT CHARACTER’) или ‘ignore’ (просто пропустить символ в результате Unicode). Следующие примеры показывают различия:139140```python141>>> unicode('\x80abc', errors='strict')142Traceback (most recent call last):143 File "<stdin>", line 1, in ?144UnicodeDecodeError: 'ascii' codec can't decode byte 0x80 in position 0:145 ordinal not in range(128)146>>> unicode('\x80abc', errors='replace')147u'\ufffdabc'148>>> unicode('\x80abc', errors='ignore')149u'abc'150```151152Кодировки задаются строками, содержащими имя кодировки. Python 2.4 поставляется примерно со 100 различными кодировками; список см. в справочнике по библиотеке Python в разделе [*Standard Encodings*](https://python-all.ru/2.6/library/codecs.html#standard-encodings). Некоторые кодировки имеют несколько имён; например, ‘latin-1’, ‘iso\_8859\_1’ и ‘8859’ – это синонимы одной и той же кодировки.153154Односимвольные строки Unicode также можно создать с помощью встроенной функции [`unichr()`](https://python-all.ru/2.6/library/functions.html#unichr), которая принимает целые числа и возвращает строку Unicode длиной 1, содержащую соответствующую кодовую точку. Обратная операция – встроенная функция [`ord()`](https://python-all.ru/2.6/library/functions.html#ord), которая принимает односимвольную строку Unicode и возвращает значение кодовой точки:155156```python157>>> unichr(40960)158u'\ua000'159>>> ord(u'\ua000')16040960161```162163Экземпляры типа [`unicode`](https://python-all.ru/2.6/library/functions.html#unicode) имеют множество тех же методов, что и 8-битный строковый тип, для таких операций, как поиск и форматирование:164165```python166>>> s = u'Was ever feather so lightly blown to and fro as this multitude?'167>>> s.count('e')1685169>>> s.find('feather')1709171>>> s.find('bird')172-1173>>> s.replace('feather', 'sand')174u'Was ever sand so lightly blown to and fro as this multitude?'175>>> s.upper()176u'WAS EVER FEATHER SO LIGHTLY BLOWN TO AND FRO AS THIS MULTITUDE?'177```178179Обратите внимание: аргументы этих методов могут быть строками Unicode или 8-битными строками. Перед выполнением операции 8-битные строки будут преобразованы в Unicode; при этом будет использоваться кодировка ASCII по умолчанию, поэтому символы больше 127 приведут к исключению:180181```python182>>> s.find('Was\x9f')183Traceback (most recent call last):184 File "<stdin>", line 1, in ?185UnicodeDecodeError: 'ascii' codec can't decode byte 0x9f in position 3: ordinal not in range(128)186>>> s.find(u'Was\x9f')187-1188```189190Большая часть кода Python, работающего со строками, поэтому будет работать и со строками Unicode без каких-либо изменений. (Коду ввода-вывода требуется более серьёзная адаптация для Unicode; подробнее об этом позже.)191192Ещё один важный метод – `.encode([encoding], [errors='strict'])`, который возвращает 8-битную строковую версию строки Unicode, закодированную в запрошенной кодировке. Параметр `errors` аналогичен параметру конструктора `unicode()`, с одним дополнительным вариантом; помимо ‘strict’, ‘ignore’ и ‘replace’, можно также передать ‘xmlcharrefreplace’, который использует символьные ссылки XML. Следующий пример показывает различные результаты:193194```python195>>> u = unichr(40960) + u'abcd' + unichr(1972)196>>> u.encode('utf-8')197'\xea\x80\x80abcd\xde\xb4'198>>> u.encode('ascii')199Traceback (most recent call last):200 File "<stdin>", line 1, in ?201UnicodeEncodeError: 'ascii' codec can't encode character '\ua000' in position 0: ordinal not in range(128)202>>> u.encode('ascii', 'ignore')203'abcd'204>>> u.encode('ascii', 'replace')205'?abcd?'206>>> u.encode('ascii', 'xmlcharrefreplace')207'ꀀabcd޴'208```2092108-битные строки Python имеют метод `.decode([encoding], [errors])`, который интерпретирует строку с использованием заданной кодировки:211212```python213>>> u = unichr(40960) + u'abcd' + unichr(1972) # Собрать строку214>>> utf8_version = u.encode('utf-8') # Закодировать в UTF-8215>>> type(utf8_version), utf8_version216(<type 'str'>, '\xea\x80\x80abcd\xde\xb4')217>>> u2 = utf8_version.decode('utf-8') # Декодировать с использованием UTF-8218>>> u == u2 # Две строки совпадают219True220```221222Низкоуровневые процедуры для регистрации и доступа к доступным кодировкам находятся в модуле [`codecs`](https://python-all.ru/2.6/library/codecs.html#module-codecs). Однако функции кодирования и декодирования, возвращаемые этим модулем, обычно слишком низкоуровневые для удобного использования, поэтому я не буду описывать модуль [`codecs`](https://python-all.ru/2.6/library/codecs.html#module-codecs) здесь. Если вам нужно реализовать совершенно новую кодировку, вам придётся изучить интерфейсы модуля [`codecs`](https://python-all.ru/2.6/library/codecs.html#module-codecs), но реализация кодировок – специализированная задача, которая также не будет рассмотрена здесь. Обратитесь к документации Python, чтобы узнать больше об этом модуле.223224Наиболее часто используемая часть модуля [`codecs`](https://python-all.ru/2.6/library/codecs.html#module-codecs) – это функция [`codecs.open()`](https://python-all.ru/2.6/library/codecs.html#codecs.open), которая будет рассмотрена в разделе, посвящённом вводу и выводу.225226### Литералы Unicode в исходном коде Python227228В исходном коде Python строковые литералы Unicode записываются как строки с префиксом ‘u’ или ‘U’: `u'abcdefghijk'`. Конкретные кодовые точки можно записать с помощью escape-последовательности `\u`, за которой следуют четыре шестнадцатеричные цифры, задающие кодовую точку. Escape-последовательность `\U` аналогична, но ожидает 8 шестнадцатеричных цифр, а не 4.229230Литералы Unicode также могут использовать те же escape-последовательности, что и 8-битные строки, включая `\x`, но `\x` принимает только две шестнадцатеричные цифры, поэтому не может выразить произвольную кодовую точку. Восьмеричные escape-последовательности могут доходить до U+01ff, что равно восьмеричному 777.231232```python233>>> s = u"a\xac\u1234\u20ac\U00008000"234 ^^^^ two-digit hex escape235 ^^^^^^ four-digit Unicode escape236 ^^^^^^^^^^ eight-digit Unicode escape237>>> for c in s: print ord(c),238...23997 172 4660 8364 32768240```241242Использование escape-последовательностей для кодовых точек больше 127 приемлемо в небольших объёмах, но становится раздражающим, если используется много символов с диакритическими знаками, как в программе с сообщениями на французском или другом языке, использующем диакритические знаки. Можно также собирать строки с помощью встроенной функции [`unichr()`](https://python-all.ru/2.6/library/functions.html#unichr), но это ещё более утомительно.243244В идеале хотелось бы иметь возможность записывать литералы в естественной кодировке вашего языка. Тогда можно было бы редактировать исходный код Python в любимом редакторе, который будет отображать символы с диакритическими знаками естественно, а при выполнении программы будут использоваться правильные символы.245246Python поддерживает запись литералов Unicode в любой кодировке, но необходимо объявить используемую кодировку. Это делается путём включения специального комментария либо в первую, либо во вторую строку исходного файла:247248```python249#!/usr/bin/env python250# -*- coding: latin-1 -*-251252u = u'abcdé'253print ord(u[-1])254```255256Синтаксис вдохновлён нотацией Emacs для указания переменных, локальных для файла. Emacs поддерживает множество различных переменных, но Python поддерживает только «coding». Символы `-*-` указывают Emacs, что комментарий особенный; для Python они не имеют значения, но являются соглашением. Python ищет в комментарии `coding: name` или `coding=name`.257258Если не включить такой комментарий, по умолчанию будет использоваться кодировка ASCII. Версии Python до 2.4 были евроцентричными и по умолчанию использовали Latin-1 для строковых литералов; в Python 2.4 символы больше 127 по-прежнему работают, но выдают предупреждение. Например, следующая программа не имеет объявления кодировки:259260```python261#!/usr/bin/env python262u = u'abcdé'263print ord(u[-1])264```265266При запуске на Python 2.4 будет выведено следующее предупреждение:267268```python269amk:~$ python p263.py270sys:1: DeprecationWarning: Non-ASCII character '\xe9'271 in file p263.py on line 2, but no encoding declared;272 see http://www.python.org/peps/pep-0263.html for details273```274275### Свойства Unicode276277Спецификация Unicode включает базу данных информации о кодовых точках. Для каждой определённой кодовой точки информация включает имя символа, его категорию, числовое значение, если применимо (Unicode имеет символы, представляющие римские цифры и дроби, такие как одна треть и четыре пятых). Также есть свойства, связанные с использованием кодовой точки в двунаправленном тексте и другие свойства, связанные с отображением.278279Следующая программа выводит некоторую информацию о нескольких символах и печатает числовое значение одного конкретного символа:280281```python282import unicodedata283284u = unichr(233) + unichr(0x0bf2) + unichr(3972) + unichr(6000) + unichr(13231)285286for i, c in enumerate(u):287 print i, '%04x' % ord(c), unicodedata.category(c),288 print unicodedata.name(c)289290# Получить числовое значение второго символа291print unicodedata.numeric(u[1])292```293294При запуске выводится:295296```python2970 00e9 Ll LATIN SMALL LETTER E WITH ACUTE2981 0bf2 No TAMIL NUMBER ONE THOUSAND2992 0f84 Mn TIBETAN MARK HALANTA3003 1770 Lo TAGBANWA LETTER SA3014 33af So SQUARE RAD OVER S SQUARED3021000.0303```304305Коды категорий – это аббревиатуры, описывающие природу символа. Они группируются в категории, такие как «Letter», «Number», «Punctuation» или «Symbol», которые, в свою очередь, делятся на подкатегории. Возьмём коды из приведённого выше вывода: `'Ll'` означает «Letter, lowercase», `'No'` означает «Number, other», `'Mn'` – «Mark, nonspacing», а `'So'` – «Symbol, other». См. \<[http://unicode.org/Public/5.1.0/ucd/UCD.html#General\_Category\_Values](https://python-all.ru/2.6/howto/unicode.html)\> для списка кодов категорий.306307### Ссылки308309Типы строк Unicode и 8-битных строк описаны в справочнике по библиотеке Python в разделе [*Sequence Types – str, unicode, list, tuple, buffer, xrange*](https://python-all.ru/2.6/library/stdtypes.html#typesseq).310311Документация модуля [`unicodedata`](https://python-all.ru/2.6/library/unicodedata.html#module-unicodedata).312313Документация модуля [`codecs`](https://python-all.ru/2.6/library/codecs.html#module-codecs).314315Марк-Андре Лембург провёл презентацию на EuroPython 2002 под названием «Python and Unicode». PDF-версия его слайдов доступна по адресу \<[http://downloads.egenix.com/python/Unicode-EPC2002-Talk.pdf](https://python-all.ru/2.6/howto/unicode.html)\> и представляет собой отличный обзор дизайна возможностей Unicode в Python.316317## Чтение и запись данных Unicode318319После написания кода, работающего с данными Unicode, следующая проблема – ввод/вывод. Как передавать строки Unicode в программу и как преобразовывать Unicode в форму, подходящую для хранения или передачи?320321Возможно, вам может не понадобиться ничего делать в зависимости от источников ввода и мест назначения вывода; следует проверить, поддерживают ли библиотеки, используемые в вашем приложении, Unicode нативно. Например, XML-парсеры часто возвращают данные в Unicode. Многие реляционные базы данных также поддерживают столбцы со значением Unicode и могут возвращать значения Unicode из SQL-запросов.322323Данные Unicode обычно преобразуются в определённую кодировку перед записью на диск или отправкой через сокет. Всю эту работу можно выполнить самостоятельно: открыть файл, прочитать из него 8-битную строку и преобразовать её с помощью `unicode(str, encoding)`. Однако ручной подход не рекомендуется.324325Одна из проблем – многобайтовая природа кодировок: один символ Unicode может быть представлен несколькими байтами. Если нужно читать файл фрагментами произвольного размера (скажем, 1 КБ или 4 КБ), придётся писать код обработки ошибок для случаев, когда на границе фрагмента оказалась только часть байтов, кодирующих один символ Unicode. Одно из решений – прочитать весь файл в память и затем декодировать, но это не позволяет работать с очень большими файлами: если нужно прочитать файл размером 2 ГБ, потребуется 2 ГБ оперативной памяти. (Даже больше, ведь в какой-то момент в памяти должны находиться и закодированная строка, и её версия в Unicode.)326327Решением было бы использование низкоуровневого интерфейса декодирования для обработки случая частичных кодированных последовательностей. Работа по его реализации уже сделана за вас: модуль [`codecs`](https://python-all.ru/2.6/library/codecs.html#module-codecs) включает версию функции [`open()`](https://python-all.ru/2.6/library/functions.html#open), которая возвращает файлоподобный объект, предполагающий, что содержимое файла находится в указанной кодировке, и принимающий параметры Unicode для таких методов, как `.read()` и `.write()`.328329Параметры функции: `open(filename, mode='rb', encoding=None, errors='strict', buffering=1)`. `mode` может быть `'r'`, `'w'` или `'a'`, как и соответствующий параметр обычной встроенной функции `open()`; добавьте `'+'` для обновления файла. `buffering` аналогичен параметру стандартной функции. `encoding` – строка, задающая используемую кодировку; если оставить `None`, возвращается обычный файловый объект Python, принимающий 8-битные строки. В противном случае возвращается объект-обёртка, и данные, записываемые в обёртку или читаемые из неё, будут преобразованы по мере необходимости. `errors` определяет действие при ошибках кодирования и может принимать одно из обычных значений: ‘strict’, ‘ignore’ или ‘replace’.330331Чтение Unicode из файла, таким образом, просто:332333```python334import codecs335f = codecs.open('unicode.rst', encoding='utf-8')336for line in f:337 print repr(line)338```339340Также можно открывать файлы в режиме обновления, позволяющем как чтение, так и запись:341342```python343f = codecs.open('test', encoding='utf-8', mode='w+')344f.write(u'\u4500 blah blah blah\n')345f.seek(0)346print repr(f.readline()[:1])347f.close()348```349350Символ Unicode U+FEFF используется в качестве метки порядка байтов (BOM) и часто записывается как первый символ файла для облегчения автоматического определения порядка байтов. Некоторые кодировки, такие как UTF-16, ожидают наличие BOM в начале файла; при использовании такой кодировки BOM автоматически записывается как первый символ и незаметно удаляется при чтении файла. Существуют варианты этих кодировок, например ‘utf-16-le’ и ‘utf-16-be’ для little-endian и big-endian соответственно, которые задают определённый порядок байтов и не пропускают BOM.351352### Имена файлов в Unicode353354Большинство распространённых сегодня операционных систем поддерживают имена файлов, содержащие произвольные символы Unicode. Обычно это реализуется преобразованием строки Unicode в некоторую кодировку, которая зависит от системы. Например, Mac OS X использует UTF-8, тогда как Windows использует настраиваемую кодировку; в Windows Python использует имя «mbcs» для обозначения текущей настроенной кодировки. В системах Unix кодировка файловой системы будет доступна только при установке переменных среды `LANG` или `LC_CTYPE`; если они не установлены, кодировка по умолчанию – ASCII.355356Функция [`sys.getfilesystemencoding()`](https://python-all.ru/2.6/library/sys.html#sys.getfilesystemencoding) возвращает кодировку, используемую в текущей системе, на случай, если понадобится выполнить кодирование вручную, но обычно в этом нет особой необходимости. При открытии файла для чтения или записи можно просто передать строку Юникода в качестве имени файла, и она будет автоматически преобразована в нужную кодировку.357358```python359filename = u'filename\u4500abc'360f = open(filename, 'w')361f.write('blah\n')362f.close()363```364365Функции из модуля [`os`](https://python-all.ru/2.6/library/os.html#module-os), такие как [`os.stat()`](https://python-all.ru/2.6/library/os.html#os.stat), также принимают имена файлов в Юникоде.366367[`os.listdir()`](https://python-all.ru/2.6/library/os.html#os.listdir), которая возвращает имена файлов, вызывает вопрос: должна ли она возвращать версию имён файлов в Unicode или 8-битные строки, содержащие закодированные версии? [`os.listdir()`](https://python-all.ru/2.6/library/os.html#os.listdir) делает и то, и другое, в зависимости от того, передан ли путь к каталогу как 8-битная строка или как строка Unicode. Если передать строку Unicode в качестве пути, имена файлов будут декодированы с использованием кодировки файловой системы, и будет возвращён список строк Unicode, тогда как передача 8-битного пути вернёт 8-битные версии имён файлов. Например, в предположении, что кодировка файловой системы по умолчанию – UTF-8, выполнение следующей программы:368369```python370fn = u'filename\u4500abc'371f = open(fn, 'w')372f.close()373374import os375print os.listdir('.')376print os.listdir(u'.')377```378379выдаст следующий результат:380381```python382amk:~$ python t.py383['.svn', 'filename\xe4\x94\x80abc', ...]384[u'.svn', u'filename\u4500abc', ...]385```386387Первый список содержит имена файлов в кодировке UTF-8, а второй список – версии в Unicode.388389### Советы по написанию программ с поддержкой Unicode390391В этом разделе приводятся некоторые рекомендации по написанию программного обеспечения, работающего с Unicode.392393Самый важный совет:394395> Программное обеспечение должно работать только со строками Unicode внутри себя, выполняя преобразование в определённую кодировку на выходе.396397Если попытаться написать функции обработки, которые принимают как строки Unicode, так и 8-битные строки, программа окажется уязвимой к ошибкам везде, где объединяются два разных типа строк. Кодировка Python по умолчанию – ASCII, поэтому, если во входных данных встречается символ со значением ASCII \> 127, возникнет исключение [`UnicodeDecodeError`](https://python-all.ru/2.6/library/exceptions.html#exceptions.UnicodeDecodeError), поскольку этот символ не может быть обработан кодировкой ASCII.398399Такие проблемы легко упустить, если тестировать программу только на данных без диакритических знаков: всё будет казаться рабочим, но на самом деле в программе есть ошибка, которая ждёт первого же пользователя, попытавшегося использовать символы \> 127. Поэтому второй совет таков:400401> Включайте в тестовые данные символы \> 127, а ещё лучше – символы \> 255.402403При работе с данными из веб-браузера или другого ненадёжного источника распространённый приём – проверять строку на наличие недопустимых символов перед использованием в генерируемой командной строке или сохранением в базу данных. Если вы это делаете, проверяйте строку уже в той форме, в которой она будет использоваться или храниться: кодировки могут применяться для маскировки символов. Это особенно актуально, если входные данные также задают кодировку; многие кодировки оставляют обычно проверяемые символы без изменений, но Python включает некоторые кодировки, например `'base64'`, которые изменяют каждый символ.404405Например, предположим, есть система управления контентом, которая принимает имя файла в Unicode, и нужно запретить пути с символом '/'. Можно написать такой код:406407```python408def read_file (filename, encoding):409 if '/' in filename:410 raise ValueError("'/' not allowed in filenames")411 unicode_name = filename.decode(encoding)412 f = open(unicode_name, 'r')413 # ... вернуть содержимое файла ...414```415416Однако если злоумышленник может задать кодировку `'base64'`, он может передать `'L2V0Yy9wYXNzd2Q='`, что является строкой в base64 от `'/etc/passwd'`, чтобы прочитать системный файл. Приведённый выше код ищет символы `'/'` в закодированной форме и пропускает опасный символ в результирующей декодированной форме.417418### Ссылки419420PDF-слайды презентации Марка-Андре Лембурга «Writing Unicode-aware Applications in Python» доступны по адресу \<[http://downloads.egenix.com/python/LSM2005-Developing-Unicode-aware-applications-in-Python.pdf](https://python-all.ru/2.6/howto/unicode.html)\> и обсуждают вопросы кодировок символов, а также интернационализацию и локализацию приложений.421422## История изменений и благодарности423424Благодарности следующим людям, которые указали на ошибки или предложили улучшения для этой статьи: Nicholas Bastin, Marius Gedminas, Kent Johnson, Ken Krugler, Marc-André Lemburg, Martin von Löwis, Chad Whitacre.425426Версия 1.0: опубликована 5 августа 2005 года.427428Версия 1.01: опубликована 7 августа 2005 года. Исправлены фактические ошибки и ошибки разметки; добавлено несколько ссылок.429430Версия 1.02: опубликована 16 августа 2005 года. Исправлены фактические ошибки.431