2. Лексический анализ¶Lexical analysis

2.1.1. Логические строки¶Logical lines

Конец логической строки обозначается токеном NEWLINE. Инструкции не могут пересекать границы логических строк, за исключением случаев, когда NEWLINE допускается синтаксисом (например, между инструкциями в составных инструкциях). Логическая строка строится из одной или нескольких физических строк путём следования правилам явного или неявного объединения строк.

2.1.2. Физические строки¶Physical lines

Физическая строка – это последовательность символов, завершающаяся последовательностью конца строки. В исходных файлах можно использовать любую из стандартных для платформы последовательностей конца строки: в стиле Unix – ASCII LF (перевод строки), в Windows – последовательность ASCII CR LF (возврат каретки с переводом строки) или в старом стиле Macintosh – символ ASCII CR (возврат каретки). Все эти формы равноправны и могут использоваться независимо от платформы.

При встраивании Python строки исходного кода следует передавать в Python API, используя стандартные соглашения C для символов новой строки (символ \n, представляющий ASCII LF, является терминатором строки).

2.1.3. Комментарии¶Comments

Комментарий начинается с символа решётки (#), не входящего в строковый литерал, и заканчивается в конце физической строки. Комментарий означает конец логической строки, если только не применяются правила неявного объединения строк. Синтаксис игнорирует комментарии; они не являются токенами.

2.1.4. Объявления кодировки¶Encoding declarations

Если комментарий в первой или второй строке скрипта Python соответствует регулярному выражению coding[=:]\s*([-\w.]+), этот комментарий обрабатывается как объявление кодировки; первая группа этого выражения задаёт кодировку исходного файла. Рекомендуемые формы этого выражения:

# -*- coding: <encoding-name> -*-

которая распознаётся также GNU Emacs, и

# vim:fileencoding=<encoding-name>

которая распознаётся VIM от Брама Муленаара.

Если объявление кодировки не найдено, кодировкой по умолчанию является UTF-8. Кроме того, если первые байты файла представляют собой маркер последовательности байтов UTF-8 (b'\xef\xbb\xbf'), объявленная кодировка файла – UTF-8 (это поддерживается, в частности, Блокнотом Microsoft).

Если объявлена кодировка, её имя должно быть распознано Python. Эта кодировка используется для всего лексического анализа, включая строковые литералы, комментарии и идентификаторы. Объявление кодировки должно располагаться на отдельной строке.

2.1.5. Явное объединение строк¶Explicit line joining

Две или более физические строки могут быть объединены в логические строки с помощью символа обратной косой черты (\) следующим образом: если физическая строка заканчивается обратной косой чертой, которая не является частью строкового литерала или комментария, она объединяется со следующей строкой, образуя одну логическую строку; при этом обратная косая черта и следующий за ней символ конца строки удаляются. Например:

if 1900 < year < 2100 and 1 <= month <= 12 \
   and 1 <= day <= 31 and 0 <= hour < 24 \
   and 0 <= minute < 60 and 0 <= second < 60:   # Похоже на корректную дату
        return 1

Строка, заканчивающаяся обратной косой чертой, не может содержать комментарий. Обратная косая черта не продолжает комментарий. Обратная косая черта не продолжает токен, за исключением строковых литералов (т.е. токены, отличные от строковых литералов, нельзя разделять между физическими строками с помощью обратной косой черты). Обратная косая черта недопустима в других местах строки вне строкового литерала.

2.1.6. Неявное объединение строк¶Implicit line joining

Выражения в круглых, квадратных или фигурных скобках можно разбивать на несколько физических строк без использования обратной косой черты. Например:

month_names = ['Januari', 'Februari', 'Maart',      # Это
               'April',   'Mei',      'Juni',       # голландские названия
               'Juli',    'Augustus', 'September',  # для месяцев
               'Oktober', 'November', 'December']   # года

Неявно продолжаемые строки могут содержать комментарии. Отступ строк продолжения не важен. Допускаются пустые строки продолжения. Между неявно продолжаемыми строками не генерируется токен NEWLINE. Неявно продолжаемые строки также могут встречаться внутри строк в тройных кавычках (см. ниже); в этом случае они не могут содержать комментарии.

2.1.7. Пустые строки¶Blank lines

Логическая строка, содержащая только пробелы, табуляции, символы перевода страницы и, возможно, комментарий, игнорируется (т. е. токен NEWLINE не генерируется). Во время интерактивного ввода инструкций обработка пустой строки может различаться в зависимости от реализации цикла чтения-вычисления-печати. В стандартном интерактивном интерпретаторе полностью пустая логическая строка (т. е. не содержащая даже пробельных символов или комментария) завершает многострочную инструкцию.

2.1.8. Отступы¶Indentation

Начальные пробельные символы (пробелы и табуляции) в начале логической строки используются для вычисления уровня отступа строки, который, в свою очередь, используется для определения группировки инструкций.

Символы табуляции заменяются (слева направо) на от одного до восьми пробелов так, чтобы общее количество символов до и включая замену было кратно восьми (это то же правило, что используется в Unix). Общее количество пробелов перед первым непробельным символом затем определяет отступ строки. Отступ нельзя разделить на несколько физических строк с помощью обратной косой черты; пробельные символы до первой обратной косой черты определяют отступ.

Отступ считается недопустимым, если исходный файл смешивает табуляцию и пробелы таким образом, что смысл зависит от размера табуляции в пробелах; в этом случае вызывается TabError.

Примечание о кроссплатформенной совместимости: из-за особенностей текстовых редакторов на платформах, отличных от UNIX, не рекомендуется использовать смесь пробелов и табуляции для отступов в одном исходном файле. Также следует отметить, что разные платформы могут явно ограничивать максимальный уровень отступа.

Символ перевода страницы может присутствовать в начале строки; он будет игнорироваться при вычислении отступа, описанном выше. Символы перевода страницы, встречающиеся в других местах начальных пробельных символов, имеют неопределённый эффект (например, они могут сбросить счётчик пробелов до нуля).

Уровни отступа последовательных строк используются для генерации токенов INDENT и DEDENT, применяя стек, следующим образом.

Before the first line of the file is read, a single zero is pushed on the stack; this will never be popped off again. The numbers pushed on the stack will always be strictly increasing from bottom to top. At the beginning of each logical line, the line’s indentation level is compared to the top of the stack. If it is equal, nothing happens. If it is larger, it is pushed on the stack, and one INDENT token is generated. If it is smaller, it must be one of the numbers occurring on the stack; all numbers on the stack that are larger are popped off, and for each number popped off a DEDENT token is generated. At the end of the file, a DEDENT token is generated for each number remaining on the stack that is larger than zero.

Вот пример корректно (хотя и запутанно) оформленного отступами фрагмента кода Python:

def perm(l):
        # Вычислить список всех перестановок l
    if len(l) <= 1:
                  return [l]
    r = []
    for i in range(len(l)):
             s = l[:i] + l[i+1:]
             p = perm(s)
             for x in p:
              r.append(l[i:i+1] + x)
    return r

Следующий пример показывает различные ошибки отступов:

 def perm(l):                       # ошибка: первая строка с отступом
for i in range(len(l)):             # ошибка: нет отступа
    s = l[:i] + l[i+1:]
        p = perm(l[:i] + l[i+1:])   # ошибка: неожиданный отступ
        for x in p:
                r.append(l[i:i+1] + x)
            return r                # ошибка: несоответствие отступа

(На самом деле первые три ошибки обнаруживаются синтаксическим анализатором; только последняя ошибка находится лексическим анализатором – отступ return r не соответствует уровню, извлечённому из стека.)

2.1.9. Пробелы между токенами¶Whitespace between tokens

За исключением начала логической строки или строковых литералов, пробельные символы (пробел, табуляция, перевод страницы) могут использоваться взаимозаменяемо для разделения токенов. Пробел требуется между двумя токенами только в том случае, если их объединение может быть интерпретировано как другой токен (например, ab – один токен, а a b – два токена).

2.3.1. Ключевые слова¶Keywords

The following identifiers are used as reserved words, or keywords of the language, and cannot be used as ordinary identifiers. They must be spelled exactly as written here:

False      class      finally    is         return
None       continue   for        lambda     try
True       def        from       nonlocal   while
and        del        global     not        with
as         elif       if         or         yield
assert     else       import     pass
break      except     in         raise

2.3.2. Зарезервированные классы идентификаторов¶Reserved classes of identifiers

Некоторые классы идентификаторов (помимо ключевых слов) имеют специальное значение. Эти классы определяются по шаблонам ведущих и завершающих символов подчёркивания:

_*

Не импортируется from module import *. Специальный идентификатор _ используется в интерактивном интерпретаторе для хранения результата последнего вычисления; он хранится в модуле builtins. Когда интерактивный режим не активен, _ не имеет специального значения и не определён. См. раздел Инструкция import.

Примечание

Имя _ часто используется в связи с интернационализацией; обратитесь к документации модуля gettext для получения дополнительной информации об этом соглашении.

__*__

Системные имена. Эти имена определяются интерпретатором и его реализацией (включая стандартную библиотеку). Текущие системные имена обсуждаются в разделе Специальные имена методов и в других местах. В будущих версиях Python, скорее всего, появится больше таких имён. Любое использование имён __*__, в любом контексте, не соответствующее явно задокументированному назначению, может быть нарушено без предупреждения.

__*

Приватные имена классов. Имена этой категории при использовании в контексте определения класса переписываются в искажённую форму, чтобы избежать конфликтов имён между «приватными» атрибутами базовых и производных классов. См. раздел Идентификаторы (имена).

2.4.1. Строковые литералы и литералы байтов¶String and Bytes literals

Строковые литералы описываются следующими лексическими определениями:

stringliteral   ::=  [stringprefix](shortstring | longstring)
stringprefix    ::=  "r" | "R"
shortstring     ::=  "'" shortstringitem* "'" | '"' shortstringitem* '"'
longstring      ::=  "'''" longstringitem* "'''" | '"""' longstringitem* '"""'
shortstringitem ::=  shortstringchar | stringescapeseq
longstringitem  ::=  longstringchar | stringescapeseq
shortstringchar ::=  <any source character except "\" or newline or the quote>
longstringchar  ::=  <any source character except "\">
stringescapeseq ::=  "\" <any source character>

bytesliteral   ::=  bytesprefix(shortbytes | longbytes)
bytesprefix    ::=  "b" | "B" | "br" | "Br" | "bR" | "BR"
shortbytes     ::=  "'" shortbytesitem* "'" | '"' shortbytesitem* '"'
longbytes      ::=  "'''" longbytesitem* "'''" | '"""' longbytesitem* '"""'
shortbytesitem ::=  shortbyteschar | bytesescapeseq
longbytesitem  ::=  longbyteschar | bytesescapeseq
shortbyteschar ::=  <any ASCII character except "\" or newline or the quote>
longbyteschar  ::=  <any ASCII character except "\">
bytesescapeseq ::=  "\" <any ASCII character>

Одно синтаксическое ограничение, не указанное в этих правилах, заключается в том, что пробелы не допускаются между stringprefix или bytesprefix и остальной частью литерала. Набор символов источника определяется объявлением кодировки; по умолчанию UTF-8, если объявление кодировки не задано в исходном файле; см. раздел Объявления кодировки.

Простыми словами: оба типа литералов могут быть заключены в парные одинарные кавычки (') или двойные кавычки ("). Они также могут быть заключены в парные группы из трёх одинарных или двойных кавычек (обычно называются строками в тройных кавычках). Символ обратной косой черты (\) используется для экранирования символов, которые в противном случае имеют специальное значение, таких как новая строка, сама обратная косая черта или символ кавычки.

Литералы байтов всегда имеют префикс 'b' или 'B'; они создают экземпляр типа bytes вместо типа str. Они могут содержать только ASCII-символы; байты со значением 128 или больше должны быть выражены с помощью escape-последовательностей.

Строковые литералы и литералы байтов могут начинаться с буквы 'r' или 'R'; такие строки называются сырыми строками и воспринимают обратную косую черту как обычный символ. В результате в строковых литералах управляющие последовательности '\\U' и '\\u' в сырых строках не обрабатываются особым образом.

В строках с тройными кавычками допускаются неэкранированные переводы строк и кавычки (они сохраняются), за исключением того, что три неэкранированные кавычки подряд завершают строку. (Под «кавычкой» понимается символ, которым открывается строка, то есть либо ', либо ".)

Если не указан префикс 'r' или 'R', управляющие последовательности в строках интерпретируются по правилам, аналогичным используемым в Standard C. Распознаваемые управляющие последовательности:

Управляющие последовательности, распознаваемые только в строковых литералах:

Примечания:

1. Как и в стандарте C, допускается до трёх восьмеричных цифр.
2. В отличие от стандартного C, требуется ровно две шестнадцатеричные цифры.
3. В байтовом литерале шестнадцатеричные и восьмеричные управляющие последовательности обозначают байт с заданным значением. В строковом литерале эти управляющие последовательности обозначают символ Unicode с заданным значением.
4. Отдельные кодовые единицы, составляющие части суррогатной пары, могут быть закодированы с помощью этой управляющей последовательности. Требуются ровно четыре шестнадцатеричных цифры.
5. Любой символ Unicode можно закодировать таким способом, но символы за пределами Основной многоязычной плоскости (BMP) будут закодированы с использованием суррогатной пары, если Python скомпилирован с использованием 16-битных кодовых единиц (по умолчанию). Требуется ровно восемь шестнадцатеричных цифр.

В отличие от Standard C, все нераспознанные управляющие последовательности остаются в строке неизменными, то есть обратная косая черта остаётся в строке. (Такое поведение полезно при отладке: если управляющая последовательность набрана с ошибкой, полученный вывод легче распознать как сломанный.) Также важно отметить, что управляющие последовательности, распознаваемые только в строковых литералах, относятся к категории нераспознанных для байтовых литералов.

Даже в сырой строке кавычки строки можно экранировать обратной косой чертой, но обратная косая черта остаётся в строке; например, r"\"" – это допустимый строковый литерал, состоящий из двух символов: обратной косой черты и двойной кавычки; r"\" не является допустимым строковым литералом (даже сырая строка не может заканчиваться нечётным количеством обратных косых черт). В частности, сырая строка не может заканчиваться одной обратной косой чертой (поскольку обратная косая черта экранировала бы следующий символ кавычки). Также обратите внимание, что одиночная обратная косая черта, за которой следует перевод строки, интерпретируется как два этих символа в составе строки, а не как продолжение строки.

2.4.2. Конкатенация строковых литералов¶String literal concatenation

Допускается использование нескольких смежных строковых литералов или литералов байтов (разделенных пробелами), возможно с разными соглашениями о кавычках, и их значение равно их конкатенации. Таким образом, "hello" 'world' эквивалентно "helloworld". Эта возможность может использоваться для уменьшения количества необходимых обратных косых черт, для удобного разделения длинных строк на несколько строк или даже для добавления комментариев к частям строк, например:

re.compile("[A-Za-z_]"       # буква или подчёркивание
           "[A-Za-z0-9_]*"   # буква, цифра или подчёркивание
          )

Обратите внимание, что эта возможность определяется на синтаксическом уровне, но реализуется на этапе компиляции. Оператор '+' должен использоваться для конкатенации строковых выражений во время выполнения. Также обратите внимание, что при конкатенации литералов для каждого компонента можно использовать разные стили кавычек (в том числе смешивать сырые строки и строки в тройных кавычках).

2.4.3. Числовые литералы¶Numeric literals

Существует три типа числовых литералов: целые числа, числа с плавающей запятой и мнимые числа. Комплексных литералов нет (комплексные числа можно получить сложением действительного и мнимого чисел).

Обратите внимание, что числовые литералы не включают знак; конструкция вида -1 на самом деле является выражением, состоящим из унарного оператора ‘-‘ и литерала 1.

2.4.4. Целочисленные литералы¶Integer literals

Целочисленные литералы описываются следующими лексическими определениями:

integer        ::=  decimalinteger | octinteger | hexinteger | bininteger
decimalinteger ::=  nonzerodigit digit* | "0"+
nonzerodigit   ::=  "1"..."9"
digit          ::=  "0"..."9"
octinteger     ::=  "0" ("o" | "O") octdigit+
hexinteger     ::=  "0" ("x" | "X") hexdigit+
bininteger     ::=  "0" ("b" | "B") bindigit+
octdigit       ::=  "0"..."7"
hexdigit       ::=  digit | "a"..."f" | "A"..."F"
bindigit       ::=  "0" | "1"

Не существует ограничения на длину целочисленных литералов, кроме того, что может быть сохранено в доступной памяти.

Обратите внимание, что ведущие нули в ненулевом десятичном числе не допускаются. Это сделано для устранения неоднозначности с восьмеричными литералами в стиле C, которые Python использовал до версии 3.0.

Некоторые примеры целочисленных литералов:

7     2147483647                        0o177    0b100110111
3     79228162514264337593543950336     0o377    0x100000000
      79228162514264337593543950336              0xdeadbeef

2.4.5. Литералы с плавающей точкой¶Floating point literals

Литералы с плавающей запятой описываются следующими лексическими определениями:

floatnumber   ::=  pointfloat | exponentfloat
pointfloat    ::=  [intpart] fraction | intpart "."
exponentfloat ::=  (intpart | pointfloat) exponent
intpart       ::=  digit+
fraction      ::=  "." digit+
exponent      ::=  ("e" | "E") ["+" | "-"] digit+

Обратите внимание, что целая часть и часть порядка всегда интерпретируются с основанием 10. Например, 077e010 допустимо и обозначает то же число, что и 77e10. Допустимый диапазон литералов с плавающей точкой зависит от реализации. Некоторые примеры литералов с плавающей точкой:

3.14    10.    .001    1e100    3.14e-10    0e0

Обратите внимание, что числовые литералы не включают знак; конструкция вида -1 на самом деле является выражением, состоящим из унарного оператора - и литерала 1.

2.4.6. Мнимые литералы¶Imaginary literals

Мнимые литералы описываются следующими лексическими определениями:

imagnumber ::=  (floatnumber | intpart) ("j" | "J")

Литерал мнимого числа дает комплексное число с действительной частью 0.0. Комплексные числа представляются в виде пары чисел с плавающей точкой и имеют те же ограничения на диапазон. Чтобы создать комплексное число с ненулевой действительной частью, добавьте к нему число с плавающей точкой, например, (3+4j). Некоторые примеры литералов мнимых чисел:

3.14j   10.j    10j     .001j   1e100j  3.14e-10j