2. Лексический анализ¶Lexical analysis

2.1.1. Логические строки¶Logical lines

Конец логической строки обозначается токеном NEWLINE. Инструкции не могут пересекать границы логических строк, за исключением случаев, когда NEWLINE допускается синтаксисом (например, между инструкциями в составных инструкциях). Логическая строка строится из одной или нескольких физических строк путём следования правилам явного или неявного объединения строк.

2.1.2. Физические строки¶Physical lines

Физическая строка – это последовательность символов, завершающаяся последовательностью конца строки. В исходных файлах можно использовать любую из стандартных для платформы последовательностей конца строки: в стиле Unix – ASCII LF (перевод строки), в Windows – последовательность ASCII CR LF (возврат каретки с переводом строки) или в старом стиле Macintosh – символ ASCII CR (возврат каретки). Все эти формы равноправны и могут использоваться независимо от платформы.

При встраивании Python исходные строки кода должны передаваться в API Python с использованием стандартных соглашений C для символов новой строки (символ \n, представляющий ASCII LF, является терминатором строки).

2.1.3. Комментарии¶Comments

Комментарий начинается с символа решётки (#), не входящего в строковый литерал, и заканчивается в конце физической строки. Комментарий означает конец логической строки, если только не применяются правила неявного объединения строк. Синтаксис игнорирует комментарии; они не являются токенами.

2.1.4. Объявления кодировки¶Encoding declarations

Если комментарий в первой или второй строке сценария Python соответствует регулярному выражению coding[=:]\s*([-\w.]+), этот комментарий обрабатывается как объявление кодировки; первая группа этого выражения задаёт кодировку файла исходного кода. Объявление кодировки должно располагаться на отдельной строке. Если оно находится на второй строке, первая строка также должна содержать только комментарий. Рекомендуемые формы выражения кодировки:

# -*- coding: <encoding-name> -*-

которая распознаётся также GNU Emacs, и

# vim:fileencoding=<encoding-name>

которая распознаётся VIM от Брама Муленаара.

Если объявление кодировки не найдено, кодировкой по умолчанию является UTF-8. Кроме того, если первые байты файла содержат метку порядка байтов UTF-8 (b'\xef\xbb\xbf'), то объявленная кодировка файла – UTF-8 (это поддерживается, в частности, notepad от Microsoft).

Если объявлена кодировка, её имя должно распознаваться Python. Эта кодировка используется для всего лексического анализа, включая строковые литералы, комментарии и идентификаторы.

2.1.5. Явное объединение строк¶Explicit line joining

Две или более физические строки могут быть объединены в логические строки с помощью символа обратной косой черты (\) следующим образом: если физическая строка заканчивается обратной косой чертой, которая не является частью строкового литерала или комментария, она объединяется со следующей строкой, образуя одну логическую строку; при этом обратная косая черта и следующий за ней символ конца строки удаляются. Например:

if 1900 < year < 2100 and 1 <= month <= 12 \
   and 1 <= day <= 31 and 0 <= hour < 24 \
   and 0 <= minute < 60 and 0 <= second < 60:   # Похоже на корректную дату
        return 1

Строка, заканчивающаяся обратной косой чертой, не может содержать комментарий. Обратная косая черта не продолжает комментарий. Обратная косая черта не продолжает токен, за исключением строковых литералов (т.е. токены, отличные от строковых литералов, нельзя разделять между физическими строками с помощью обратной косой черты). Обратная косая черта недопустима в других местах строки вне строкового литерала.

2.1.6. Неявное объединение строк¶Implicit line joining

Выражения в круглых, квадратных или фигурных скобках можно разбивать на несколько физических строк без использования обратной косой черты. Например:

month_names = ['Januari', 'Februari', 'Maart',      # Это
               'April',   'Mei',      'Juni',       # голландские названия
               'Juli',    'Augustus', 'September',  # для месяцев
               'Oktober', 'November', 'December']   # года

Неявно продолжаемые строки могут содержать комментарии. Отступ строк продолжения не важен. Допускаются пустые строки продолжения. Между неявно продолжаемыми строками не генерируется токен NEWLINE. Неявно продолжаемые строки также могут встречаться внутри строк в тройных кавычках (см. ниже); в этом случае они не могут содержать комментарии.

2.1.7. Пустые строки¶Blank lines

Логическая строка, содержащая только пробелы, табуляции, символы перевода страницы и, возможно, комментарий, игнорируется (т. е. токен NEWLINE не генерируется). Во время интерактивного ввода инструкций обработка пустой строки может различаться в зависимости от реализации цикла чтения-вычисления-печати. В стандартном интерактивном интерпретаторе полностью пустая логическая строка (т. е. не содержащая даже пробельных символов или комментария) завершает многострочную инструкцию.

2.1.8. Отступы¶Indentation

Начальные пробельные символы (пробелы и табуляции) в начале логической строки используются для вычисления уровня отступа строки, который, в свою очередь, используется для определения группировки инструкций.

Символы табуляции заменяются (слева направо) на от одного до восьми пробелов так, чтобы общее количество символов до и включая замену было кратно восьми (это то же правило, что используется в Unix). Общее количество пробелов перед первым непробельным символом затем определяет отступ строки. Отступ нельзя разделить на несколько физических строк с помощью обратной косой черты; пробельные символы до первой обратной косой черты определяют отступ.

Отступ считается недопустимым, если исходный файл смешивает табуляции и пробелы таким образом, что смысл зависит от того, какому количеству пробелов равна табуляция; в этом случае возбуждается TabError.

Примечание о кроссплатформенной совместимости: из-за особенностей текстовых редакторов на платформах, отличных от UNIX, не рекомендуется использовать смесь пробелов и табуляции для отступов в одном исходном файле. Также следует отметить, что разные платформы могут явно ограничивать максимальный уровень отступа.

Символ перевода страницы может присутствовать в начале строки; он будет игнорироваться при вычислении отступа, описанном выше. Символы перевода страницы, встречающиеся в других местах начальных пробельных символов, имеют неопределённый эффект (например, они могут сбросить счётчик пробелов до нуля).

Уровни отступа последовательных строк используются для генерации токенов INDENT и DEDENT, применяя стек, следующим образом.

Before the first line of the file is read, a single zero is pushed on the stack; this will never be popped off again. The numbers pushed on the stack will always be strictly increasing from bottom to top. At the beginning of each logical line, the line’s indentation level is compared to the top of the stack. If it is equal, nothing happens. If it is larger, it is pushed on the stack, and one INDENT token is generated. If it is smaller, it must be one of the numbers occurring on the stack; all numbers on the stack that are larger are popped off, and for each number popped off a DEDENT token is generated. At the end of the file, a DEDENT token is generated for each number remaining on the stack that is larger than zero.

Вот пример корректно (хотя и запутанно) оформленного отступами фрагмента кода Python:

def perm(l):
        # Вычислить список всех перестановок l
    if len(l) <= 1:
                  return [l]
    r = []
    for i in range(len(l)):
             s = l[:i] + l[i+1:]
             p = perm(s)
             for x in p:
              r.append(l[i:i+1] + x)
    return r

Следующий пример показывает различные ошибки отступов:

 def perm(l):                       # ошибка: первая строка с отступом
for i in range(len(l)):             # ошибка: нет отступа
    s = l[:i] + l[i+1:]
        p = perm(l[:i] + l[i+1:])   # ошибка: неожиданный отступ
        for x in p:
                r.append(l[i:i+1] + x)
            return r                # ошибка: несоответствие отступа

(На самом деле первые три ошибки обнаруживаются синтаксическим анализатором; только последняя ошибка обнаруживается лексическим анализатором – отступ return r не соответствует уровню, извлечённому из стека.)

2.1.9. Пробелы между токенами¶Whitespace between tokens

За исключением начала логической строки или строковых литералов, пробельные символы (пробел, табуляция, перевод страницы) могут использоваться взаимозаменяемо для разделения токенов. Пробел требуется между двумя токенами только в том случае, если их объединение может быть интерпретировано как другой токен (например, ab – один токен, а a b – два токена).

2.3.1. Ключевые слова¶Keywords

The following identifiers are used as reserved words, or keywords of the language, and cannot be used as ordinary identifiers. They must be spelled exactly as written here:

False      class      finally    is         return
None       continue   for        lambda     try
True       def        from       nonlocal   while
and        del        global     not        with
as         elif       if         or         yield
assert     else       import     pass
break      except     in         raise

2.3.2. Зарезервированные классы идентификаторов¶Reserved classes of identifiers

Некоторые классы идентификаторов (помимо ключевых слов) имеют специальное значение. Эти классы определяются по шаблонам ведущих и завершающих символов подчёркивания:

_*

Не импортируется конструкцией from module import *. Специальный идентификатор _ используется в интерактивном интерпретаторе для хранения результата последнего вычисления; он хранится в модуле builtins. Если не в интерактивном режиме, _ не имеет специального значения и не определён. См. раздел Оператор import.

Примечание

Имя _ часто используется в связи с интернационализацией; обратитесь к документации модуля gettext для получения дополнительной информации об этом соглашении.

__*__

Системные имена. Эти имена определяются интерпретатором и его реализацией (включая стандартную библиотеку). Текущие системные имена обсуждаются в разделе Специальные имена методов и в других местах. В будущих версиях Python, скорее всего, появится больше таких имён. Любое использование имён __*__, в любом контексте, не соответствующее явно задокументированному назначению, может быть нарушено без предупреждения.

__*

Приватные имена классов. Имена этой категории при использовании в контексте определения класса переписываются в искажённую форму, чтобы избежать конфликтов имён между «приватными» атрибутами базовых и производных классов. См. раздел Идентификаторы (имена).

2.4.1. Строковые литералы и литералы байтов¶String and Bytes literals

Строковые литералы описываются следующими лексическими определениями:

stringliteral   ::=  [stringprefix](shortstring | longstring)
stringprefix    ::=  "r" | "u" | "R" | "U"
shortstring     ::=  "'" shortstringitem* "'" | '"' shortstringitem* '"'
longstring      ::=  "'''" longstringitem* "'''" | '"""' longstringitem* '"""'
shortstringitem ::=  shortstringchar | stringescapeseq
longstringitem  ::=  longstringchar | stringescapeseq
shortstringchar ::=  <any source character except "\" or newline or the quote>
longstringchar  ::=  <any source character except "\">
stringescapeseq ::=  "\" <any source character>

bytesliteral   ::=  bytesprefix(shortbytes | longbytes)
bytesprefix    ::=  "b" | "B" | "br" | "Br" | "bR" | "BR" | "rb" | "rB" | "Rb" | "RB"
shortbytes     ::=  "'" shortbytesitem* "'" | '"' shortbytesitem* '"'
longbytes      ::=  "'''" longbytesitem* "'''" | '"""' longbytesitem* '"""'
shortbytesitem ::=  shortbyteschar | bytesescapeseq
longbytesitem  ::=  longbyteschar | bytesescapeseq
shortbyteschar ::=  <any ASCII character except "\" or newline or the quote>
longbyteschar  ::=  <any ASCII character except "\">
bytesescapeseq ::=  "\" <any ASCII character>

Одно синтаксическое ограничение, не указанное в этих продукциях, заключается в том, что пробелы не допускаются между stringprefix или bytesprefix и остальной частью литерала. Набор символов источника определяется объявлением кодировки; по умолчанию используется UTF-8, если в исходном файле нет объявления кодировки; см. раздел Объявления кодировок.

Простыми словами: оба типа литералов могут быть заключены в парные одинарные кавычки (') или двойные кавычки ("). Они также могут быть заключены в парные группы из трёх одинарных или двойных кавычек (обычно называются строками в тройных кавычках). Символ обратной косой черты (\) используется для экранирования символов, которые в противном случае имеют специальное значение, таких как новая строка, сама обратная косая черта или символ кавычки.

Литералы байтов всегда имеют префикс 'b' или 'B'; они создают экземпляр типа bytes вместо типа str. Они могут содержать только символы ASCII; байты с числовым значением 128 или больше должны быть представлены с помощью управляющих последовательностей.

Начиная с Python 3.3 снова стало возможным добавлять к строковым литералам префикс u, чтобы упростить поддержку кодовых баз, рассчитанных как на 2.x, так и на 3.x.

Как строковые литералы, так и литералы байтов могут необязательно иметь префикс из буквы 'r' или 'R'; такие строки называются сырыми строками и обрабатывают обратные косые черты как буквальные символы. В результате в строковых литералах экранирование '\U' и '\u' в сырых строках не обрабатывается особым образом. Учитывая, что сырые литералы Unicode в Python 2.x ведут себя иначе, чем в Python 3.x, синтаксис 'ur' не поддерживается.

В литералах в тройных кавычках разрешены неэкранированные символы новой строки и кавычки (и они сохраняются), за исключением того, что три неэкранированные кавычки подряд завершают литерал. («Кавычка» – это символ, используемый для открытия литерала, т.е. либо ', либо ".)

Если префикс 'r' или 'R' отсутствует, управляющие последовательности в строковых и байтовых литералах интерпретируются по правилам, аналогичным используемым в стандарте C. Распознаваемые управляющие последовательности:

Управляющие последовательности, распознаваемые только в строковых литералах:

Примечания:

1. Как и в стандарте C, допускается до трёх восьмеричных цифр.

2. В отличие от стандартного C, требуется ровно две шестнадцатеричные цифры.

3. В байтовом литерале шестнадцатеричные и восьмеричные управляющие последовательности обозначают байт с заданным значением. В строковом литерале эти управляющие последовательности обозначают символ Unicode с заданным значением.

4. Изменено в версии 3.3: Добавлена поддержка псевдонимов имён [1].

5. Требуется ровно четыре шестнадцатеричные цифры.

6. Любой символ Unicode может быть закодирован таким образом. Требуется ровно восемь шестнадцатеричных цифр.

В отличие от стандарта C, все нераспознанные управляющие последовательности остаются в строке без изменений, т.е. обратная косая черта сохраняется в результате. (Это поведение полезно при отладке: если управляющая последовательность введена с ошибкой, полученный результат легче распознать как сломанный.) Также важно отметить, что управляющие последовательности, распознаваемые только в строковых литералах, попадают в категорию нераспознанных управляющих последовательностей для байтовых литералов.

Даже в сыром литерале кавычки можно экранировать обратной косой чертой, но обратная косая черта остаётся в результате; например, r"\"" – это допустимый строковый литерал, состоящий из двух символов: обратной косой черты и двойной кавычки; r"\" – это недопустимый строковый литерал (даже сырая строка не может заканчиваться нечётным количеством обратных косых черт). В частности, сырой литерал не может заканчиваться одной обратной косой чертой (поскольку обратная косая черта экранировала бы следующий символ кавычки). Также обратите внимание, что одиночная обратная косая черта, за которой следует новая строка, интерпретируется как эти два символа в составе литерала, а не как продолжение строки.

2.4.2. Конкатенация строковых литералов¶String literal concatenation

Допускается несколько расположенных рядом строковых или байтовых литералов (разделённых пробелами), возможно, с использованием разных соглашений о кавычках, и их значение совпадает со значением их конкатенации. Таким образом, "hello" 'world' эквивалентно "helloworld". Эта возможность может использоваться для уменьшения количества необходимых обратных косых черт, для удобного разбиения длинных строк на несколько строк или даже для добавления комментариев к частям строк, например:

re.compile("[A-Za-z_]"       # буква или подчёркивание
           "[A-Za-z0-9_]*"   # буква, цифра или подчёркивание
          )

Обратите внимание, что эта возможность определяется на синтаксическом уровне, но реализуется на этапе компиляции. Оператор '+' должен использоваться для конкатенации строковых выражений во время выполнения. Также обратите внимание, что при конкатенации литералов для каждого компонента можно использовать разные стили кавычек (в том числе смешивать сырые строки и строки в тройных кавычках).

2.4.3. Числовые литералы¶Numeric literals

Существует три типа числовых литералов: целые числа, числа с плавающей запятой и мнимые числа. Комплексных литералов нет (комплексные числа можно получить сложением действительного и мнимого чисел).

Обратите внимание, что числовые литералы не включают знак; фраза вида -1 на самом деле является выражением, состоящим из унарного оператора '-' и литерала 1.

2.4.4. Целочисленные литералы¶Integer literals

Целочисленные литералы описываются следующими лексическими определениями:

integer        ::=  decimalinteger | octinteger | hexinteger | bininteger
decimalinteger ::=  nonzerodigit digit* | "0"+
nonzerodigit   ::=  "1"..."9"
digit          ::=  "0"..."9"
octinteger     ::=  "0" ("o" | "O") octdigit+
hexinteger     ::=  "0" ("x" | "X") hexdigit+
bininteger     ::=  "0" ("b" | "B") bindigit+
octdigit       ::=  "0"..."7"
hexdigit       ::=  digit | "a"..."f" | "A"..."F"
bindigit       ::=  "0" | "1"

Не существует ограничения на длину целочисленных литералов, кроме того, что может быть сохранено в доступной памяти.

Обратите внимание, что ведущие нули в ненулевом десятичном числе не допускаются. Это сделано для устранения неоднозначности с восьмеричными литералами в стиле C, которые Python использовал до версии 3.0.

Некоторые примеры целочисленных литералов:

7     2147483647                        0o177    0b100110111
3     79228162514264337593543950336     0o377    0xdeadbeef

2.4.5. Литералы с плавающей точкой¶Floating point literals

Литералы с плавающей запятой описываются следующими лексическими определениями:

floatnumber   ::=  pointfloat | exponentfloat
pointfloat    ::=  [intpart] fraction | intpart "."
exponentfloat ::=  (intpart | pointfloat) exponent
intpart       ::=  digit+
fraction      ::=  "." digit+
exponent      ::=  ("e" | "E") ["+" | "-"] digit+

Обратите внимание, что целая часть и показатель степени всегда интерпретируются по основанию 10. Например, 077e010 допустимо и обозначает то же число, что и 77e10. Допустимый диапазон литералов с плавающей точкой зависит от реализации. Некоторые примеры литералов с плавающей точкой:

3.14    10.    .001    1e100    3.14e-10    0e0

Обратите внимание, что числовые литералы не включают знак; конструкция вида -1 на самом деле является выражением, состоящим из унарного оператора - и литерала 1.

2.4.6. Мнимые литералы¶Imaginary literals

Мнимые литералы описываются следующими лексическими определениями:

imagnumber ::=  (floatnumber | intpart) ("j" | "J")

Мнимый литерал даёт комплексное число с действительной частью 0.0. Комплексные числа представляются в виде пары чисел с плавающей запятой и имеют те же ограничения по диапазону. Чтобы создать комплексное число с ненулевой действительной частью, добавьте к нему число с плавающей запятой, например, (3+4j). Некоторые примеры мнимых литералов:

3.14j   10.j    10j     .001j   1e100j  3.14e-10j