> **Источник:** https://python-all.ru/3.10/library/token.html > > «Документация Python на русском» – неофициальный перевод официальной документации Python: версии от 2.6 до 3.16, полнотекстовый поиск, английский оригинал рядом с переводом. Эта Markdown-версия страницы предназначена для работы с LLM: вставьте её в ChatGPT, Claude или Cursor. --- # [`token`](https://python-all.ru/3.10/library/token.html#module-token) – Константы для работы с деревьями разбора Python **Исходный код:** [Lib/token.py](https://python-all.ru/src/3.10/Lib/token.py) --- Этот модуль предоставляет константы, представляющие числовые значения листовых узлов\\nдерева разбора (терминальных токенов). Файл `Grammar/Tokens`\\nв дистрибутиве Python содержит определения имён в контексте грамматики языка.\\nКонкретные числовые значения, на которые ссылаются имена, могут изменяться между версиями Python. Модуль также предоставляет отображение числовых кодов на имена и несколько\\nфункций. Функции дублируют определения из C-заголовочных файлов Python. #### `token.tok_name` Словарь, отображающий числовые значения констант, определённых в этом модуле,\\nобратно в строки имён, что позволяет создавать более удобочитаемое представление деревьев разбора. #### `token.ISTERMINAL(x)` Возвращает `True` для значений терминальных токенов. #### `token.ISNONTERMINAL(x)` Возвращает `True` для значений нетерминальных токенов. #### `token.ISEOF(x)` Возвращает `True`, если *x* – это маркер конца входных данных. Константы токенов: #### `token.ENDMARKER` #### `token.NAME` #### `token.NUMBER` #### `token.STRING` #### `token.NEWLINE` #### `token.INDENT` #### `token.DEDENT` #### `token.LPAR` Значение токена для `"("`. #### `token.RPAR` Значение токена для `")"`. #### `token.LSQB` Значение токена для `"["`. #### `token.RSQB` Значение токена для `"]"`. #### `token.COLON` Значение токена для `":"`. #### `token.COMMA` Значение токена для `","`. #### `token.SEMI` Значение токена для `";"`. #### `token.PLUS` Значение токена для `"+"`. #### `token.MINUS` Значение токена для `"-"`. #### `token.STAR` Значение токена для `"*"`. #### `token.SLASH` Значение токена для `"/"`. #### `token.VBAR` Значение токена для `"|"`. #### `token.AMPER` Значение токена для `"&"`. #### `token.LESS` Значение токена для `"<"`. #### `token.GREATER` Значение токена для `">"`. #### `token.EQUAL` Значение токена для `"="`. #### `token.DOT` Значение токена для `"."`. #### `token.PERCENT` Значение токена для `"%"`. #### `token.LBRACE` Значение токена для `"{"`. #### `token.RBRACE` Значение токена для `"}"`. #### `token.EQEQUAL` Значение токена для `"=="`. #### `token.NOTEQUAL` Значение токена для `"!="`. #### `token.LESSEQUAL` Значение токена для `"<="`. #### `token.GREATEREQUAL` Значение токена для `">="`. #### `token.TILDE` Значение токена для `"~"`. #### `token.CIRCUMFLEX` Значение токена для `"^"`. #### `token.LEFTSHIFT` Значение токена для `"<<"`. #### `token.RIGHTSHIFT` Значение токена для `">>"`. #### `token.DOUBLESTAR` Значение токена для `"**"`. #### `token.PLUSEQUAL` Значение токена для `"+="`. #### `token.MINEQUAL` Значение токена для `"-="`. #### `token.STAREQUAL` Значение токена для `"*="`. #### `token.SLASHEQUAL` Значение токена для `"/="`. #### `token.PERCENTEQUAL` Значение токена для `"%="`. #### `token.AMPEREQUAL` Значение токена для `"&="`. #### `token.VBAREQUAL` Значение токена для `"|="`. #### `token.CIRCUMFLEXEQUAL` Значение токена для `"^="`. #### `token.LEFTSHIFTEQUAL` Значение токена для `"<<="`. #### `token.RIGHTSHIFTEQUAL` Значение токена для `">>="`. #### `token.DOUBLESTAREQUAL` Значение токена для `"**="`. #### `token.DOUBLESLASH` Значение токена для `"//"`. #### `token.DOUBLESLASHEQUAL` Значение токена для `"//="`. #### `token.AT` Значение токена для `"@"`. #### `token.ATEQUAL` Значение токена для `"@="`. #### `token.RARROW` Значение токена для `"->"`. #### `token.ELLIPSIS` Значение токена для `"..."`. #### `token.COLONEQUAL` Значение токена для `":="`. #### `token.OP` #### `token.AWAIT` #### `token.ASYNC` #### `token.TYPE_IGNORE` #### `token.TYPE_COMMENT` #### `token.SOFT_KEYWORD` #### `token.ERRORTOKEN` #### `token.N_TOKENS` #### `token.NT_OFFSET` Следующие значения типов токенов не используются токенизатором C, но необходимы для модуля [`tokenize`](https://python-all.ru/3.10/library/tokenize.html#module-tokenize). #### `token.COMMENT` Значение токена, используемое для обозначения комментария. #### `token.NL` Значение токена, используемое для обозначения незавершающего перевода строки. Токен [`NEWLINE`](https://python-all.ru/3.10/library/token.html#token.NEWLINE) указывает на конец логической строки кода Python; токены `NL` генерируются, когда логическая строка кода продолжается на нескольких физических строках. #### `token.ENCODING` Токен, обозначающий кодировку, используемую для декодирования исходных байтов в текст. Первый токен, возвращаемый [`tokenize.tokenize()`](https://python-all.ru/3.10/library/tokenize.html#tokenize.tokenize), всегда будет токеном `ENCODING`. #### `token.TYPE_COMMENT` Значение токена, указывающее, что был распознан комментарий типа. Такие токены создаются только при вызове [`ast.parse()`](https://python-all.ru/3.10/library/ast.html#ast.parse) с `type_comments=True`. Изменено в версии 3.5: Добавлены токены [`AWAIT`](https://python-all.ru/3.10/library/token.html#token.AWAIT) и [`ASYNC`](https://python-all.ru/3.10/library/token.html#token.ASYNC). Изменено в версии 3.7: Добавлены токены [`COMMENT`](https://python-all.ru/3.10/library/token.html#token.COMMENT), [`NL`](https://python-all.ru/3.10/library/token.html#token.NL) и [`ENCODING`](https://python-all.ru/3.10/library/token.html#token.ENCODING). Изменено в версии 3.7: Удалены токены [`AWAIT`](https://python-all.ru/3.10/library/token.html#token.AWAIT) и [`ASYNC`](https://python-all.ru/3.10/library/token.html#token.ASYNC). «async» и «await» теперь токенизируются как токены [`NAME`](https://python-all.ru/3.10/library/token.html#token.NAME). Изменено в версии 3.8: Добавлены токены [`TYPE_COMMENT`](https://python-all.ru/3.10/library/token.html#token.TYPE_COMMENT), [`TYPE_IGNORE`](https://python-all.ru/3.10/library/token.html#token.TYPE_IGNORE), [`COLONEQUAL`](https://python-all.ru/3.10/library/token.html#token.COLONEQUAL). Добавлены обратно токены [`AWAIT`](https://python-all.ru/3.10/library/token.html#token.AWAIT) и [`ASYNC`](https://python-all.ru/3.10/library/token.html#token.ASYNC) (они необходимы для поддержки разбора старых версий Python для [`ast.parse()`](https://python-all.ru/3.10/library/ast.html#ast.parse) с `feature_version`, установленным в 6 или ниже).