`token.md`

168 строк · 5.5 КБ · обычная страница · сырой текст · скачать
1> **Источник:** https://python-all.ru/3.7/library/token.html2>3> «Документация Python на русском» – неофициальный перевод официальной документации Python: версии от 2.6 до 3.16, полнотекстовый поиск, английский оригинал рядом с переводом. Эта Markdown-версия страницы предназначена для работы с LLM: вставьте её в ChatGPT, Claude или Cursor.45---67# [`token`](https://python-all.ru/3.7/library/token.html#module-token) – Константы для работы с деревьями разбора Python89**Исходный код:** [Lib/token.py](https://python-all.ru/src/3.7/Lib/token.py)1011---1213Этот модуль предоставляет константы, представляющие числовые значения листовых узлов\\nдерева разбора (терминальных токенов). Файл `Grammar/Grammar`\\nв дистрибутиве Python содержит определения имён в контексте грамматики языка.\\nКонкретные числовые значения, на которые ссылаются имена, могут изменяться между версиями Python.1415Модуль также предоставляет отображение числовых кодов на имена и несколько\\nфункций. Функции дублируют определения из C-заголовочных файлов Python.1617#### `token.tok_name`1819Словарь, отображающий числовые значения констант, определённых в этом модуле,\\nобратно в строки имён, что позволяет создавать более удобочитаемое представление деревьев разбора.2021#### `token.ISTERMINAL(x)`2223Возвращает `True` для значений терминальных токенов.2425#### `token.ISNONTERMINAL(x)`2627Возвращает `True` для значений нетерминальных токенов.2829#### `token.ISEOF(x)`3031Возвращает `True`, если *x* – это маркер конца входных данных.3233Константы токенов:3435#### `token.ENDMARKER`3637#### `token.NAME`3839#### `token.NUMBER`4041#### `token.STRING`4243#### `token.NEWLINE`4445#### `token.INDENT`4647#### `token.DEDENT`4849#### `token.LPAR`5051#### `token.RPAR`5253#### `token.LSQB`5455#### `token.RSQB`5657#### `token.COLON`5859#### `token.COMMA`6061#### `token.SEMI`6263#### `token.PLUS`6465#### `token.MINUS`6667#### `token.STAR`6869#### `token.SLASH`7071#### `token.VBAR`7273#### `token.AMPER`7475#### `token.LESS`7677#### `token.GREATER`7879#### `token.EQUAL`8081#### `token.DOT`8283#### `token.PERCENT`8485#### `token.LBRACE`8687#### `token.RBRACE`8889#### `token.EQEQUAL`9091#### `token.NOTEQUAL`9293#### `token.LESSEQUAL`9495#### `token.GREATEREQUAL`9697#### `token.TILDE`9899#### `token.CIRCUMFLEX`100101#### `token.LEFTSHIFT`102103#### `token.RIGHTSHIFT`104105#### `token.DOUBLESTAR`106107#### `token.PLUSEQUAL`108109#### `token.MINEQUAL`110111#### `token.STAREQUAL`112113#### `token.SLASHEQUAL`114115#### `token.PERCENTEQUAL`116117#### `token.AMPEREQUAL`118119#### `token.VBAREQUAL`120121#### `token.CIRCUMFLEXEQUAL`122123#### `token.LEFTSHIFTEQUAL`124125#### `token.RIGHTSHIFTEQUAL`126127#### `token.DOUBLESTAREQUAL`128129#### `token.DOUBLESLASH`130131#### `token.DOUBLESLASHEQUAL`132133#### `token.AT`134135#### `token.ATEQUAL`136137#### `token.RARROW`138139#### `token.ELLIPSIS`140141#### `token.OP`142143#### `token.ERRORTOKEN`144145#### `token.N_TOKENS`146147#### `token.NT_OFFSET`148149Следующие значения типов токенов не используются токенизатором C, но необходимы для модуля [`tokenize`](https://python-all.ru/3.7/library/tokenize.html#module-tokenize).150151#### `token.COMMENT`152153Значение токена, используемое для обозначения комментария.154155#### `token.NL`156157Значение токена, используемое для обозначения незавершающего перевода строки. Токен [`NEWLINE`](https://python-all.ru/3.7/library/token.html#token.NEWLINE) указывает на конец логической строки кода Python; токены `NL` генерируются, когда логическая строка кода продолжается на нескольких физических строках.158159#### `token.ENCODING`160161Токен, обозначающий кодировку, используемую для декодирования исходных байтов в текст. Первый токен, возвращаемый [`tokenize.tokenize()`](https://python-all.ru/3.7/library/tokenize.html#tokenize.tokenize), всегда будет токеном `ENCODING`.162163Изменено в версии 3.5: Добавлены токены `AWAIT` и `ASYNC`.164165Изменено в версии 3.7: Добавлены токены [`COMMENT`](https://python-all.ru/3.7/library/token.html#token.COMMENT), [`NL`](https://python-all.ru/3.7/library/token.html#token.NL) и [`ENCODING`](https://python-all.ru/3.7/library/token.html#token.ENCODING).166167Изменено в версии 3.7: Удалены токены `AWAIT` и `ASYNC`. «async» и «await» теперь токенизируются как токены [`NAME`](https://python-all.ru/3.7/library/token.html#token.NAME).168