`token.md`

158 строк · 3.8 КБ · обычная страница · сырой текст · скачать
1> **Источник:** https://python-all.ru/3.1/library/token.html2>3> «Документация Python на русском» – неофициальный перевод официальной документации Python: версии от 2.6 до 3.16, полнотекстовый поиск, английский оригинал рядом с переводом. Эта Markdown-версия страницы предназначена для работы с LLM: вставьте её в ChatGPT, Claude или Cursor.45---67# 30.5. `token` – Константы, используемые с деревьями разбора Python89Этот модуль предоставляет константы, представляющие числовые значения листовых узлов дерева разбора (терминальные токены). Обратитесь к файлу `Grammar/Grammar` в дистрибутиве Python за определениями имён в контексте грамматики языка. Конкретные числовые значения, на которые отображаются имена, могут меняться между версиями Python.1011Модуль также предоставляет отображение числовых кодов на имена и несколько\\nфункций. Функции дублируют определения из C-заголовочных файлов Python.1213#### `token.tok_name`1415Словарь, отображающий числовые значения констант, определённых в этом модуле,\\nобратно в строки имён, что позволяет создавать более удобочитаемое представление деревьев разбора.1617#### `token.ISTERMINAL(x)`1819Возвращает True для значений терминальных токенов.2021#### `token.ISNONTERMINAL(x)`2223Возвращает True для значений нетерминальных токенов.2425#### `token.ISEOF(x)`2627Возвращает True, если2829*x*3031является маркером, указывающим на конец ввода.3233Константы токенов:3435#### `token.ENDMARKER`3637#### `token.NAME`3839#### `token.NUMBER`4041#### `token.STRING`4243#### `token.NEWLINE`4445#### `token.INDENT`4647#### `token.DEDENT`4849#### `token.LPAR`5051#### `token.RPAR`5253#### `token.LSQB`5455#### `token.RSQB`5657#### `token.COLON`5859#### `token.COMMA`6061#### `token.SEMI`6263#### `token.PLUS`6465#### `token.MINUS`6667#### `token.STAR`6869#### `token.SLASH`7071#### `token.VBAR`7273#### `token.AMPER`7475#### `token.LESS`7677#### `token.GREATER`7879#### `token.EQUAL`8081#### `token.DOT`8283#### `token.PERCENT`8485#### `token.BACKQUOTE`8687#### `token.LBRACE`8889#### `token.RBRACE`9091#### `token.EQEQUAL`9293#### `token.NOTEQUAL`9495#### `token.LESSEQUAL`9697#### `token.GREATEREQUAL`9899#### `token.TILDE`100101#### `token.CIRCUMFLEX`102103#### `token.LEFTSHIFT`104105#### `token.RIGHTSHIFT`106107#### `token.DOUBLESTAR`108109#### `token.PLUSEQUAL`110111#### `token.MINEQUAL`112113#### `token.STAREQUAL`114115#### `token.SLASHEQUAL`116117#### `token.PERCENTEQUAL`118119#### `token.AMPEREQUAL`120121#### `token.VBAREQUAL`122123#### `token.CIRCUMFLEXEQUAL`124125#### `token.LEFTSHIFTEQUAL`126127#### `token.RIGHTSHIFTEQUAL`128129#### `token.DOUBLESTAREQUAL`130131#### `token.DOUBLESLASH`132133#### `token.DOUBLESLASHEQUAL`134135#### `token.AT`136137#### `token.OP`138139#### `token.ERRORTOKEN`140141#### `token.N_TOKENS`142143#### `token.NT_OFFSET`144145> **См. также**146>147> **Модуль [`parser`](https://python-all.ru/3.1/library/parser.html#module-parser)**148>149> Второй пример для модуля150>151> [`parser`](https://python-all.ru/3.1/library/parser.html#module-parser)152>153> показывает, как использовать модуль154>155> [`symbol`](https://python-all.ru/3.1/library/symbol.html#module-symbol)156>157> .158