`token.md`

160 строк · 4.0 КБ · обычная страница · сырой текст · скачать
1> **Источник:** https://python-all.ru/3.3/library/token.html2>3> «Документация Python на русском» – неофициальный перевод официальной документации Python: версии от 2.6 до 3.16, полнотекстовый поиск, английский оригинал рядом с переводом. Эта Markdown-версия страницы предназначена для работы с LLM: вставьте её в ChatGPT, Claude или Cursor.45---67# 31.5. [`token`](https://python-all.ru/3.3/library/token.html#module-token) – Константы, используемые с деревьями разбора Python89**Исходный код:** [Lib/token.py](https://python-all.ru/src/3.3/Lib/token.py)1011---1213Этот модуль предоставляет константы, представляющие числовые значения листовых узлов дерева разбора (терминальные токены). Обратитесь к файлу `Grammar/Grammar` в дистрибутиве Python за определениями имён в контексте грамматики языка. Конкретные числовые значения, на которые отображаются имена, могут меняться между версиями Python.1415Модуль также предоставляет отображение числовых кодов на имена и несколько\\nфункций. Функции дублируют определения из C-заголовочных файлов Python.1617#### `token.tok_name`1819Словарь, отображающий числовые значения констант, определённых в этом модуле,\\nобратно в строки имён, что позволяет создавать более удобочитаемое представление деревьев разбора.2021#### `token.ISTERMINAL(x)`2223Возвращает True для значений терминальных токенов.2425#### `token.ISNONTERMINAL(x)`2627Возвращает True для значений нетерминальных токенов.2829#### `token.ISEOF(x)`3031Возвращает True, если *x* является маркером, указывающим на конец ввода.3233Константы токенов:3435#### `token.ENDMARKER`3637#### `token.NAME`3839#### `token.NUMBER`4041#### `token.STRING`4243#### `token.NEWLINE`4445#### `token.INDENT`4647#### `token.DEDENT`4849#### `token.LPAR`5051#### `token.RPAR`5253#### `token.LSQB`5455#### `token.RSQB`5657#### `token.COLON`5859#### `token.COMMA`6061#### `token.SEMI`6263#### `token.PLUS`6465#### `token.MINUS`6667#### `token.STAR`6869#### `token.SLASH`7071#### `token.VBAR`7273#### `token.AMPER`7475#### `token.LESS`7677#### `token.GREATER`7879#### `token.EQUAL`8081#### `token.DOT`8283#### `token.PERCENT`8485#### `token.LBRACE`8687#### `token.RBRACE`8889#### `token.EQEQUAL`9091#### `token.NOTEQUAL`9293#### `token.LESSEQUAL`9495#### `token.GREATEREQUAL`9697#### `token.TILDE`9899#### `token.CIRCUMFLEX`100101#### `token.LEFTSHIFT`102103#### `token.RIGHTSHIFT`104105#### `token.DOUBLESTAR`106107#### `token.PLUSEQUAL`108109#### `token.MINEQUAL`110111#### `token.STAREQUAL`112113#### `token.SLASHEQUAL`114115#### `token.PERCENTEQUAL`116117#### `token.AMPEREQUAL`118119#### `token.VBAREQUAL`120121#### `token.CIRCUMFLEXEQUAL`122123#### `token.LEFTSHIFTEQUAL`124125#### `token.RIGHTSHIFTEQUAL`126127#### `token.DOUBLESTAREQUAL`128129#### `token.DOUBLESLASH`130131#### `token.DOUBLESLASHEQUAL`132133#### `token.AT`134135#### `token.RARROW`136137#### `token.ELLIPSIS`138139#### `token.OP`140141#### `token.ERRORTOKEN`142143#### `token.N_TOKENS`144145#### `token.NT_OFFSET`146147> **См. также**148>149> **Модуль [`parser`](https://python-all.ru/3.3/library/parser.html#module-parser)**150>151> Второй пример для модуля152>153> [`parser`](https://python-all.ru/3.3/library/parser.html#module-parser)154>155> показывает, как использовать модуль156>157> [`symbol`](https://python-all.ru/3.3/library/symbol.html#module-symbol)158>159> .160