`token.md`

150 строк · 4.0 КБ · обычная страница · сырой текст · скачать
1> **Источник:** https://python-all.ru/2.7/library/token.html2>3> «Документация Python на русском» – неофициальный перевод официальной документации Python: версии от 2.6 до 3.16, полнотекстовый поиск, английский оригинал рядом с переводом. Эта Markdown-версия страницы предназначена для работы с LLM: вставьте её в ChatGPT, Claude или Cursor.45---67# 32.5. [`token`](https://python-all.ru/2.7/library/token.html#module-token) – Константы, используемые с деревьями разбора Python89**Исходный код:** [Lib/token.py](https://python-all.ru/src/2.7/Lib/token.py)1011---1213Этот модуль предоставляет константы, представляющие числовые значения листовых узлов\\nдерева разбора (терминальных токенов). Файл `Grammar/Grammar`\\nв дистрибутиве Python содержит определения имён в контексте грамматики языка.\\nКонкретные числовые значения, на которые ссылаются имена, могут изменяться между версиями Python.1415Модуль также предоставляет отображение числовых кодов на имена и несколько\\nфункций. Функции дублируют определения из C-заголовочных файлов Python.1617#### `token.tok_name`1819Словарь, отображающий числовые значения констант, определённых в этом модуле,\\nобратно в строки имён, что позволяет создавать более удобочитаемое представление деревьев разбора.2021#### `token.ISTERMINAL(x)`2223Возвращает True для значений терминальных токенов.2425#### `token.ISNONTERMINAL(x)`2627Возвращает True для значений нетерминальных токенов.2829#### `token.ISEOF(x)`3031Возвращает True, если *x* является маркером, указывающим на конец ввода.3233Константы токенов:3435#### `token.ENDMARKER`3637#### `token.NAME`3839#### `token.NUMBER`4041#### `token.STRING`4243#### `token.NEWLINE`4445#### `token.INDENT`4647#### `token.DEDENT`4849#### `token.LPAR`5051#### `token.RPAR`5253#### `token.LSQB`5455#### `token.RSQB`5657#### `token.COLON`5859#### `token.COMMA`6061#### `token.SEMI`6263#### `token.PLUS`6465#### `token.MINUS`6667#### `token.STAR`6869#### `token.SLASH`7071#### `token.VBAR`7273#### `token.AMPER`7475#### `token.LESS`7677#### `token.GREATER`7879#### `token.EQUAL`8081#### `token.DOT`8283#### `token.PERCENT`8485#### `token.BACKQUOTE`8687#### `token.LBRACE`8889#### `token.RBRACE`9091#### `token.EQEQUAL`9293#### `token.NOTEQUAL`9495#### `token.LESSEQUAL`9697#### `token.GREATEREQUAL`9899#### `token.TILDE`100101#### `token.CIRCUMFLEX`102103#### `token.LEFTSHIFT`104105#### `token.RIGHTSHIFT`106107#### `token.DOUBLESTAR`108109#### `token.PLUSEQUAL`110111#### `token.MINEQUAL`112113#### `token.STAREQUAL`114115#### `token.SLASHEQUAL`116117#### `token.PERCENTEQUAL`118119#### `token.AMPEREQUAL`120121#### `token.VBAREQUAL`122123#### `token.CIRCUMFLEXEQUAL`124125#### `token.LEFTSHIFTEQUAL`126127#### `token.RIGHTSHIFTEQUAL`128129#### `token.DOUBLESTAREQUAL`130131#### `token.DOUBLESLASH`132133#### `token.DOUBLESLASHEQUAL`134135#### `token.AT`136137#### `token.OP`138139#### `token.ERRORTOKEN`140141#### `token.N_TOKENS`142143#### `token.NT_OFFSET`144145> **См. также**146>147> **Модуль [`parser`](https://python-all.ru/2.7/library/parser.html#module-parser)**148>149> Второй пример для модуля [`parser`](https://python-all.ru/2.7/library/parser.html#module-parser) показывает, как использовать модуль [`symbol`](https://python-all.ru/2.7/library/symbol.html#module-symbol).150