token.md

1> **Источник:** https://python-all.ru/3.0/library/token.html2>3> «Документация Python на русском» – неофициальный перевод официальной документации Python: версии от 2.6 до 3.16, полнотекстовый поиск, английский оригинал рядом с переводом. Эта Markdown-версия страницы предназначена для работы с LLM: вставьте её в ChatGPT, Claude или Cursor.45---67# `token` – Константы, используемые с синтаксическими деревьями Python89Этот модуль предоставляет константы, представляющие числовые значения листовых узлов дерева разбора (терминальные токены). Обратитесь к файлу `Grammar/Grammar` в дистрибутиве Python за определениями имён в контексте грамматики языка. Конкретные числовые значения, на которые отображаются имена, могут меняться между версиями Python.1011Этот модуль также предоставляет один объект данных и несколько функций. Функции отражают определения из C-заголовочных файлов Python.1213#### `[token.tok_name]token.tok_name`1415Словарь, отображающий числовые значения констант, определённых в этом модуле,\\nобратно в строки имён, что позволяет создавать более удобочитаемое представление деревьев разбора.1617#### `[token.ISTERMINAL]token.ISTERMINAL(x)`1819Возвращает True для значений терминальных токенов.2021#### `[token.ISNONTERMINAL]token.ISNONTERMINAL(x)`2223Возвращает True для значений нетерминальных токенов.2425#### `[token.ISEOF]token.ISEOF(x)`2627Возвращает True, если2829*x*3031является маркером, указывающим на конец ввода.3233> **См. также**34>35> **Модуль [`parser`](https://python-all.ru/3.0/library/parser.html#module-parser)**36>37> Второй пример для модуля38>39> [`parser`](https://python-all.ru/3.0/library/parser.html#module-parser)40>41> показывает, как использовать модуль42>43> [`symbol`](https://python-all.ru/3.0/library/symbol.html#module-symbol)44>45> .46