Документация Python неофициальный перевод

token – Константы, используемые с синтаксическими деревьями Pythontoken – Constants used with Python parse trees

Этот модуль предоставляет константы, представляющие числовые значения листовых узлов дерева разбора (терминальные токены). Обратитесь к файлу Grammar/Grammar в дистрибутиве Python за определениями имён в контексте грамматики языка. Конкретные числовые значения, на которые отображаются имена, могут меняться между версиями Python.

Этот модуль также предоставляет один объект данных и несколько функций. Функции отражают определения из C-заголовочных файлов Python.

token.tok_name
Словарь, отображающий числовые значения констант, определённых в этом модуле,\nобратно в строки имён, что позволяет создавать более удобочитаемое представление деревьев разбора.
token.ISTERMINAL(x)
Возвращает True для значений терминальных токенов.
token.ISNONTERMINAL(x)
Возвращает True для значений нетерминальных токенов.
token.ISEOF(x)
Возвращает True, если x является маркером, указывающим на конец ввода.

См. также

Модуль parser
Второй пример для модуля parser показывает, как использовать модуль symbol.