`grammar.md`

220 строк · 11.9 КБ · обычная страница · сырой текст · скачать
1> **Источник:** https://python-all.ru/3.8/reference/grammar.html2>3> «Документация Python на русском» – неофициальный перевод официальной документации Python: версии от 2.6 до 3.16, полнотекстовый поиск, английский оригинал рядом с переводом. Эта Markdown-версия страницы предназначена для работы с LLM: вставьте её в ChatGPT, Claude или Cursor.45---67# 10. Полная спецификация грамматики89Это полная грамматика Python в том виде, в котором она читается генератором парсера и используется для разбора исходных файлов Python:1011```python12# Грамматика Python1314# ВАЖНО: Также следует следовать всем шагам, перечисленным на15# https://devguide.python.org/grammar/1617# Начальные символы грамматики:18#       single_input – это одиночный интерактивный оператор;19#       file_input – это модуль или последовательность команд, прочитанная из входного файла;20#       eval_input – это входные данные для функций eval().21#       func_type_input – это комментарий типа функции в Python 2 согласно PEP 48422# NB: после compound_stmt в single_input следует дополнительный NEWLINE!23# NB: из-за того, как токенизируется TYPE_COMMENT, за ним всегда следует NEWLINE24single_input: NEWLINE | simple_stmt | compound_stmt NEWLINE25file_input: (NEWLINE | stmt)* ENDMARKER26eval_input: testlist NEWLINE* ENDMARKER2728decorator: '@' dotted_name [ '(' [arglist] ')' ] NEWLINE29decorators: decorator+30decorated: decorators (classdef | funcdef | async_funcdef)3132async_funcdef: ASYNC funcdef33funcdef: 'def' NAME parameters ['->' test] ':' [TYPE_COMMENT] func_body_suite3435parameters: '(' [typedargslist] ')'3637# Следующее определение typedarglist эквивалентно этому набору правил:38#39#     arguments = argument (',' [TYPE_COMMENT] argument)*40#     argument = tfpdef ['=' test]41#     kwargs = '**' tfpdef [','] [TYPE_COMMENT]42#     args = '*' [tfpdef]43#     kwonly_kwargs = (',' [TYPE_COMMENT] argument)* (TYPE_COMMENT | [',' [TYPE_COMMENT] [kwargs]])44#     args_kwonly_kwargs = args kwonly_kwargs | kwargs45#     poskeyword_args_kwonly_kwargs = arguments ( TYPE_COMMENT | [',' [TYPE_COMMENT] [args_kwonly_kwargs]])46#     typedargslist_no_posonly  = poskeyword_args_kwonly_kwargs | args_kwonly_kwargs47#     typedarglist = (arguments ',' [TYPE_COMMENT] '/' [',' [[TYPE_COMMENT] typedargslist_no_posonly]])|(typedargslist_no_posonly)"48#49# Его необходимо полностью развернуть, чтобы наш LL(1)-парсер мог с ним работать.5051typedargslist: (52  (tfpdef ['=' test] (',' [TYPE_COMMENT] tfpdef ['=' test])* ',' [TYPE_COMMENT] '/' [',' [ [TYPE_COMMENT] tfpdef ['=' test] (53        ',' [TYPE_COMMENT] tfpdef ['=' test])* (TYPE_COMMENT | [',' [TYPE_COMMENT] [54        '*' [tfpdef] (',' [TYPE_COMMENT] tfpdef ['=' test])* (TYPE_COMMENT | [',' [TYPE_COMMENT] ['**' tfpdef [','] [TYPE_COMMENT]]])55      | '**' tfpdef [','] [TYPE_COMMENT]]])56  | '*' [tfpdef] (',' [TYPE_COMMENT] tfpdef ['=' test])* (TYPE_COMMENT | [',' [TYPE_COMMENT] ['**' tfpdef [','] [TYPE_COMMENT]]])57  | '**' tfpdef [','] [TYPE_COMMENT]]] )58|  (tfpdef ['=' test] (',' [TYPE_COMMENT] tfpdef ['=' test])* (TYPE_COMMENT | [',' [TYPE_COMMENT] [59   '*' [tfpdef] (',' [TYPE_COMMENT] tfpdef ['=' test])* (TYPE_COMMENT | [',' [TYPE_COMMENT] ['**' tfpdef [','] [TYPE_COMMENT]]])60  | '**' tfpdef [','] [TYPE_COMMENT]]])61  | '*' [tfpdef] (',' [TYPE_COMMENT] tfpdef ['=' test])* (TYPE_COMMENT | [',' [TYPE_COMMENT] ['**' tfpdef [','] [TYPE_COMMENT]]])62  | '**' tfpdef [','] [TYPE_COMMENT])63)64tfpdef: NAME [':' test]6566# Следующее определение varargslist эквивалентно этому набору правил:67#68#     arguments = argument (',' argument )*69#     argument = vfpdef ['=' test]70#     kwargs = '**' vfpdef [',']71#     args = '*' [vfpdef]72#     kwonly_kwargs = (',' argument )* [',' [kwargs]]73#     args_kwonly_kwargs = args kwonly_kwargs | kwargs74#     poskeyword_args_kwonly_kwargs = arguments [',' [args_kwonly_kwargs]]75#     vararglist_no_posonly = poskeyword_args_kwonly_kwargs | args_kwonly_kwargs76#     varargslist = arguments ',' '/' [','[(vararglist_no_posonly)]] | (vararglist_no_posonly)77#78# Его необходимо полностью развернуть, чтобы наш LL(1)-парсер мог с ним работать.7980varargslist: vfpdef ['=' test ](',' vfpdef ['=' test])* ',' '/' [',' [ (vfpdef ['=' test] (',' vfpdef ['=' test])* [',' [81        '*' [vfpdef] (',' vfpdef ['=' test])* [',' ['**' vfpdef [',']]]82      | '**' vfpdef [',']]]83  | '*' [vfpdef] (',' vfpdef ['=' test])* [',' ['**' vfpdef [',']]]84  | '**' vfpdef [',']) ]] | (vfpdef ['=' test] (',' vfpdef ['=' test])* [',' [85        '*' [vfpdef] (',' vfpdef ['=' test])* [',' ['**' vfpdef [',']]]86      | '**' vfpdef [',']]]87  | '*' [vfpdef] (',' vfpdef ['=' test])* [',' ['**' vfpdef [',']]]88  | '**' vfpdef [',']89)90vfpdef: NAME9192stmt: simple_stmt | compound_stmt93simple_stmt: small_stmt (';' small_stmt)* [';'] NEWLINE94small_stmt: (expr_stmt | del_stmt | pass_stmt | flow_stmt |95             import_stmt | global_stmt | nonlocal_stmt | assert_stmt)96expr_stmt: testlist_star_expr (annassign | augassign (yield_expr|testlist) |97                     [('=' (yield_expr|testlist_star_expr))+ [TYPE_COMMENT]] )98annassign: ':' test ['=' (yield_expr|testlist_star_expr)]99testlist_star_expr: (test|star_expr) (',' (test|star_expr))* [',']100augassign: ('+=' | '-=' | '*=' | '@=' | '/=' | '%=' | '&=' | '|=' | '^=' |101            '<<=' | '>>=' | '**=' | '//=')102# Для обычных и аннотированных присваиваний интерпретатор накладывает дополнительные ограничения.103del_stmt: 'del' exprlist104pass_stmt: 'pass'105flow_stmt: break_stmt | continue_stmt | return_stmt | raise_stmt | yield_stmt106break_stmt: 'break'107continue_stmt: 'continue'108return_stmt: 'return' [testlist_star_expr]109yield_stmt: yield_expr110raise_stmt: 'raise' [test ['from' test]]111import_stmt: import_name | import_from112import_name: 'import' dotted_as_names113# примечание ниже: ('.' | '...') необходимо, потому что '...' токенизируется как ELLIPSIS114import_from: ('from' (('.' | '...')* dotted_name | ('.' | '...')+)115              'import' ('*' | '(' import_as_names ')' | import_as_names))116import_as_name: NAME ['as' NAME]117dotted_as_name: dotted_name ['as' NAME]118import_as_names: import_as_name (',' import_as_name)* [',']119dotted_as_names: dotted_as_name (',' dotted_as_name)*120dotted_name: NAME ('.' NAME)*121global_stmt: 'global' NAME (',' NAME)*122nonlocal_stmt: 'nonlocal' NAME (',' NAME)*123assert_stmt: 'assert' test [',' test]124125compound_stmt: if_stmt | while_stmt | for_stmt | try_stmt | with_stmt | funcdef | classdef | decorated | async_stmt126async_stmt: ASYNC (funcdef | with_stmt | for_stmt)127if_stmt: 'if' namedexpr_test ':' suite ('elif' namedexpr_test ':' suite)* ['else' ':' suite]128while_stmt: 'while' namedexpr_test ':' suite ['else' ':' suite]129for_stmt: 'for' exprlist 'in' testlist ':' [TYPE_COMMENT] suite ['else' ':' suite]130try_stmt: ('try' ':' suite131           ((except_clause ':' suite)+132            ['else' ':' suite]133            ['finally' ':' suite] |134           'finally' ':' suite))135with_stmt: 'with' with_item (',' with_item)*  ':' [TYPE_COMMENT] suite136with_item: test ['as' expr]137# NB: compile.c проверяет, что предложение except по умолчанию является последним.138except_clause: 'except' [test ['as' NAME]]139suite: simple_stmt | NEWLINE INDENT stmt+ DEDENT140141namedexpr_test: test [':=' test]142test: or_test ['if' or_test 'else' test] | lambdef143test_nocond: or_test | lambdef_nocond144lambdef: 'lambda' [varargslist] ':' test145lambdef_nocond: 'lambda' [varargslist] ':' test_nocond146or_test: and_test ('or' and_test)*147and_test: not_test ('and' not_test)*148not_test: 'not' not_test | comparison149comparison: expr (comp_op expr)*150# <> на самом деле не является допустимым оператором сравнения в Python. Он здесь ради импорта __future__, описанного в PEP 401 (который действительно работает :-)).151# ради импорта __future__, описанного в PEP 401 (который на самом деле работает :-)152comp_op: '<'|'>'|'=='|'>='|'<='|'<>'|'!='|'in'|'not' 'in'|'is'|'is' 'not'153star_expr: '*' expr154expr: xor_expr ('|' xor_expr)*155xor_expr: and_expr ('^' and_expr)*156and_expr: shift_expr ('&' shift_expr)*157shift_expr: arith_expr (('<<'|'>>') arith_expr)*158arith_expr: term (('+'|'-') term)*159term: factor (('*'|'@'|'/'|'%'|'//') factor)*160factor: ('+'|'-'|'~') factor | power161power: atom_expr ['**' factor]162atom_expr: [AWAIT] atom trailer*163atom: ('(' [yield_expr|testlist_comp] ')' |164       '[' [testlist_comp] ']' |165       '{' [dictorsetmaker] '}' |166       NAME | NUMBER | STRING+ | '...' | 'None' | 'True' | 'False')167testlist_comp: (namedexpr_test|star_expr) ( comp_for | (',' (namedexpr_test|star_expr))* [','] )168trailer: '(' [arglist] ')' | '[' subscriptlist ']' | '.' NAME169subscriptlist: subscript (',' subscript)* [',']170subscript: test | [test] ':' [test] [sliceop]171sliceop: ':' [test]172exprlist: (expr|star_expr) (',' (expr|star_expr))* [',']173testlist: test (',' test)* [',']174dictorsetmaker: ( ((test ':' test | '**' expr)175                   (comp_for | (',' (test ':' test | '**' expr))* [','])) |176                  ((test | star_expr)177                   (comp_for | (',' (test | star_expr))* [','])) )178179classdef: 'class' NAME ['(' [arglist] ')'] ':' suite180181arglist: argument (',' argument)*  [',']182183# Причина, по которой ключевые слова являются узлами test, а не NAME, заключается в том, что использование NAME184# приводит к неоднозначности. ast.c проверяет, что это NAME.185# "test '=' test" на самом деле "keyword '=' test", но у нас нет такого токена.186# не используется в грамматике, но может появиться в узле, передаваемом от парсера к компилятору.187# для нашего LL(1)-парсера. Хотя 'test' включает '*expr' в star_expr,188# мы также явно сопоставляем '*' здесь, чтобы задать правильный приоритет.189# Illegal combinations and orderings are blocked in ast.c:190# multiple (test comp_for) arguments are blocked; keyword unpackings191# that precede iterable unpackings are blocked; etc.192argument: ( test [comp_for] |193            test ':=' test |194            test '=' test |195            '**' test |196            '*' test )197198comp_iter: comp_for | comp_if199sync_comp_for: 'for' exprlist 'in' or_test [comp_iter]200comp_for: [ASYNC] sync_comp_for201comp_if: 'if' test_nocond [comp_iter]202203# not used in grammar, but may appear in "node" passed from Parser to Compiler204encoding_decl: NAME205206yield_expr: 'yield' [yield_arg]207yield_arg: 'from' test | testlist_star_expr208209# the TYPE_COMMENT in suites is only parsed for funcdefs,210# but can't go elsewhere due to ambiguity211func_body_suite: simple_stmt | NEWLINE [TYPE_COMMENT NEWLINE] INDENT stmt+ DEDENT212213func_type_input: func_type NEWLINE* ENDMARKER214func_type: '(' [typelist] ')' '->' test215# typelist is a modified typedargslist (see above)216typelist: (test (',' test)* [','217       ['*' [test] (',' test)* [',' '**' test] | '**' test]]218     |  '*' [test] (',' test)* [',' '**' test] | '**' test)219```220