33. Пакет компилятора Python¶Python compiler package

33.1. Базовый интерфейс¶The basic interface

Верхний уровень пакета определяет четыре функции. При импорте compiler будут доступны эти функции и набор модулей, содержащихся в пакете.

compiler.parse(buf)¶

Возвращает абстрактное синтаксическое дерево для исходного кода Python в buf. Функция возбуждает SyntaxError, если в исходном коде есть ошибка. Возвращаемое значение – экземпляр compiler.ast.Module, содержащий дерево.

compiler.parseFile(path)¶

Возвращает абстрактное синтаксическое дерево для исходного кода Python в файле, указанном параметром path. Эквивалентно parse(open(path).read()).

compiler.walk(ast, visitor[, verbose])¶

Выполняет прямой обход абстрактного синтаксического дерева ast. Вызывает соответствующий метод экземпляра visitor для каждого встреченного узла.

compiler.compile(source, filename, mode, flags=None, dont_inherit=None)¶

Компилирует строку source (модуль Python, инструкцию или выражение) в объект кода, который может быть выполнен инструкцией exec или eval(). Эта функция является заменой встроенной функции compile().

Параметр filename будет использоваться для сообщений об ошибках времени выполнения.

Параметр mode должен быть равен ‘exec’ для компиляции модуля, ‘single’ для компиляции одной (интерактивной) инструкции или ‘eval’ для компиляции выражения.

Аргументы flags и dont_inherit влияют на операторы, связанные с future, но пока не поддерживаются.

compiler.compileFile(source)¶

Компилирует файл source и генерирует файл .pyc.

Пакет compiler содержит следующие модули: ast, consts, future, misc, pyassem, pycodegen, symbols, transformer и visitor.

33.2. Ограничения¶Limitations

В проверке ошибок пакета компилятора есть некоторые проблемы. Интерпретатор обнаруживает синтаксические ошибки в два отдельных этапа. Один набор ошибок обнаруживается парсером интерпретатора, другой – компилятором. Пакет компилятора полагается на парсер интерпретатора, поэтому первый этап проверки ошибок он получает «бесплатно». Второй этап он реализует самостоятельно, и эта реализация неполна. Например, пакет компилятора не возбуждает ошибку, если имя встречается более одного раза в списке аргументов: def f(x, x): ...

Будущая версия компилятора должна исправить эти проблемы.

33.3. Абстрактный синтаксис Python¶Python Abstract Syntax

Модуль compiler.ast определяет абстрактный синтаксис для Python. В абстрактном синтаксическом дереве каждый узел представляет синтаксическую конструкцию. Корнем дерева является объект Module.

Абстрактный синтаксис предоставляет интерфейс более высокого уровня для разобранного исходного кода Python. Модуль parser и компилятор, написанный на C для интерпретатора Python, используют конкретное синтаксическое дерево. Конкретный синтаксис тесно связан с описанием грамматики, используемым парсером Python. Вместо одного узла для конструкции часто существует несколько уровней вложенных узлов, которые вводятся правилами приоритета Python.

Абстрактное синтаксическое дерево создаётся модулем compiler.transformer. Трансформер полагается на встроенный парсер Python для генерации конкретного синтаксического дерева. Из конкретного дерева он генерирует абстрактное синтаксическое дерево.

Модуль transformer был создан Грегом Стейном и Биллом Таттом для экспериментального компилятора из Python в C. Текущая версия содержит ряд модификаций и улучшений, но основная форма абстрактного синтаксиса и трансформера принадлежит Стейну и Татту.

while_stmt:     "while" expression ":" suite
               ["else" ":" suite]

if_stmt: 'if' test ':' suite ('elif' test ':' suite)* ['else' ':' suite]

"""Это пример модуля.

Это докстринг.
"""

def double(x):
    "Return twice the argument"
    return x * 2

>>> import compiler
>>> mod = compiler.parseFile("doublelib.py")
>>> mod
Module('This is an example module.\n\nThis is the docstring.\n',
       Stmt([Function(None, 'double', ['x'], [], 0,
                      'Return twice the argument',
                      Stmt([Return(Mul((Name('x'), Const(2))))]))]))
>>> from compiler.ast import *
>>> Module('This is an example module.\n\nThis is the docstring.\n',
...    Stmt([Function(None, 'double', ['x'], [], 0,
...                   'Return twice the argument',
...                   Stmt([Return(Mul((Name('x'), Const(2))))]))]))
Module('This is an example module.\n\nThis is the docstring.\n',
       Stmt([Function(None, 'double', ['x'], [], 0,
                      'Return twice the argument',
                      Stmt([Return(Mul((Name('x'), Const(2))))]))]))
>>> mod.doc
'This is an example module.\n\nThis is the docstring.\n'
>>> for node in mod.node.nodes:
...     print node
...
Function(None, 'double', ['x'], [], 0, 'Return twice the argument',
         Stmt([Return(Mul((Name('x'), Const(2))))]))
>>> func = mod.node.nodes[0]
>>> func.code
Stmt([Return(Mul((Name('x'), Const(2))))])

33.4. Использование посетителей для обхода AST¶Using Visitors to Walk ASTs

Шаблон «Посетитель» – это … Пакет compiler использует вариант шаблона «Посетитель», который использует возможности интроспекции Python для устранения необходимости в большей части инфраструктуры посетителя.

Посещаемые классы не нужно программировать на приём посетителей. Посетителю достаточно определить методы visit только для тех классов, которые его интересуют; метод visit по умолчанию обработает остальные.

XXX Магический метод visit() для посетителей.

compiler.visitor.walk(tree, visitor[, verbose])¶

class compiler.visitor.ASTVisitor¶

ASTVisitor отвечает за обход дерева в правильном порядке. Обход начинается с вызова preorder(). Для каждого узла он проверяет аргумент посетитель в preorder() на наличие метода с именем ‘visitNodeType,’ где NodeType – это имя класса узла, например для узла While будет вызван метод visitWhile(). Если метод существует, он вызывается с узлом в качестве первого аргумента.

Метод посетителя для конкретного типа узла может управлять тем, как дочерние узлы посещаются во время обхода. ASTVisitor изменяет аргумент посетителя, добавляя к нему метод visit; этот метод можно использовать для посещения конкретного дочернего узла. Если для определённого типа узла посетитель не найден, вызывается метод default().

Объекты ASTVisitor имеют следующие методы:

XXX описать дополнительные аргументы

default(node[, ...])¶

dispatch(node[, ...])¶

preorder(tree, visitor)¶

33.5. Генерация байт-кода¶Bytecode Generation

Генератор кода – это посетитель, который генерирует байт-коды. Каждый метод visit может вызывать метод emit() для генерации нового байт-кода. Базовый генератор кода специализирован для модулей, классов и функций. Ассемблер преобразует сгенерированные инструкции в низкоуровневый формат байт-кода. Он обрабатывает такие задачи, как создание списков констант объектов кода и вычисление смещений переходов.