Содержание страницы

6. Модули¶Modules

Если выйти из интерпретатора Python и войти в него снова, все созданные определения (функции и переменные) теряются. Поэтому для написания более длинной программы лучше использовать текстовый редактор для подготовки входных данных для интерпретатора и запускать его с этим файлом в качестве входных данных. Это называется созданием скрипта. По мере роста программы может потребоваться разбить её на несколько файлов для упрощения сопровождения. Также может пригодиться удобная функция, написанная для нескольких программ, без копирования её определения в каждую из них.

Для поддержки этого в Python есть способ помещать определения в файл и использовать их в скрипте или в интерактивном сеансе интерпретатора. Такой файл называется модулем; определения из модуля можно импортировать в другие модули или в главный модуль (набор переменных, доступных в скрипте, выполняемом на верхнем уровне, и в режиме калькулятора).

Модуль – это файл, содержащий определения и инструкции Python. Имя файла – это имя модуля с добавленным суффиксом .py. Внутри модуля имя модуля (в виде строки) доступно как значение глобальной переменной __name__. Например, с помощью любимого текстового редактора создайте файл с именем fibo.py в текущем каталоге со следующим содержимым:

# Модуль чисел Фибоначчи

def fib(n):    # вывести ряд Фибоначчи до n
    a, b = 0, 1
    while b < n:
        print b,
        a, b = b, a+b

def fib2(n):   # возвращает ряд Фибоначчи до n
    result = []
    a, b = 0, 1
    while b < n:
        result.append(b)
        a, b = b, a+b
    return result

Теперь войдите в интерпретатор Python и импортируйте этот модуль с помощью следующей команды:

>>> import fibo

Это не вносит имена функций, определённых в fibo, непосредственно в текущую таблицу символов; оно вносит только имя модуля fibo. Используя имя модуля, можно обращаться к функциям:

>>> fibo.fib(1000)
1 1 2 3 5 8 13 21 34 55 89 144 233 377 610 987
>>> fibo.fib2(100)
[1, 1, 2, 3, 5, 8, 13, 21, 34, 55, 89]
>>> fibo.__name__
'fibo'

Если вы намерены часто использовать функцию, можно присвоить её локальному имени:

>>> fib = fibo.fib
>>> fib(500)
1 1 2 3 5 8 13 21 34 55 89 144 233 377

6.1. Подробнее о модулях¶More on Modules

Модуль может содержать исполняемые инструкции, а также определения функций. Эти инструкции предназначены для инициализации модуля. Они выполняются только при первом обнаружении имени модуля в инструкции импорта. 1 (Они также запускаются, если файл выполняется как скрипт.)

Каждый модуль имеет собственную приватную таблицу символов, которая используется как глобальная таблица символов всеми функциями, определёнными в модуле. Таким образом, автор модуля может использовать глобальные переменные в модуле, не опасаясь случайных конфликтов с глобальными переменными пользователя. С другой стороны, если вы знаете, что делаете, можно обращаться к глобальным переменным модуля с помощью той же нотации, что используется для обращения к его функциям, modname.itemname.

Модули могут импортировать другие модули. Принято, но не обязательно, помещать все инструкции import в начале модуля (или сценария, если уж на то пошло). Имена импортированных модулей помещаются в глобальную таблицу символов импортирующего модуля.

Существует вариант инструкции import, которая импортирует имена из модуля непосредственно в таблицу символов импортирующего модуля. Например:

>>> from fibo import fib, fib2
>>> fib(500)
1 1 2 3 5 8 13 21 34 55 89 144 233 377

При этом имя модуля, из которого берутся импорты, не вносится в локальную таблицу символов (поэтому в примере fibo не определён).

Существует даже вариант импорта всех имён, определённых в модуле:

>>> from fibo import *
>>> fib(500)
1 1 2 3 5 8 13 21 34 55 89 144 233 377

Это импортирует все имена, кроме начинающихся с подчёркивания (_).

Обратите внимание, что в целом практика импортирования * из модуля или пакета не одобряется, поскольку часто приводит к плохо читаемому коду. Однако её можно использовать, чтобы сэкономить время набора в интерактивных сеансах.

Если за именем модуля следует as, то имя, следующее за as, привязывается непосредственно к импортированному модулю.

>>> import fibo as fib
>>> fib.fib(500)
0 1 1 2 3 5 8 13 21 34 55 89 144 233 377

Это по сути импортирует модуль так же, как и import fibo, с единственным отличием: он становится доступен как fib.

Его также можно использовать при применении from с аналогичными эффектами:

>>> from fibo import fib as fibonacci
>>> fibonacci(500)
0 1 1 2 3 5 8 13 21 34 55 89 144 233 377

Примечание

По соображениям эффективности каждый модуль импортируется только один раз за сеанс интерпретатора. Поэтому при изменении модулей необходимо перезапустить интерпретатор – или, если требуется протестировать в интерактивном режиме только один модуль, используйте reload(), например reload(modulename).

6.1.1. Выполнение модулей как скриптов¶Executing modules as scripts

Когда вы запускаете модуль Python с

python fibo.py <arguments>

код в модуле будет выполнен, как если бы вы его импортировали, но с __name__, установленным в "__main__". Это означает, что, добавив этот код в конец модуля:

if __name__ == "__main__":
    import sys
    fib(int(sys.argv[1]))

можно сделать файл пригодным для использования как в качестве скрипта, так и импортируемого модуля, поскольку код, разбирающий командную строку, выполняется только при запуске модуля как «главного» файла:

$ python fibo.py 50
1 1 2 3 5 8 13 21 34

Если модуль импортируется, этот код не выполняется:

>>> import fibo
>>>

Это часто используется либо для предоставления удобного пользовательского интерфейса модуля, либо для целей тестирования (запуск модуля как скрипта выполняет тестовый набор).

6.1.2. Путь поиска модулей¶The Module Search Path

Когда импортируется модуль с именем spam, интерпретатор сначала ищет встроенный модуль с таким именем. Если он не найден, то затем ищется файл с именем spam.py в списке каталогов, заданном переменной sys.path. sys.path инициализируется из следующих источников:

каталог, содержащий входной скрипт (или текущий каталог).
PYTHONPATH (список имён каталогов с тем же синтаксисом, что и переменная оболочки PATH).
зависящий от установки путь по умолчанию.

После инициализации программы Python могут изменять sys.path. Каталог, содержащий выполняемый скрипт, помещается в начало пути поиска, перед путём стандартной библиотеки. Это означает, что скрипты из этого каталога будут загружаться вместо модулей с теми же именами из библиотечного каталога. Если замена не предполагалась, это является ошибкой. Дополнительную информацию см. в разделе Стандартные модули.

6.1.3. «Скомпилированные» файлы Python¶“Compiled” Python files

Для значительного ускорения запуска коротких программ, использующих много стандартных модулей, если файл с именем spam.pyc существует в каталоге, где находится spam.py, то считается, что он содержит уже «откомпилированную в байт-код» версию модуля spam. Время изменения файла spam.py, использованного для создания spam.pyc, записывается в spam.pyc, и файл .pyc игнорируется, если они не совпадают.

Обычно не требуется ничего делать для создания файла spam.pyc. Всякий раз, когда spam.py успешно компилируется, предпринимается попытка записать скомпилированную версию в spam.pyc. Сбой при этой попытке не является ошибкой; если по какой-либо причине файл не был записан полностью, полученный файл spam.pyc будет признан недействительным и впоследствии проигнорирован. Содержимое файла spam.pyc не зависит от платформы, поэтому каталог модулей Python может быть общим для машин с разными архитектурами.

Несколько советов для экспертов:

Когда интерпретатор Python вызывается с флагом -O, генерируется оптимизированный код, который сохраняется в файлах .pyo. Оптимизатор в настоящее время мало помогает; он только удаляет операторы assert. При использовании -O весь байт-код оптимизируется; файлы .pyc игнорируются, а файлы .py компилируются в оптимизированный байт-код.
Передача двух флагов -O интерпретатору Python (-OO) заставит компилятор байт-кода выполнять оптимизации, которые в редких случаях могут привести к неправильной работе программ. В настоящее время из байт-кода удаляются только строки __doc__, что приводит к более компактным файлам .pyo. Поскольку некоторые программы могут полагаться на наличие этих строк, следует использовать эту опцию только при понимании того, что делается.
Программа выполняется не быстрее при чтении из файла .pyc или .pyo, чем при чтении из файла .py; единственное, что быстрее в файлах .pyc или .pyo – это скорость их загрузки.
Когда скрипт запускается указанием его имени в командной строке, байт-код для скрипта никогда не записывается в файл .pyc или .pyo. Таким образом, время запуска скрипта можно уменьшить, переместив большую часть его кода в модуль и создав небольшой загрузочный скрипт, который импортирует этот модуль. Также можно указать файл .pyc или .pyo непосредственно в командной строке.
Можно иметь файл с именем spam.pyc (или spam.pyo при использовании -O) без файла spam.py для того же модуля. Это можно использовать для распространения библиотеки кода Python в форме, которую относительно сложно декомпилировать.
Модуль compileall может создавать файлы .pyc (или файлы .pyo при использовании -O) для всех модулей в каталоге.

6.2. Стандартные модули¶Standard Modules

Python поставляется с библиотекой стандартных модулей, описанной в отдельном документе – «Справочнике по библиотеке Python» (далее – «Справочник по библиотеке»). Некоторые модули встроены в интерпретатор; они предоставляют доступ к операциям, не входящим в ядро языка, но тем не менее встроенным, либо для эффективности, либо для доступа к примитивам операционной системы, таким как системные вызовы. Набор таких модулей является опцией конфигурации, которая также зависит от базовой платформы. Например, модуль winreg предоставляется только в Windows. Особого внимания заслуживает модуль sys, встроенный в каждый интерпретатор Python. Переменные sys.ps1 и sys.ps2 определяют строки, используемые в качестве основного и дополнительного приглашений:

>>> import sys
>>> sys.ps1
'>>> '
>>> sys.ps2
'... '
>>> sys.ps1 = 'C> '
C> print 'Yuck!'
Yuck!
C>

Эти две переменные определены только в том случае, если интерпретатор находится в интерактивном режиме.

Переменная sys.path – это список строк, определяющий путь поиска модулей интерпретатора. Она инициализируется значением по умолчанию, взятым из переменной окружения PYTHONPATH, или встроенным значением по умолчанию, если PYTHONPATH не задана. Её можно изменять с помощью стандартных операций со списками:

>>> import sys
>>> sys.path.append('/ufs/guido/lib/python')

6.3. Функция `dir()`¶The dir() Function

Встроенная функция dir() используется для выяснения, какие имена определяет модуль. Она возвращает отсортированный список строк:

>>> import fibo, sys
>>> dir(fibo)
['__name__', 'fib', 'fib2']
>>> dir(sys)  
['__displayhook__', '__doc__', '__excepthook__', '__name__', '__package__',
 '__stderr__', '__stdin__', '__stdout__', '_clear_type_cache',
 '_current_frames', '_getframe', '_mercurial', 'api_version', 'argv',
 'builtin_module_names', 'byteorder', 'call_tracing', 'callstats',
 'copyright', 'displayhook', 'dont_write_bytecode', 'exc_clear', 'exc_info',
 'exc_traceback', 'exc_type', 'exc_value', 'excepthook', 'exec_prefix',
 'executable', 'exit', 'flags', 'float_info', 'float_repr_style',
 'getcheckinterval', 'getdefaultencoding', 'getdlopenflags',
 'getfilesystemencoding', 'getobjects', 'getprofile', 'getrecursionlimit',
 'getrefcount', 'getsizeof', 'gettotalrefcount', 'gettrace', 'hexversion',
 'long_info', 'maxint', 'maxsize', 'maxunicode', 'meta_path', 'modules',
 'path', 'path_hooks', 'path_importer_cache', 'platform', 'prefix', 'ps1',
 'py3kwarning', 'setcheckinterval', 'setdlopenflags', 'setprofile',
 'setrecursionlimit', 'settrace', 'stderr', 'stdin', 'stdout', 'subversion',
 'version', 'version_info', 'warnoptions']

Без аргументов dir() выводит имена, определённые на данный момент:

>>> a = [1, 2, 3, 4, 5]
>>> import fibo
>>> fib = fibo.fib
>>> dir()
['__builtins__', '__name__', '__package__', 'a', 'fib', 'fibo', 'sys']

Обратите внимание, что она перечисляет имена всех типов: переменные, модули, функции и т.д.

dir() не перечисляет имена встроенных функций и переменных. Если нужен их список, они определены в стандартном модуле __builtin__:

>>> import __builtin__
>>> dir(__builtin__)  
['ArithmeticError', 'AssertionError', 'AttributeError', 'BaseException',
 'BufferError', 'BytesWarning', 'DeprecationWarning', 'EOFError',
 'Ellipsis', 'EnvironmentError', 'Exception', 'False', 'FloatingPointError',
 'FutureWarning', 'GeneratorExit', 'IOError', 'ImportError', 'ImportWarning',
 'IndentationError', 'IndexError', 'KeyError', 'KeyboardInterrupt',
 'LookupError', 'MemoryError', 'NameError', 'None', 'NotImplemented',
 'NotImplementedError', 'OSError', 'OverflowError',
 'PendingDeprecationWarning', 'ReferenceError', 'RuntimeError',
 'RuntimeWarning', 'StandardError', 'StopIteration', 'SyntaxError',
 'SyntaxWarning', 'SystemError', 'SystemExit', 'TabError', 'True',
 'TypeError', 'UnboundLocalError', 'UnicodeDecodeError',
 'UnicodeEncodeError', 'UnicodeError', 'UnicodeTranslateError',
 'UnicodeWarning', 'UserWarning', 'ValueError', 'Warning',
 'ZeroDivisionError', '_', '__debug__', '__doc__', '__import__',
 '__name__', '__package__', 'abs', 'all', 'any', 'apply', 'basestring',
 'bin', 'bool', 'buffer', 'bytearray', 'bytes', 'callable', 'chr',
 'classmethod', 'cmp', 'coerce', 'compile', 'complex', 'copyright',
 'credits', 'delattr', 'dict', 'dir', 'divmod', 'enumerate', 'eval',
 'execfile', 'exit', 'file', 'filter', 'float', 'format', 'frozenset',
 'getattr', 'globals', 'hasattr', 'hash', 'help', 'hex', 'id', 'input',
 'int', 'intern', 'isinstance', 'issubclass', 'iter', 'len', 'license',
 'list', 'locals', 'long', 'map', 'max', 'memoryview', 'min', 'next',
 'object', 'oct', 'open', 'ord', 'pow', 'print', 'property', 'quit',
 'range', 'raw_input', 'reduce', 'reload', 'repr', 'reversed', 'round',
 'set', 'setattr', 'slice', 'sorted', 'staticmethod', 'str', 'sum', 'super',
 'tuple', 'type', 'unichr', 'unicode', 'vars', 'xrange', 'zip']

6.4. Пакеты¶Packages

Пакеты – это способ структурирования пространства имён модулей Python с помощью «точечных имён модулей». Например, имя модуля A.B обозначает подмодуль с именем B в пакете с именем A. Подобно тому, как использование модулей избавляет авторов разных модулей от необходимости беспокоиться о глобальных переменных друг друга, использование точечных имён модулей избавляет авторов многомодульных пакетов (таких как NumPy или Pillow) от необходимости беспокоиться об именах модулей друг друга.

Предположим, вы хотите разработать набор модулей («пакет») для единообразной работы со звуковыми файлами и звуковыми данными. Существует множество различных форматов звуковых файлов (обычно распознаваемых по расширению, например: .wav, .aiff, .au), поэтому может потребоваться создать и поддерживать растущую коллекцию модулей для преобразования между различными форматами. Кроме того, со звуковыми данными можно выполнять множество различных операций (таких как микширование, добавление эха, применение эквалайзера, создание искусственного стереоэффекта), поэтому в дополнение придётся писать бесконечный поток модулей для выполнения этих операций. Вот возможная структура вашего пакета (в виде иерархической файловой системы):

sound/                          Top-level package
      __init__.py               Initialize the sound package
      formats/                  Subpackage for file format conversions
              __init__.py
              wavread.py
              wavwrite.py
              aiffread.py
              aiffwrite.py
              auread.py
              auwrite.py
              ...
      effects/                  Subpackage for sound effects
              __init__.py
              echo.py
              surround.py
              reverse.py
              ...
      filters/                  Subpackage for filters
              __init__.py
              equalizer.py
              vocoder.py
              karaoke.py
              ...

При импорте пакета Python просматривает каталоги в sys.path в поисках подкаталога пакета.

Файлы __init__.py необходимы, чтобы Python обрабатывал каталоги как содержащие пакеты; это сделано для предотвращения случайного скрытия каталогами с распространёнными именами, такими как string, действительных модулей, которые находятся позже в пути поиска модулей. В простейшем случае __init__.py может быть просто пустым файлом, но он также может выполнять код инициализации пакета или устанавливать переменную __all__, описанную далее.

Пользователи пакета могут импортировать отдельные модули из пакета, например:

import sound.effects.echo

Это загружает подмодуль sound.effects.echo. На него необходимо ссылаться по полному имени.

sound.effects.echo.echofilter(input, output, delay=0.7, atten=4)

Альтернативный способ импорта подмодуля:

from sound.effects import echo

Это также загружает подмодуль echo и делает его доступным без префикса пакета, так что его можно использовать следующим образом:

echo.echofilter(input, output, delay=0.7, atten=4)

Ещё один вариант – импортировать нужную функцию или переменную напрямую:

from sound.effects.echo import echofilter

Опять же, это загружает подмодуль echo, но теперь его функция echofilter() становится доступна напрямую:

echofilter(input, output, delay=0.7, atten=4)

Обратите внимание, что при использовании from package import item элемент может быть либо подмодулем (или подпакетом) пакета, либо другим именем, определённым в пакете, например функцией, классом или переменной. Инструкция import сначала проверяет, определён ли элемент в пакете; если нет, она предполагает, что это модуль, и пытается загрузить его. Если найти его не удаётся, возбуждается исключение ImportError.

Напротив, при использовании синтаксиса типа import item.subitem.subsubitem каждый элемент, кроме последнего, должен быть пакетом; последний элемент может быть модулем или пакетом, но не может быть классом, функцией или переменной, определённой в предыдущем элементе.

6.4.1. Импорт * из пакета¶Importing * From a Package

Что происходит, когда пользователь пишет from sound.effects import *? В идеале хотелось бы, чтобы это как-то обращалось к файловой системе, находило, какие подмодули присутствуют в пакете, и импортировало их все. Это может занять много времени, а импорт подмодулей может вызвать нежелательные побочные эффекты, которые должны возникать только при явном импорте подмодуля.

Единственное решение – чтобы автор пакета предоставил явный индекс пакета. Инструкция import использует следующее соглашение: если в коде __init__.py пакета определён список с именем __all__, он считается списком имён модулей, которые должны быть импортированы при встрече from package import *. Автор пакета должен обновлять этот список при выпуске новой версии пакета. Авторы пакетов также могут решить не поддерживать это, если не видят смысла в импорте * из своего пакета. Например, файл sound/effects/__init__.py может содержать следующий код:

__all__ = ["echo", "surround", "reverse"]

Это означало бы, что from sound.effects import * импортирует три указанных подмодуля пакета sound.

Если __all__ не определён, инструкция from sound.effects import * не импортирует все подмодули из пакета sound.effects в текущее пространство имён; она только гарантирует, что пакет sound.effects был импортирован (возможно, с выполнением кода инициализации в __init__.py), а затем импортирует все имена, определённые в пакете. Сюда входят любые имена, определённые (и подмодули, явно загруженные) инструкцией __init__.py. Также сюда входят любые подмодули пакета, которые были явно загружены предыдущими инструкциями import. Рассмотрим следующий код:

import sound.effects.echo
import sound.effects.surround
from sound.effects import *

В этом примере модули echo и surround импортируются в текущее пространство имён, потому что они определены в пакете sound.effects при выполнении инструкции from...import. (Это также работает, когда определён __all__.)

Хотя некоторые модули спроектированы так, чтобы экспортировать только имена, соответствующие определённым шаблонам при использовании import *, в производственном коде это по-прежнему считается плохой практикой.

Помните, в использовании from package import specific_submodule нет ничего плохого! На самом деле, это рекомендуемая запись, если только импортирующему модулю не требуется использовать подмодули с одинаковыми именами из разных пакетов.

6.4.2. Ссылки внутри пакета¶Intra-package References

Подмодули часто должны ссылаться друг на друга. Например, модуль surround может использовать модуль echo. На самом деле такие ссылки настолько распространены, что оператор import сначала ищет в содержащем пакете, прежде чем искать в стандартном пути поиска модулей. Таким образом, модуль surround может просто использовать import echo или from echo import echofilter. Если импортируемый модуль не найден в текущем пакете (пакете, подмодулем которого является текущий модуль), оператор import ищет модуль верхнего уровня с заданным именем.

Когда пакеты структурированы в подпакеты (как пакет sound в примере), можно использовать абсолютные импорты для обращения к подмодулям родственных пакетов. Например, если модулю sound.filters.vocoder требуется использовать модуль echo из пакета sound.effects, он может использовать from sound.effects import echo.

Начиная с Python 2.5, в дополнение к неявным относительным импортам, описанным выше, можно использовать явные относительные импорты с помощью формы оператора import from module import name. В этих явных относительных импортах используются начальные точки для указания текущего и родительского пакетов, участвующих в относительном импорте. Например, из модуля surround можно написать:

from . import echo
from .. import formats
from ..filters import equalizer

Обратите внимание, что как явные, так и неявные относительные импорты основаны на имени текущего модуля. Поскольку имя главного модуля всегда "__main__", модули, предназначенные для использования в качестве главного модуля приложения Python, должны всегда использовать абсолютные импорты.

6.4.3. Пакеты в нескольких каталогах¶Packages in Multiple Directories

Пакеты поддерживают ещё один специальный атрибут, __path__. Он инициализируется списком, содержащим имя каталога, в котором находится __init__.py пакета, до выполнения кода в этом файле. Эту переменную можно изменять; это повлияет на последующий поиск модулей и подпакетов, входящих в пакет.

Хотя эта возможность требуется нечасто, её можно использовать для расширения набора модулей, доступных в пакете.

Сноски

1: На самом деле определения функций также являются «инструкциями», которые «выполняются»; исполнение определения функции на уровне модуля вносит имя функции в глобальную таблицу символов модуля.