Содержание страницы

6. Модули¶Modules

Если выйти из интерпретатора Python и войти в него снова, все созданные определения (функции и переменные) теряются. Поэтому для написания более длинной программы лучше использовать текстовый редактор для подготовки входных данных для интерпретатора и запускать его с этим файлом в качестве входных данных. Это называется созданием скрипта. По мере роста программы может потребоваться разбить её на несколько файлов для упрощения сопровождения. Также может пригодиться удобная функция, написанная для нескольких программ, без копирования её определения в каждую из них.

Для поддержки этого в Python есть способ помещать определения в файл и использовать их в скрипте или в интерактивном сеансе интерпретатора. Такой файл называется модулем; определения из модуля можно импортировать в другие модули или в главный модуль (набор переменных, доступных в скрипте, выполняемом на верхнем уровне, и в режиме калькулятора).

Модуль – это файл, содержащий определения и инструкции Python. Имя файла – это имя модуля с добавлением суффикса .py. Внутри модуля имя модуля (в виде строки) доступно как значение глобальной переменной __name__. Например, с помощью вашего любимого текстового редактора создайте файл с именем fibo.py в текущем каталоге со следующим содержимым:

# Модуль чисел Фибоначчи

def fib(n):    # вывести ряд Фибоначчи до n
    a, b = 0, 1
    while b < n:
        print(b, end=' ')
        a, b = b, a+b
    print()

def fib2(n): # возвращает ряд Фибоначчи до n
    result = []
    a, b = 0, 1
    while b < n:
        result.append(b)
        a, b = b, a+b
    return result

Теперь войдите в интерпретатор Python и импортируйте этот модуль с помощью следующей команды:

>>> import fibo

Это не добавляет имена функций, определённых в fibo, непосредственно в текущую таблицу символов; оно добавляет только имя модуля fibo. Используя имя модуля, можно обращаться к функциям:

>>> fibo.fib(1000)
1 1 2 3 5 8 13 21 34 55 89 144 233 377 610 987
>>> fibo.fib2(100)
[1, 1, 2, 3, 5, 8, 13, 21, 34, 55, 89]
>>> fibo.__name__
'fibo'

Если вы намерены часто использовать функцию, можно присвоить её локальному имени:

>>> fib = fibo.fib
>>> fib(500)
1 1 2 3 5 8 13 21 34 55 89 144 233 377

6.1. Подробнее о модулях¶More on Modules

Модуль может содержать исполняемые операторы, а также определения функций. Эти операторы предназначены для инициализации модуля. Они выполняются только при первом импорте модуля куда-либо. [1]

Каждый модуль имеет собственную приватную таблицу символов, которая используется как глобальная таблица символов всеми функциями, определёнными в модуле. Таким образом, автор модуля может использовать глобальные переменные в модуле, не беспокоясь о случайных конфликтах с глобальными переменными пользователя. С другой стороны, если вы знаете, что делаете, можно обращаться к глобальным переменным модуля, используя ту же нотацию, что и для обращения к его функциям: modname.itemname.

Модули могут импортировать другие модули. Обычно, но не обязательно, размещать все инструкции import в начале модуля (или, соответственно, скрипта). Имена импортированных модулей помещаются в глобальную таблицу символов импортирующего модуля.

Существует разновидность инструкции import, которая импортирует имена из модуля непосредственно в таблицу символов импортирующего модуля. Например:

>>> from fibo import fib, fib2
>>> fib(500)
1 1 2 3 5 8 13 21 34 55 89 144 233 377

При этом имя модуля, из которого берутся импорты, не вносится в локальную таблицу символов (поэтому в примере fibo не определён).

Существует даже вариант импорта всех имён, определённых в модуле:

>>> from fibo import *
>>> fib(500)
1 1 2 3 5 8 13 21 34 55 89 144 233 377

Это импортирует все имена, кроме тех, которые начинаются с символа подчёркивания (_). В большинстве случаев программисты на Python не используют эту возможность, поскольку она вносит в интерпретатор неизвестный набор имён, что может скрыть уже определённые объекты.

Обратите внимание, что в целом практика импортирования * из модуля или пакета не одобряется, поскольку часто приводит к плохо читаемому коду. Однако её можно использовать, чтобы сэкономить время набора в интерактивных сеансах.

Примечание

Из соображений эффективности каждый модуль импортируется только один раз за сеанс интерпретатора. Поэтому, если вы изменили свои модули, необходимо перезапустить интерпретатор – или, если вы хотите интерактивно протестировать всего один модуль, используйте imp.reload(), например import imp; imp.reload(modulename).

6.1.1. Выполнение модулей как скриптов¶Executing modules as scripts

Когда вы запускаете модуль Python с

python fibo.py <arguments>

то код в модуле будет выполнен, как если бы вы его импортировали, но с __name__, установленным в "__main__". Это означает, что, добавив этот код в конец вашего модуля:

if __name__ == "__main__":
    import sys
    fib(int(sys.argv[1]))

можно сделать файл пригодным для использования как в качестве скрипта, так и импортируемого модуля, поскольку код, разбирающий командную строку, выполняется только при запуске модуля как «главного» файла:

$ python fibo.py 50
1 1 2 3 5 8 13 21 34

Если модуль импортируется, этот код не выполняется:

>>> import fibo
>>>

Это часто используется либо для предоставления удобного пользовательского интерфейса модуля, либо для целей тестирования (запуск модуля как скрипта выполняет тестовый набор).

6.1.2. Путь поиска модулей¶The Module Search Path

Когда импортируется модуль с именем spam, интерпретатор сначала ищет встроенный модуль с таким именем. Если он не найден, то ищется файл с именем spam.py в списке каталогов, заданном переменной sys.path. sys.path инициализируется из следующих источников:

каталог, содержащий входной скрипт (или текущий каталог).
PYTHONPATH (список имён каталогов с тем же синтаксисом, что и переменная оболочки PATH).
зависящий от установки путь по умолчанию.

После инициализации программы на Python могут изменять sys.path. Каталог, содержащий выполняемый скрипт, помещается в начало пути поиска, перед путём стандартной библиотеки. Это означает, что скрипты из этого каталога будут загружаться вместо модулей с тем же именем из каталога библиотеки. Это ошибка, если только замена не предполагается. Дополнительную информацию см. в разделе Стандартные модули.

6.1.3. «Скомпилированные» файлы Python¶“Compiled” Python files

Для значительного ускорения запуска коротких программ, использующих много стандартных модулей, если в каталоге, где находится spam.py, существует файл spam.pyc, то считается, что он содержит уже «откомпилированную в байт-код» версию модуля spam. Время изменения версии spam.py, использованной для создания spam.pyc, записывается в spam.pyc, и если они не совпадают, файл .pyc игнорируется.

Обычно для создания файла spam.pyc ничего делать не нужно. Всякий раз, когда spam.py успешно компилируется, делается попытка записать скомпилированную версию в spam.pyc. Если эта попытка неудачна, это не считается ошибкой; если по какой-то причине файл не был записан полностью, полученный файл spam.pyc будет признан недействительным и впоследствии проигнорирован. Содержимое файла spam.pyc не зависит от платформы, поэтому каталог модулей Python можно использовать на машинах с разной архитектурой.

Несколько советов для экспертов:

Когда интерпретатор Python запускается с флагом -O, генерируется оптимизированный код и сохраняется в файлах .pyo. Оптимизатор в настоящее время не слишком помогает; он только удаляет операторы assert. При использовании -O оптимизируется весь байт-код; файлы .pyc игнорируются, а файлы .py компилируются в оптимизированный байт-код.
Передача двух флагов -O интерпретатору Python (-OO) заставит компилятор байт-кода выполнить оптимизации, которые в редких случаях могут привести к некорректной работе программ. В настоящее время из байт-кода удаляются только строки __doc__, что приводит к созданию более компактных файлов .pyo. Поскольку некоторые программы могут рассчитывать на их наличие, используйте эту опцию, только если вы знаете, что делаете.
Программа не выполняется быстрее при чтении из файла .pyc или .pyo, чем при чтении из файла .py; единственное, что быстрее в файлах .pyc или .pyo – это скорость их загрузки.
Когда скрипт запускается указанием его имени в командной строке, байт-код для скрипта никогда не записывается в файл .pyc или .pyo. Таким образом, время запуска скрипта можно сократить, переместив большую часть его кода в модуль и создав небольшой загрузочный скрипт, который импортирует этот модуль. Также можно указать файл .pyc или .pyo непосредственно в командной строке.
Может существовать файл с именем spam.pyc (или spam.pyo при использовании -O) без файла spam.py для того же модуля. Это можно использовать для распространения библиотеки кода Python в форме, которую относительно трудно декомпилировать.
Модуль compileall может создавать файлы .pyc (или .pyo при использовании -O) для всех модулей в каталоге.

6.2. Стандартные модули¶Standard Modules

Python поставляется с библиотекой стандартных модулей, описанной в отдельном документе – «Справочнике по библиотеке Python» (далее – «Справочник по библиотеке»). Некоторые модули встроены в интерпретатор; они предоставляют доступ к операциям, не являющимся частью ядра языка, но тем не менее встроенным – либо для эффективности, либо для обеспечения доступа к примитивам операционной системы, таким как системные вызовы. Набор таких модулей является опцией конфигурации, которая также зависит от базовой платформы. Например, модуль winreg предоставляется только в системах Windows. Один модуль заслуживает особого внимания: sys, который встроен в каждый интерпретатор Python. Переменные sys.ps1 и sys.ps2 определяют строки, используемые в качестве основного и дополнительного приглашений:

>>> import sys
>>> sys.ps1
'>>> '
>>> sys.ps2
'... '
>>> sys.ps1 = 'C> '
C> print('Yuck!')
Yuck!
C>

Эти две переменные определены только в том случае, если интерпретатор находится в интерактивном режиме.

Переменная sys.path – это список строк, определяющий путь поиска модулей для интерпретатора. Она инициализируется путём по умолчанию, взятым из переменной окружения PYTHONPATH, или из встроенного значения по умолчанию, если PYTHONPATH не задана. Её можно изменить с помощью стандартных операций со списками:

>>> import sys
>>> sys.path.append('/ufs/guido/lib/python')

6.3. Функция `dir()`¶The dir() Function

Встроенная функция dir() используется для выяснения, какие имена определяет модуль. Она возвращает отсортированный список строк:

>>> import fibo, sys
>>> dir(fibo)
['__name__', 'fib', 'fib2']
>>> dir(sys)  
['__displayhook__', '__doc__', '__excepthook__', '__name__', '__package__',
 '__stderr__', '__stdin__', '__stdout__', '_clear_type_cache',
 '_current_frames', '_getframe', '_mercurial', '_xoptions', 'abiflags',
 'api_version', 'argv', 'builtin_module_names', 'byteorder', 'call_tracing',
 'callstats', 'copyright', 'displayhook', 'dont_write_bytecode', 'exc_info',
 'excepthook', 'exec_prefix', 'executable', 'exit', 'flags', 'float_info',
 'float_repr_style', 'getcheckinterval', 'getdefaultencoding',
 'getdlopenflags', 'getfilesystemencoding', 'getobjects', 'getprofile',
 'getrecursionlimit', 'getrefcount', 'getsizeof', 'getswitchinterval',
 'gettotalrefcount', 'gettrace', 'hash_info', 'hexversion', 'int_info',
 'intern', 'maxsize', 'maxunicode', 'meta_path', 'modules', 'path',
 'path_hooks', 'path_importer_cache', 'platform', 'prefix', 'ps1',
 'setcheckinterval', 'setdlopenflags', 'setprofile', 'setrecursionlimit',
 'setswitchinterval', 'settrace', 'stderr', 'stdin', 'stdout', 'subversion',
 'version', 'version_info', 'warnoptions']

Без аргументов dir() перечисляет имена, которые вы определили в данный момент:

>>> a = [1, 2, 3, 4, 5]
>>> import fibo
>>> fib = fibo.fib
>>> dir()
['__builtins__', '__name__', 'a', 'fib', 'fibo', 'sys']

Обратите внимание, что она перечисляет имена всех типов: переменные, модули, функции и т.д.

dir() не перечисляет имена встроенных функций и переменных. Если вам нужен их список, они определены в стандартном модуле builtins:

>>> import builtins
>>> dir(builtins)  
['ArithmeticError', 'AssertionError', 'AttributeError', 'BaseException',
 'BufferError', 'BytesWarning', 'DeprecationWarning', 'EOFError',
 'Ellipsis', 'EnvironmentError', 'Exception', 'False', 'FloatingPointError',
 'FutureWarning', 'GeneratorExit', 'IOError', 'ImportError',
 'ImportWarning', 'IndentationError', 'IndexError', 'KeyError',
 'KeyboardInterrupt', 'LookupError', 'MemoryError', 'NameError', 'None',
 'NotImplemented', 'NotImplementedError', 'OSError', 'OverflowError',
 'PendingDeprecationWarning', 'ReferenceError', 'ResourceWarning',
 'RuntimeError', 'RuntimeWarning', 'StopIteration', 'SyntaxError',
 'SyntaxWarning', 'SystemError', 'SystemExit', 'TabError', 'True',
 'TypeError', 'UnboundLocalError', 'UnicodeDecodeError',
 'UnicodeEncodeError', 'UnicodeError', 'UnicodeTranslateError',
 'UnicodeWarning', 'UserWarning', 'ValueError', 'Warning',
 'ZeroDivisionError', '_', '__build_class__', '__debug__', '__doc__',
 '__import__', '__name__', '__package__', 'abs', 'all', 'any', 'ascii',
 'bin', 'bool', 'bytearray', 'bytes', 'callable', 'chr', 'classmethod',
 'compile', 'complex', 'copyright', 'credits', 'delattr', 'dict', 'dir',
 'divmod', 'enumerate', 'eval', 'exec', 'exit', 'filter', 'float', 'format',
 'frozenset', 'getattr', 'globals', 'hasattr', 'hash', 'help', 'hex', 'id',
 'input', 'int', 'isinstance', 'issubclass', 'iter', 'len', 'license',
 'list', 'locals', 'map', 'max', 'memoryview', 'min', 'next', 'object',
 'oct', 'open', 'ord', 'pow', 'print', 'property', 'quit', 'range', 'repr',
 'reversed', 'round', 'set', 'setattr', 'slice', 'sorted', 'staticmethod',
 'str', 'sum', 'super', 'tuple', 'type', 'vars', 'zip']

6.4. Пакеты¶Packages

Пакеты – это способ структурирования пространства имён модулей Python с помощью «точечных имён модулей». Например, имя модуля A.B обозначает подмодуль с именем B в пакете с именем A. Подобно тому, как использование модулей избавляет авторов разных модулей от необходимости беспокоиться о глобальных переменных друг друга, использование точечных имён модулей избавляет авторов многомодульных пакетов, таких как NumPy или Python Imaging Library, от беспокойства об именах модулей друг друга.

Предположим, вы хотите спроектировать набор модулей («пакет») для единообразной обработки звуковых файлов и звуковых данных. Существует множество различных форматов звуковых файлов (обычно определяемых по расширению, например: .wav, .aiff, .au), поэтому вам может потребоваться создать и поддерживать растущую коллекцию модулей для преобразования между различными форматами файлов. Также существует множество различных операций, которые вы, возможно, захотите выполнять со звуковыми данными (таких как микширование, добавление эха, применение эквалайзера, создание искусственного стереоэффекта), поэтому, вдобавок, вы будете писать бесконечный поток модулей для выполнения этих операций. Вот возможная структура вашего пакета (выраженная в терминах иерархической файловой системы):

sound/                          Top-level package
      __init__.py               Initialize the sound package
      formats/                  Subpackage for file format conversions
              __init__.py
              wavread.py
              wavwrite.py
              aiffread.py
              aiffwrite.py
              auread.py
              auwrite.py
              ...
      effects/                  Subpackage for sound effects
              __init__.py
              echo.py
              surround.py
              reverse.py
              ...
      filters/                  Subpackage for filters
              __init__.py
              equalizer.py
              vocoder.py
              karaoke.py
              ...

При импорте пакета Python просматривает каталоги по sys.path в поисках подкаталога пакета.

Файлы __init__.py необходимы, чтобы Python рассматривал каталоги как содержащие пакеты; это сделано для предотвращения случайного скрытия каталогами с распространённым именем, например string, корректных модулей, находящихся позже в пути поиска модулей. В простейшем случае __init__.py может быть просто пустым файлом, но он также может выполнять код инициализации пакета или устанавливать переменную __all__, описанную далее.

Пользователи пакета могут импортировать отдельные модули из пакета, например:

import sound.effects.echo

Это загружает подмодуль sound.effects.echo. К нему необходимо обращаться по полному имени.

sound.effects.echo.echofilter(input, output, delay=0.7, atten=4)

Альтернативный способ импорта подмодуля:

from sound.effects import echo

Это также загружает подмодуль echo и делает его доступным без префикса пакета, так что его можно использовать следующим образом:

echo.echofilter(input, output, delay=0.7, atten=4)

Ещё один вариант – импортировать нужную функцию или переменную напрямую:

from sound.effects.echo import echofilter

Опять же, это загружает подмодуль echo, но на этот раз делает его функцию echofilter() непосредственно доступной:

echofilter(input, output, delay=0.7, atten=4)

Обратите внимание, что при использовании from package import item элемент может быть как подмодулем (или подпакетом) пакета, так и другим именем, определённым в пакете, например функцией, классом или переменной. Инструкция import сначала проверяет, определён ли элемент в пакете; если нет, она предполагает, что это модуль, и пытается его загрузить. Если его не удаётся найти, возбуждается исключение ImportError.

Напротив, при использовании синтаксиса типа import item.subitem.subsubitem каждый элемент, кроме последнего, должен быть пакетом; последний элемент может быть модулем или пакетом, но не может быть классом, функцией или переменной, определённой в предыдущем элементе.

6.4.1. Импорт * из пакета¶Importing * From a Package

Что же происходит, когда пользователь пишет from sound.effects import *? В идеале хотелось бы, чтобы это каким-то образом обращалось к файловой системе, находило, какие подмодули присутствуют в пакете, и импортировало их все. Это может занять много времени, а импорт подмодулей может иметь нежелательные побочные эффекты, которые должны возникать только при явном импорте подмодуля.

Единственное решение – чтобы автор пакета предоставил явный индекс пакета. Оператор import использует следующее соглашение: если в коде __init__.py пакета определён список с именем __all__, он считается списком имён модулей, которые должны быть импортированы при встрече from package import *. Обновление этого списка при выходе новой версии пакета – ответственность автора пакета. Авторы пакетов также могут решить не поддерживать его, если они не видят смысла в импорте * из своего пакета. Например, файл sounds/effects/__init__.py может содержать следующий код:

__all__ = ["echo", "surround", "reverse"]

Это означает, что from sound.effects import * импортирует три указанных подмодуля пакета sound.

Если __all__ не определён, инструкция from sound.effects import * не импортирует все подмодули из пакета sound.effects в текущее пространство имён; она лишь гарантирует, что пакет sound.effects был импортирован (возможно, выполнив код инициализации из __init__.py), а затем импортирует все имена, определённые в пакете. Сюда входят любые имена, определённые (и явно загруженные подмодули) в __init__.py. А также все подмодули пакета, которые были явно загружены предыдущими инструкциями import. Рассмотрим такой код:

import sound.effects.echo
import sound.effects.surround
from sound.effects import *

В этом примере модули echo и surround импортируются в текущее пространство имён, потому что они определены в пакете sound.effects при выполнении инструкции from...import. (Это работает и в том случае, если определён __all__.)

Хотя некоторые модули спроектированы так, чтобы экспортировать только имена, соответствующие определённым шаблонам при использовании import *, в production-коде это всё равно считается плохой практикой.

Помните: в использовании from Package import specific_submodule нет ничего плохого! Фактически это рекомендуемая форма записи, если только импортирующему модулю не нужны подмодули с одинаковыми именами из разных пакетов.

6.4.2. Внутрипакетные ссылки¶Intra-package References

Когда пакеты структурированы в подпакеты (как пакет sound в примере), можно использовать абсолютные импорты для обращения к подмодулям соседних пакетов. Например, если модулю sound.filters.vocoder нужен модуль echo из пакета sound.effects, он может использовать from sound.effects import echo.

Можно также писать относительные импорты в форме from module import name. В таких импортах ведущие точки указывают на текущий и родительские пакеты. Например, из модуля surround можно использовать:

from . import echo
from .. import formats
from ..filters import equalizer

Обратите внимание: относительные импорты основаны на имени текущего модуля. Поскольку имя главного модуля всегда "__main__", модули, предназначенные для использования в качестве главного модуля приложения Python, всегда должны использовать абсолютные импорты.

6.4.3. Пакеты в нескольких каталогах¶Packages in Multiple Directories

Пакеты поддерживают ещё один специальный атрибут – __path__. Он инициализируется списком, содержащим имя каталога, в котором находится __init__.py пакета, до выполнения кода в этом файле. Эту переменную можно изменять; это повлияет на последующий поиск модулей и подпакетов, содержащихся в пакете.

Хотя эта возможность требуется нечасто, её можно использовать для расширения набора модулей, доступных в пакете.

Сноски

[1]	На самом деле определения функций – это тоже «операторы», которые «выполняются»; выполнение функции на уровне модуля заносит имя функции в глобальную таблицу символов модуля.