Часто задаваемые вопросы по библиотекам и расширениям¶Library and Extension FAQ

Как найти модуль или приложение для выполнения задачи X?¶How do I find a module or application to perform task X?

Проверьте справочник библиотеки, чтобы узнать, есть ли подходящий модуль в стандартной библиотеке. (Со временем вы запомните, что входит в стандартную библиотеку, и сможете пропустить этот шаг.)

Для сторонних пакетов выполните поиск в Python Package Index или воспользуйтесь Google или другой поисковой системой. Обычно поиск по «Python» с одним-двумя ключевыми словами по вашей теме находит что-нибудь полезное.

Где находится исходный файл math.py (socket.py, regex.py и т. д.)?¶Where is the math.py (socket.py, regex.py, etc.) source file?

Если не удаётся найти исходный файл модуля, возможно, это встроенный или динамически загружаемый модуль, реализованный на C, C++ или другом компилируемом языке. В таком случае исходного файла может не быть, или он может находиться где-то вроде mathmodule.c в каталоге исходного кода на C (а не в путях Python).

В Python существует (как минимум) три вида модулей:

1. модули, написанные на Python (.py);

2. модули, написанные на C и динамически загружаемые (.dll, .pyd, .so, .sl и т. д.);

3. модули, написанные на C и связанные с интерпретатором; чтобы получить их список, введите:

   import sys
   print(sys.builtin_module_names)
   

Как сделать скрипт Python исполняемым в Unix?¶How do I make a Python script executable on Unix?

Нужно сделать две вещи: установить исполняемый режим для файла скрипта и убедиться, что первая строка начинается с #!, за которым следует путь к интерпретатору Python.

Первый способ: выполнить chmod +x scriptfile или, возможно, chmod 755 scriptfile.

Второе можно сделать несколькими способами. Самый простой – написать

#!/usr/local/bin/python

в самой первой строке файла, указав путь к установленному на вашей платформе интерпретатору Python.

Если нужно, чтобы скрипт не зависел от расположения интерпретатора Python, можно воспользоваться программой env. Почти все варианты Unix поддерживают следующее (при условии, что интерпретатор Python находится в каталоге, указанном в переменной PATH пользователя):

#!/usr/bin/env python

Не делайте этого для CGI-скриптов. Переменная PATH для CGI-скриптов часто очень ограничена, поэтому нужно указывать фактический абсолютный путь к интерпретатору.

Иногда окружение пользователя настолько переполнено, что программа /usr/bin/env завершается с ошибкой; или программы env вообще нет. В таком случае можно попробовать следующий трюк (благодаря Алексу Резински):

#! /bin/sh
""":"
exec python $0 ${1+"$@"}
"""

Небольшой недостаток в том, что при этом определяется строка документации __doc__ скрипта. Однако это можно исправить, добавив

__doc__ = """...Whatever..."""

Существует ли пакет curses/termcap для Python?¶Is there a curses/termcap package for Python?

Для вариантов Unix: стандартный дистрибутив исходного кода Python поставляется с модулем curses в подкаталоге Modules, хотя по умолчанию он не компилируется. (Обратите внимание, что в дистрибутиве Windows его нет – модуля curses для Windows не существует.)

Модуль curses поддерживает базовые возможности curses, а также множество дополнительных функций из ncurses и SYSV curses: цвет, поддержку альтернативных наборов символов, панели (pads) и поддержку мыши. Это означает, что модуль несовместим с операционными системами, в которых есть только BSD curses, но, по-видимому, в настоящее время нет ни одной поддерживаемой ОС из этой категории.

Для Windows: используйте модуль consolelib.

Есть ли в Python аналог onexit() из C?¶Is there an equivalent to C’s onexit() in Python?

Модуль atexit предоставляет функцию register, аналогичную C-функции onexit().

Почему не работают мои обработчики сигналов?¶Why don’t my signal handlers work?

Самая распространённая проблема – обработчик сигнала объявлен с неправильным списком аргументов. Он вызывается как

handler(signum, frame)

поэтому он должен быть объявлен с двумя аргументами:

def handler(signum, frame):
    ...

Как тестировать программу или компонент Python?¶How do I test a Python program or component?

В состав Python входят два фреймворка для тестирования. Модуль doctest находит примеры в строках документации модуля и запускает их, сравнивая вывод с ожидаемым результатом, указанным в docstring.

Модуль unittest – это более продвинутый фреймворк для тестирования, созданный по образцу фреймворков Java и Smalltalk.

Чтобы упростить тестирование, используйте в программе хорошую модульную архитектуру. Почти вся функциональность должна быть инкапсулирована в функции или методы классов – и это иногда неожиданно и приятно ускоряет работу программы (потому что доступ к локальным переменным быстрее, чем к глобальным). Кроме того, программа не должна зависеть от изменения глобальных переменных, поскольку это сильно усложняет тестирование.

«Глобальная основная логика» вашей программы может быть такой же простой, как

if __name__ == "__main__":
    main_logic()

в конце главного модуля программы.

Когда программа организована как управляемая коллекция функций и поведений классов, следует написать тестовые функции, которые проверяют эти поведения. Тестовый набор, автоматизирующий последовательность тестов, можно связать с каждым модулем. Это звучит как большая работа, но, поскольку Python так краток и гибок, это оказывается удивительно легко. Писать код становится гораздо приятнее и веселее, если создавать тестовые функции параллельно с «рабочим кодом», поскольку это позволяет раньше находить ошибки и даже проектные недостатки.

«Вспомогательные модули», не предназначенные для роли главного модуля программы, могут включать самопроверку модуля.

if __name__ == "__main__":
    self_test()

Даже программы, взаимодействующие со сложными внешними интерфейсами, могут быть протестированы в отсутствие этих интерфейсов с помощью «фиктивных» интерфейсов, реализованных на Python.

Как создавать документацию из строк документации?¶How do I create documentation from doc strings?

Модуль pydoc умеет создавать HTML из строк документации в исходном коде Python. Альтернатива для создания API-документации исключительно из docstrings – epydoc. Sphinx также может включать содержимое docstring.

Как получить нажатие одной клавиши за раз?¶How do I get a single keypress at a time?

Для Unix-подобных систем есть несколько решений. Это несложно сделать с помощью curses, но curses – довольно большой модуль для изучения.

Как программировать с помощью потоков?¶How do I program using threads?

Обязательно используйте модуль threading, а не модуль _thread. Модуль threading предоставляет удобные абстракции поверх низкоуровневых примитивов, реализованных в модуле _thread.

У Aahz есть набор слайдов из его руководства по многопоточности, которые могут быть полезны; см. http://www.pythoncraft.com/OSCON2001/.

Почему ни один из моих потоков не выполняется?¶None of my threads seem to run: why?

Как только главный поток завершается, все потоки уничтожаются. Главный поток выполняется слишком быстро, не давая потокам времени на работу.

Простое исправление – добавить в конец программы задержку, достаточно длинную для завершения всех потоков:

import threading, time

def thread_task(name, n):
    for i in range(n): print(name, i)

for i in range(10):
    T = threading.Thread(target=thread_task, args=(str(i), i))
    T.start()

time.sleep(10)  # <---------------------------!

Но теперь (на многих платформах) потоки не выполняются параллельно, а, похоже, выполняются последовательно, один за другим! Причина в том, что планировщик потоков ОС не запускает новый поток, пока предыдущий не заблокирован.

Простое исправление – добавить небольшую задержку в начало функции run:

def thread_task(name, n):
    time.sleep(0.001)  # <--------------------!
    for i in range(n): print(name, i)

for i in range(10):
    T = threading.Thread(target=thread_task, args=(str(i), i))
    T.start()

time.sleep(10)

Вместо того чтобы пытаться угадать подходящее значение задержки для time.sleep(), лучше использовать какой-нибудь механизм семафора. Одна из идей – воспользоваться модулем queue для создания объекта очереди: пусть каждый поток по завершении добавляет в очередь токен, а главный поток читает из очереди столько токенов, сколько было потоков.

Как распределить работу между несколькими рабочими потоками?¶How do I parcel out work among a bunch of worker threads?

The easiest way is to use the new concurrent.futures module, especially the ThreadPoolExecutor class.

Или, если требуется тонкий контроль над алгоритмом диспетчеризации, можно написать собственную логику вручную. Используйте модуль queue для создания очереди, содержащей список заданий. Класс Queue хранит список объектов, имеет метод .put(obj) для добавления элементов в очередь и метод .get() для их получения. Класс позаботится о блокировках, необходимых для того, чтобы каждое задание было выдано ровно один раз.

Вот простой пример:

import threading, queue, time

# Рабочий поток забирает задания из очереди. Когда очередь пуста, он
# предполагает, что больше работы не будет, и завершается.
# (На практике рабочие потоки работают до принудительного завершения.)
def worker():
    print('Running worker')
    time.sleep(0.1)
    while True:
        try:
            arg = q.get(block=False)
        except queue.Empty:
            print('Worker', threading.currentThread(), end=' ')
            print('queue empty')
            break
        else:
            print('Worker', threading.currentThread(), end=' ')
            print('running with argument', arg)
            time.sleep(0.5)

# Создать очередь
q = queue.Queue()

# Запустить пул из 5 рабочих потоков
for i in range(5):
    t = threading.Thread(target=worker, name='worker %i' % (i+1))
    t.start()

# Начать добавление заданий в очередь
for i in range(50):
    q.put(i)

# Дать потокам время на выполнение
print('Main thread sleeping')
time.sleep(5)

При запуске это выдаст следующий вывод:

Running worker
Running worker
Running worker
Running worker
Running worker
Main thread sleeping
Worker <Thread(worker 1, started 130283832797456)> running with argument 0
Worker <Thread(worker 2, started 130283824404752)> running with argument 1
Worker <Thread(worker 3, started 130283816012048)> running with argument 2
Worker <Thread(worker 4, started 130283807619344)> running with argument 3
Worker <Thread(worker 5, started 130283799226640)> running with argument 4
Worker <Thread(worker 1, started 130283832797456)> running with argument 5
...

Обратитесь к документации модуля за подробностями; класс Queue предоставляет богатый интерфейс.

Какие виды изменения глобальных значений потокобезопасны?¶What kinds of global value mutation are thread-safe?

Внутренне используется глобальная блокировка интерпретатора (GIL), чтобы гарантировать, что в виртуальной машине Python в каждый момент времени выполняется только один поток. В целом Python может переключаться между потоками только между инструкциями байт-кода; частота переключения задаётся через sys.setswitchinterval(). Каждая инструкция байт-кода, а следовательно, и весь код на C, вызываемый из неё, является атомарным с точки зрения программы на Python.

Теоретически это означает, что точный учёт требует точного понимания реализации байткода виртуальной машины Python. На практике это означает, что операции над совместно используемыми переменными встроенных типов (int, list, dict и т.д.), которые «выглядят атомарными», действительно атомарны.

Например, следующие операции атомарны (L, L1, L2 – списки, D, D1, D2 – словари, x, y – объекты, i, j – целые числа):

L.append(x)
L1.extend(L2)
x = L[i]
x = L.pop()
L1[i:j] = L2
L.sort()
x = y
x.field = y
D[x] = y
D1.update(D2)
D.keys()

А эти – нет:

i = i+1
L.append(L[-1])
L[i] = L[j]
D[x] = D[x] + 1

Операции, замещающие другие объекты, могут вызвать метод __del__() этих объектов, когда их счётчик ссылок достигает нуля, и это может повлиять на выполнение. Особенно это касается массовых обновлений словарей и списков. В сомнительных случаях используйте мьютекс!

Нельзя ли избавиться от глобальной блокировки интерпретатора?¶Can’t we get rid of the Global Interpreter Lock?

Глобальная блокировка интерпретатора (GIL) часто считается помехой для развёртывания Python на высокопроизводительных многопроцессорных серверных машинах, поскольку многопоточная программа на Python фактически использует только один процессор из-за требования, что (почти) весь код Python может выполняться только при удерживаемом GIL.

Во времена Python 1.5 Грег Стайн реализовал обширный набор патчей (так называемые «free threading» патчи), который удалял GIL и заменял его более мелкозернистой блокировкой. Недавно Адам Олсен провёл похожий эксперимент в своём проекте python-safethread. К сожалению, оба эксперимента продемонстрировали резкое падение производительности в однопоточном режиме (как минимум на 30%), из-за большого количества мелкозернистых блокировок, необходимых для компенсации удаления GIL.

Это не значит, что Python нельзя эффективно использовать на многопроцессорных машинах! Просто нужно творчески подойти к разделению работы между несколькими процессами, а не несколькими потоками. Класс ProcessPoolExecutor из нового модуля concurrent.futures предоставляет простой способ сделать это; модуль multiprocessing предоставляет API более низкого уровня, если требуется больше контроля над диспетчеризацией задач.

Разумное использование расширений на C также помогает: если с помощью расширения на C выполняется трудоёмкая задача, расширение может освободить GIL, пока поток выполнения находится в коде C, и позволить другим потокам поработать. Некоторые модули стандартной библиотеки, такие как zlib и hashlib, уже так делают.

Высказывались предложения сделать GIL блокировкой на уровне состояния интерпретатора, а не глобальной; тогда интерпретаторы не смогли бы обмениваться объектами. К сожалению, это тоже вряд ли произойдёт. Это потребовало бы огромного объёма работы, поскольку многие реализации объектов в настоящее время используют глобальное состояние. Например, небольшие целые числа и короткие строки кэшируются; эти кэши пришлось бы перенести в состояние интерпретатора. Другие типы объектов имеют свои собственные списки свободной памяти; эти списки также пришлось бы перенести. И так далее.

И я сомневаюсь, что это вообще можно сделать за конечное время, потому что та же проблема существует и для сторонних расширений. Скорее всего, сторонние расширения пишутся быстрее, чем вы успеваете переделывать их для хранения всего глобального состояния в состоянии интерпретатора.

И наконец, если у вас есть несколько интерпретаторов, не разделяющих состояние, что вы выигрываете по сравнению с запуском каждого интерпретатора в отдельном процессе?

Как удалить файл? (И другие вопросы о файлах...)¶How do I delete a file? (And other file questions...)

Используйте os.remove(filename) или os.unlink(filename); документацию см. в модуле os. Эти две функции идентичны; unlink() – это просто имя системного вызова Unix для данной функции.

Для удаления каталога используйте os.rmdir(); чтобы создать каталог – os.mkdir(). os.makedirs(path) создаст все промежуточные каталоги в path, которые отсутствуют. os.removedirs(path) удалит промежуточные каталоги, если они пусты; если нужно удалить всё дерево каталогов вместе с содержимым, используйте shutil.rmtree().

Для переименования файла используйте os.rename(old_path, new_path).

Чтобы обрезать файл, откройте его с помощью f = open(filename, "rb+"), а затем используйте f.truncate(offset); offset по умолчанию равен текущей позиции. Также есть os.ftruncate(fd, offset) для файлов, открытых через os.open(), где fd – это файловый дескриптор (небольшое целое число).

Модуль shutil также содержит ряд функций для работы с файлами, включая copyfile(), copytree() и rmtree().

Как скопировать файл?¶How do I copy a file?

Модуль shutil содержит функцию copyfile(). Обратите внимание: в MacOS 9 она не копирует ветвь ресурсов (resource fork) и информацию Finder.

Как читать (или записывать) двоичные данные?¶How do I read (or write) binary data?

Для чтения и записи сложных двоичных форматов данных лучше всего использовать модуль struct. Он позволяет взять строку, содержащую двоичные данные (обычно числа), и преобразовать её в объекты Python; и наоборот.

Например, следующий код читает из файла два 2-байтовых целых числа и одно 4-байтовое целое число в формате big-endian:

import struct

with open(filename, "rb") as f:
   s = f.read(8)
   x, y, z = struct.unpack(">hhl", s)

Символ ‘>’ в строке формата указывает на порядок байтов big-endian; буква ‘h’ читает одно «короткое целое» (2 байта), а ‘l’ – одно «длинное целое» (4 байта) из строки.

Для более регулярных данных (например, однородного списка целых чисел или чисел с плавающей запятой) можно также использовать модуль array.

Не удаётся использовать os.read() для канала, созданного с помощью os.popen(); почему?¶I can’t seem to use os.read() on a pipe created with os.popen(); why?

os.read() is a low-level function which takes a file descriptor, a small integer representing the opened file. os.popen() creates a high-level file object, the same type returned by the built-in open() function. Thus, to read n bytes from a pipe p created with os.popen(), you need to use p.read(n).

Как получить доступ к последовательному порту (RS232)?¶How do I access the serial (RS232) port?

Для Win32, POSIX (Linux, BSD и т. д.), Jython:

http://pyserial.sourceforge.net

Для Unix смотрите сообщение в Usenet от Митча Чепмена:

http://groups.google.com/groups?selm=34A04430.CF9@ohioee.com

Почему закрытие sys.stdout (stdin, stderr) на самом деле не закрывает его?¶Why doesn’t closing sys.stdout (stdin, stderr) really close it?

Python file objects are a high-level layer of abstraction on low-level C file descriptors.

Для большинства файловых объектов, создаваемых в Python с помощью встроенной функции open(), вызов f.close() помечает файловый объект Python как закрытый с точки зрения Python, а также обеспечивает закрытие нижележащего дескриптора файла C. Это также происходит автоматически в деструкторе f, когда f становится мусором.

Но stdin, stdout и stderr обрабатываются Python особым образом из-за особого статуса, который им присваивается в C. Вызов sys.stdout.close() помечает файловый объект на уровне Python как закрытый, но не закрывает соответствующий дескриптор файла C.

Чтобы закрыть нижележащий дескриптор файла C для одного из этих трёх, сначала следует убедиться, что это действительно нужно сделать (например, это может запутать модули расширения, пытающиеся выполнять ввод-вывод). Если это так, следует использовать os.close():

os.close(stdin.fileno())
os.close(stdout.fileno())
os.close(stderr.fileno())

Или можно использовать числовые константы 0, 1 и 2 соответственно.

Какие WWW-инструменты есть для Python?¶What WWW tools are there for Python?

Смотрите главы Интернет-протоколы и поддержка и Обработка интернет-данных в Справочном руководстве по библиотеке Python. В Python есть много модулей, которые помогут создать веб-системы как на стороне сервера, так и на стороне клиента.

Сводка доступных фреймворков поддерживается Полом Бодди по адресу http://wiki.python.org/moin/WebProgramming.

Кэмерон Лэрд поддерживает полезный набор страниц о веб-технологиях Python по адресу http://phaseit.net/claird/comp.lang.python/web_python.

Как имитировать отправку CGI-формы (METHOD=POST)?¶How can I mimic CGI form submission (METHOD=POST)?

Мне нужно получать веб-страницы, которые появляются после отправки формы. Существует ли готовый код, позволяющий это сделать?

Да. Вот простой пример, использующий urllib.request:

#!/usr/local/bin/python

import urllib.request

### сформировать строку запроса
qs = "First=Josephine&MI=Q&Last=Public"

### подключиться и отправить серверу путь
req = urllib.request.urlopen('http://www.some-server.out-there'
                             '/cgi-bin/some-cgi-script', data=qs)
msg, hdrs = req.read(), req.info()

Обратите внимание, что в общем случае для POST-операций с процентным кодированием строки запроса должны быть закодированы с помощью urllib.parse.urlencode(). Например, чтобы отправить name=Guy Steele, Jr.:

>>> import urllib.parse
>>> urllib.parse.urlencode({'name': 'Guy Steele, Jr.'})
'name=Guy+Steele%2C+Jr.'

Какой модуль использовать для генерации HTML?¶What module should I use to help with generating HTML?

Вы можете найти подборку полезных ссылок на вики-странице Web Programming.

Как отправить письмо из скрипта Python?¶How do I send mail from a Python script?

Используйте модуль стандартной библиотеки smtplib.

Вот очень простой интерактивный отправитель почты, использующий этот модуль. Этот метод будет\nработать на любом хосте, поддерживающем SMTP-слушатель.

import sys, smtplib

fromaddr = input("From: ")
toaddrs  = input("To: ").split(',')
print("Enter message, end with ^D:")
msg = ''
while True:
    line = sys.stdin.readline()
    if not line:
        break
    msg += line

# Непосредственная отправка письма
server = smtplib.SMTP('localhost')
server.sendmail(fromaddr, toaddrs, msg)
server.quit()

Альтернатива только для Unix использует sendmail. Расположение программы sendmail различается в разных системах; иногда это /usr/lib/sendmail, иногда /usr/sbin/sendmail. Страница руководства sendmail поможет разобраться. Вот пример кода:

SENDMAIL = "/usr/sbin/sendmail"  # Расположение sendmail
import os
p = os.popen("%s -t -i" % SENDMAIL, "w")
p.write("To: receiver@example.com\n")
p.write("Subject: test\n")
p.write("\n")  # Пустая строка, отделяющая заголовки от тела
p.write("Some text\n")
p.write("some more text\n")
sts = p.close()
if sts != 0:
    print("Sendmail exit status", sts)

Как избежать блокировки в методе connect() сокета?¶How do I avoid blocking in the connect() method of a socket?

Модуль select обычно применяется для поддержки асинхронного ввода-вывода на сокетах.

Чтобы предотвратить блокировку при TCP-подключении, можно перевести сокет в неблокирующий режим. Затем при вызове connect() соединение либо установится сразу (маловероятно), либо будет получено исключение, содержащее номер ошибки в виде .errno. ⟦errno.EINPROGRESS указывает, что соединение устанавливается, но ещё не завершено. Разные ОС возвращают разные значения, поэтому необходимо проверить, что возвращается в вашей системе.

Можно использовать метод connect_ex(), чтобы избежать создания исключения. Он просто вернёт значение errno. Для опроса можно позже снова вызвать connect_ex() – 0 или errno.EISCONN указывают, что соединение установлено – или можно передать этот сокет в select, чтобы проверить, доступен ли он для записи.

Существуют ли интерфейсы к пакетам баз данных в Python?¶Are there any interfaces to database packages in Python?

Да.

Интерфейсы к дисковым хеш-таблицам, таким как DBM и GDBM, также включены в стандартную библиотеку Python. Также есть модуль sqlite3, который предоставляет лёгкую дисковую реляционную базу данных.

Доступна поддержка большинства реляционных баз данных. Подробнее см. на вики-странице DatabaseProgramming.

Как реализовать постоянные объекты в Python?¶How do you implement persistent objects in Python?

Модуль библиотеки pickle решает эту проблему очень общим способом (хотя по-прежнему нельзя хранить такие вещи, как открытые файлы, сокеты или окна), а модуль библиотеки shelve использует pickle и (g)dbm для создания постоянных отображений, содержащих произвольные объекты Python.

Как генерировать случайные числа в Python?¶How do I generate random numbers in Python?

Стандартный модуль random реализует генератор случайных чисел. Использование простое:

import random
random.random()

Возвращает случайное число с плавающей запятой в диапазоне [0, 1).

В этом модуле также есть много других специализированных генераторов, например:

• randrange(a, b) выбирает целое число в диапазоне [a, b).
• uniform(a, b) выбирает число с плавающей точкой в диапазоне [a, b).
• normalvariate(mean, sdev) возвращает случайное число из нормального (гауссова) распределения.

Некоторые функции более высокого уровня работают непосредственно с последовательностями, например:

• choice(S) выбирает случайный элемент из заданной последовательности
• shuffle(L) перемешивает список на месте, т.е. переставляет его элементы случайным образом

Также существует класс Random, который можно инстанцировать для создания нескольких независимых генераторов случайных чисел.