Документация Python неофициальный перевод
Содержание страницы

threading – параллелизм на основе потоковthreading – Thread-based parallelism

Исходный код: Lib/threading.py


Этот модуль предоставляет высокоуровневые интерфейсы для работы с потоками поверх низкоуровневого модуля _thread. Смотрите также модуль queue.

Изменено в версии 3.7: Ранее этот модуль был опциональным, теперь он всегда доступен.

Примечание

Хотя они не перечислены ниже, имена camelCase, которые использовались для некоторых методов и функций в этом модуле в серии Python 2.x, по-прежнему поддерживаются этим модулем.

Особенность реализации CPython: В CPython из-за глобальной блокировки интерпретатора только один поток может выполнять код Python одновременно (хотя некоторые библиотеки, ориентированные на производительность, могут обойти это ограничение). Если вы хотите, чтобы ваше приложение лучше использовало вычислительные ресурсы многоядерных машин, рекомендуется использовать multiprocessing или concurrent.futures.ProcessPoolExecutor. Однако многопоточность всё ещё является подходящей моделью, если нужно запустить несколько задач с интенсивным вводом-выводом одновременно.

Этот модуль определяет следующие функции:

threading.active_count()

Возвращает количество Thread объектов, которые сейчас активны. Возвращённое число равно длине списка, возвращаемого enumerate().

threading.current_thread()

Возвращает текущий Thread объект, соответствующий потоку управления вызывающего кода. Если поток управления вызывающего кода не был создан через модуль threading, возвращается фиктивный объект потока с ограниченной функциональностью.

threading.excepthook(args, /)

Обрабатывает необработанное исключение, вызванное Thread.run().

Аргумент args имеет следующие атрибуты:

  • exc_type: тип исключения.

  • exc_value: значение исключения, может быть None.

  • exc_traceback: трассировка исключения, может быть None.

  • поток: поток, вызвавший исключение, может быть None.

Если exc_type равен SystemExit, исключение молча игнорируется. В противном случае исключение выводится на sys.stderr.

Если эта функция вызывает исключение, sys.excepthook() вызывается для его обработки.

threading.excepthook() можно переопределить, чтобы контролировать обработку необработанных исключений, вызванных Thread.run().

Сохранение exc_value с помощью пользовательского перехватчика может создать циклическую ссылку. Её следует явно очистить, чтобы разорвать цикл ссылок, когда исключение больше не нужно.

Сохранение поток с помощью пользовательского перехватчика может восстановить его, если он ссылается на объект, который находится в процессе финализации. Избегайте сохранения поток после завершения работы пользовательского перехватчика, чтобы не восстанавливать объекты.

См. также

sys.excepthook() обрабатывает необработанные исключения.

Новое в версии 3.8.

threading.get_ident()

Возвращает «идентификатор потока» текущего потока. Это ненулевое целое число. Его значение не имеет прямого смысла; оно предназначено как уникальная метка, используемая, например, для индексации словаря с данными, специфичными для потока. Идентификаторы потоков могут быть переиспользованы, когда один поток завершается, а другой создаётся.

Новое в версии 3.3.

threading.get_native_id()

Возвращает нативный целочисленный идентификатор потока, назначенный ядром для текущего потока. Это неотрицательное целое число. Его значение может использоваться для уникальной идентификации данного потока в системе (пока поток не завершится, после чего значение может быть повторно использовано ОС).

Доступность: Windows, FreeBSD, Linux, macOS, OpenBSD, NetBSD, AIX.

Новое в версии 3.8.

threading.enumerate()

Возвращает список всех активных на данный момент объектов Thread. Список включает потоки-демоны, фиктивные объекты потоков, созданные current_thread(), и главный поток. Из него исключены завершённые потоки и потоки, которые ещё не были запущены.

threading.main_thread()

Возвращает основной объект Thread. В обычных условиях главный поток – это поток, с которого был запущен интерпретатор Python.

Новое в версии 3.4.

threading.settrace(func)

Устанавливает трассировочную функцию для всех потоков, запущенных из модуля threading. Функция func будет передана в sys.settrace() для каждого потока перед вызовом его метода run().

threading.setprofile(func)

Устанавливает профилирующую функцию для всех потоков, запущенных из модуля threading. Функция func будет передана в sys.setprofile() для каждого потока перед вызовом его метода run().

threading.stack_size([size])

Возвращает размер стека потока, используемый при создании новых потоков. Необязательный аргумент size задаёт размер стека для впоследствии создаваемых потоков и должен быть равен 0 (используется платформенное или настроенное значение по умолчанию) или положительному целому числу не менее 32 768 (32 КиБ). Если size не указан, используется 0. Если изменение размера стека не поддерживается, возбуждается RuntimeError. Если указанный размер стека некорректен, возбуждается ValueError, а размер стека остаётся без изменений. 32 КиБ – это минимально поддерживаемый размер стека, достаточный для самого интерпретатора. Имейте в виду, что на некоторых платформах могут быть особые ограничения на значения размера стека, например, требование минимального размера больше 32 КиБ или выделения памяти кратно размеру системной страницы памяти – за более подробной информацией следует обращаться к документации платформы (обычно используются страницы по 4 КиБ; при отсутствии более точных сведений рекомендуется задавать размер стека кратно 4096).

Доступность: Windows, системы с POSIX-потоками.

Этот модуль также определяет следующую константу:

threading.TIMEOUT_MAX

Максимально допустимое значение для параметра timeout блокирующих функций (Lock.acquire(), RLock.acquire(), Condition.wait() и т.д.). Указание тайм-аута, превышающего это значение, вызовет исключение OverflowError.

Новое в версии 3.2.

Этот модуль определяет ряд классов, которые подробно описаны в разделах ниже.

Дизайн этого модуля основан на модели потоков Java, хотя и нестрого. Однако если в Java блокировки и условные переменные являются базовым поведением каждого объекта, то в Python это отдельные объекты. Класс Thread в Python поддерживает подмножество поведения класса Thread из Java; в настоящее время отсутствуют приоритеты, группы потоков, а потоки нельзя уничтожать, останавливать, приостанавливать, возобновлять или прерывать. Статические методы класса Thread из Java, если они реализованы, отображаются на функции уровня модуля.

Все описанные ниже методы выполняются атомарно.

Локальные данные потокаThread-Local Data

Локальные данные потока – это данные, значения которых привязаны к конкретному потоку. Для управления такими данными достаточно создать экземпляр local (или подкласса) и сохранять в нём атрибуты.

mydata = threading.local()
mydata.x = 1

Значения экземпляра будут разными для разных потоков.

class threading.local

Класс, представляющий данные, локальные для потока.

Подробнее и с большим количеством примеров см. строку документации модуля _threading_local.

Объекты потоковThread Objects

Класс Thread представляет собой активность, выполняемую в отдельном потоке управления. Есть два способа определить активность: передать вызываемый объект в конструктор или переопределить метод run() в подклассе. Никакие другие методы (кроме конструктора) не должны переопределяться в подклассе. Иными словами, переопределяйте только методы __init__() и run() этого класса.

После создания объекта потока его активность должна быть запущена вызовом метода start() этого потока. Это вызывает метод run() в отдельном потоке управления.

После запуска активности поток считается «живым». Он перестаёт быть живым, когда завершается его метод run() – либо нормально, либо из-за необработанного исключения. Метод is_alive() проверяет, жив ли поток.

Другие потоки могут вызывать метод join() потока. Это блокирует вызывающий поток до тех пор, пока поток, чей метод join() вызывается, не завершится.

У потока есть имя. Имя можно передать конструктору, а также прочитать или изменить через атрибут name.

Если метод run() вызывает исключение, для его обработки вызывается threading.excepthook(). По умолчанию threading.excepthook() молча игнорирует SystemExit.

Поток может быть помечен как «фоновый поток». Смысл этого флага в том, что вся программа Python завершается, когда остаются только фоновые потоки. Начальное значение наследуется от создающего потока. Флаг можно установить через свойство daemon или аргумент конструктора daemon.

Примечание

Фоновые потоки принудительно останавливаются при завершении программы. Их ресурсы (такие как открытые файлы, транзакции базы данных и т.п.) могут быть не освобождены должным образом. Если нужно, чтобы потоки завершались корректно, сделайте их не фоновыми и используйте подходящий механизм уведомлений, например Event.

Существует объект «главный поток»; он соответствует начальному потоку управления в программе Python. Это не фоновый поток.

Существует вероятность создания «фиктивных объектов потоков» (dummy thread objects). Это объекты потоков, соответствующие «внешним потокам» (alien threads) – потокам управления, запущенным за пределами модуля threading, например напрямую из кода на C. Фиктивные объекты потоков имеют ограниченную функциональность: они всегда считаются активными и демоническими, и их нельзя join(). Они никогда не удаляются, так как невозможно определить завершение внешних потоков.

class threading.Thread(group=None, target=None, name=None, args=(), kwargs={}, *, daemon=None)

Этот конструктор всегда следует вызывать с именованными аргументами. Аргументы:

group должен быть None; зарезервирован для будущего расширения, когда будет реализован класс ThreadGroup.

target – это вызываемый объект, который будет вызван методом run(). По умолчанию None, то есть ничего не вызывается.

name – это имя потока. По умолчанию создаётся уникальное имя вида «Поток-N», где N – небольшое десятичное число.

args – кортеж аргументов для вызова целевой функции. По умолчанию равен ().

kwargs – это словарь именованных аргументов для вызова target. По умолчанию {}.

Если не None, параметр daemon явно задаёт, является ли поток демоническим. Если None (по умолчанию), свойство демоничности наследуется от текущего потока.

Если подкласс переопределяет конструктор, он должен обязательно вызвать конструктор базового класса (Thread.__init__()) перед любыми другими действиями с потоком.

Изменено в версии 3.3: Добавлен аргумент daemon.

start()

Запускает выполнение потока.

Этот метод должен вызываться не более одного раза для каждого объекта потока. Он обеспечивает вызов метода run() объекта в отдельном потоке управления.

Этот метод возбуждает исключение RuntimeError, если вызван более одного раза для одного и того же объекта потока.

run()

Метод, представляющий действие потока.

Этот метод можно переопределить в подклассе. Стандартный метод run() вызывает вызываемый объект, переданный конструктору объекта в качестве аргумента target (если он задан), с позиционными и именованными аргументами, взятыми соответственно из аргументов args и kwargs.

join(timeout=None)

Ожидает завершения потока. Блокирует вызывающий поток до тех пор, пока поток, у которого вызван метод join(), не завершится – либо нормально, либо из-за необработанного исключения – или пока не истечёт заданный тайм-аут.

Если аргумент timeout указан и не равен None, он должен быть числом с плавающей запятой, задающим тайм-аут для операции в секундах (или долях секунды). Поскольку join() всегда возвращает None, после join() необходимо вызвать is_alive(), чтобы определить, произошёл ли тайм-аут – если поток всё ещё жив, вызов join() был прерван по тайм-ауту.

Если аргумент timeout отсутствует или равен None, операция блокируется до завершения потока.

Поток можно join() много раз.

join() возбуждает RuntimeError, если предпринимается попытка присоединиться к текущему потоку, так как это привело бы к взаимоблокировке. Также ошибочно join() поток до его запуска, и попытки сделать это возбуждают то же исключение.

name

Строка, используемая только для идентификации. Она не имеет семантического значения. Разным потокам можно задать одно и то же имя. Начальное имя устанавливается конструктором.

getName()
setName()

Устаревший API геттера/сеттера для name; вместо этого используйте его напрямую как свойство.

ident

«Идентификатор потока» этого потока или None, если поток не был запущен. Это ненулевое целое число. См. функцию get_ident(). Идентификаторы потоков могут быть повторно использованы, когда поток завершается и создаётся другой поток. Идентификатор доступен даже после завершения потока.

native_id

Нативный целочисленный идентификатор потока (TID). Это неотрицательное целое число или None, если поток не был запущен. Смотрите функцию get_native_id(). Этот атрибут представляет идентификатор потока (TID), назначенный потоку операционной системой (ядром). Его значение может использоваться для однозначной идентификации этого конкретного потока в рамках всей системы (до завершения потока, после чего значение может быть повторно использовано ОС).

Примечание

Подобно идентификаторам процессов, идентификаторы потоков действительны (гарантированно уникальны в масштабе системы) только с момента создания потока до его завершения.

Доступность: требуется функция get_native_id().

Новое в версии 3.8.

is_alive()

Возвращает, жив ли поток.

Этот метод возвращает True непосредственно перед началом выполнения метода run() и до завершения метода run(). Функция модуля enumerate() возвращает список всех живых потоков.

daemon

Логическое значение, указывающее, является ли данный поток демоном (True) или нет (False). Это значение должно быть установлено до вызова start(), иначе будет вызвано исключение RuntimeError. Его начальное значение наследуется от создавшего потока; главный поток не является потоком-демоном, поэтому все потоки, созданные в главном потоке, по умолчанию имеют daemon = False.

Вся программа Python завершается, когда не остаётся ни одного живого потока, не являющегося демоном.

isDaemon()
setDaemon()

Устаревший API геттера/сеттера для daemon; вместо этого используйте его напрямую как свойство.

Объекты блокировкиLock Objects

Примитивная блокировка – это примитив синхронизации, который при захвате не принадлежит какому-либо определённому потоку. В Python в настоящее время это самый низкоуровневый доступный примитив синхронизации, реализованный непосредственно в расширении модуля _thread.

Примитивная блокировка может находиться в одном из двух состояний: «захвачена» или «свободна». Она создаётся в свободном состоянии. У неё есть два основных метода: acquire() и release(). Когда состояние свободно, вызов acquire() переводит его в захваченное и немедленно возвращается. Когда состояние захвачено, acquire() блокируется до тех пор, пока вызов release() в другом потоке не переведёт его в свободное; затем вызов acquire() снова устанавливает захваченное состояние и возвращается. Метод release() следует вызывать только в захваченном состоянии; он переводит состояние в свободное и немедленно возвращается. При попытке освободить свободную блокировку будет возбуждено RuntimeError.

Блокировки также поддерживают протокол контекстного менеджера.

Когда несколько потоков заблокированы в acquire() в ожидании перехода состояния в свободное, только один поток продолжает выполнение, когда вызов release() переводит состояние в свободное; какой именно из ожидающих потоков продолжит, не определено и может различаться в разных реализациях.

Все методы выполняются атомарно.

class threading.Lock

Класс, реализующий объекты примитивной блокировки. Как только поток захватил блокировку, последующие попытки захватить её блокируются до тех пор, пока она не будет освобождена; любой поток может освободить её.

Отметим, что Lock – это фабричная функция, возвращающая экземпляр наиболее эффективной версии конкретного класса блокировки, поддерживаемой платформой.

acquire(blocking=True, timeout=-1)

Захватывает блокировку, блокирующую или неблокирующую.

При вызове с аргументом blocking, установленным в True (по умолчанию), блокируется до тех пор, пока блокировка не станет свободной, затем устанавливает её в захваченное состояние и возвращает True.

При вызове с аргументом blocking, установленным в False, не блокируется. Если вызов с blocking, установленным в True, должен был бы заблокироваться, немедленно возвращает False; в противном случае устанавливает блокировку в захваченное состояние и возвращает True.

Если при вызове аргументу timeout с плавающей запятой задано положительное значение, блокировка происходит на время не более указанного timeout секунд, пока не будет получена блокировка. Значение timeout, равное -1, означает бесконечное ожидание. Запрещено указывать timeout, когда blocking равно false.

Возвращаемое значение равно True, если блокировка успешно захвачена, и False в противном случае (например, если timeout истёк).

Изменено в версии 3.2: Параметр timeout является новым.

Изменено в версии 3.2: Теперь захват блокировки может быть прерван сигналами в POSIX, если базовая реализация потоков это поддерживает.

release()

Освобождает блокировку. Может вызываться из любого потока, а не только из того, который захватил блокировку.

Когда блокировка установлена, сбрасывает её в снятое состояние и возвращает управление. Если другие потоки заблокированы в ожидании освобождения блокировки, ровно одному из них разрешается продолжить работу.

При вызове на не заблокированной блокировке возбуждается исключение RuntimeError.

Возвращаемое значение отсутствует.

locked()

Возвращает true, если блокировка получена.

Объекты RLockRLock Objects

Повторно входимая блокировка – это примитив синхронизации, который может быть захвачен одним и тем же потоком несколько раз. Внутри она использует понятия «поток-владелец» и «уровень рекурсии» в дополнение к состоянию «заблокировано/разблокировано», используемому простыми блокировками. В заблокированном состоянии блокировкой владеет какой-то поток; в разблокированном состоянии ею не владеет ни один поток.

Чтобы захватить блокировку, поток вызывает её метод acquire(); этот метод возвращает управление, когда поток получает блокировку. Чтобы освободить блокировку, поток вызывает её метод release(). Пары вызовов acquire()/release() могут быть вложенными; только последний release() ( release() самой внешней пары) переводит блокировку в состояние «свободна» и позволяет другому потоку, заблокированному в acquire(), продолжить работу.

Рекурсивные блокировки также поддерживают протокол контекстного менеджера.

class threading.RLock

Этот класс реализует объекты повторно входимой блокировки. Повторно входимая блокировка должна быть освобождена тем же потоком, который её захватил. После того как поток захватил повторно входимую блокировку, этот же поток может захватить её снова без блокировки; при этом поток должен освободить её один раз за каждый захват.

Обратите внимание, что RLock на самом деле является фабричной функцией, которая возвращает экземпляр наиболее эффективной версии конкретного класса RLock, поддерживаемой платформой.

acquire(blocking=True, timeout=-1)

Захватывает блокировку, блокирующую или неблокирующую.

При вызове без аргументов: если этот поток уже владеет блокировкой, увеличить уровень рекурсии на единицу и немедленно вернуться. В противном случае, если блокировкой владеет другой поток, блокироваться до тех пор, пока блокировка не будет освобождена. Как только блокировка освобождена (не принадлежит ни одному потоку), захватить владение, установить уровень рекурсии в единицу и вернуться. Если несколько потоков заблокированы в ожидании освобождения блокировки, только один из них сможет захватить владение. В этом случае возвращаемого значения нет.

Если при вызове аргументу blocking задано значение true, поведение такое же, как при вызове без аргументов, и возвращается True.

Если при вызове аргументу blocking задано значение false, блокировка не происходит. Если вызов без аргументов привёл бы к блокировке, сразу возвращается False; в противном случае поведение такое же, как при вызове без аргументов, и возвращается True.

Если при вызове аргументу timeout с плавающей запятой задано положительное значение, блокировка происходит на время не более указанного timeout секунд, пока не будет получена блокировка. Возвращается True, если блокировка была получена, и false, если истекло время ожидания.

Изменено в версии 3.2: Параметр timeout является новым.

release()

Освобождает блокировку, уменьшая уровень рекурсии. Если после уменьшения он становится нулевым, сбрасывает блокировку в разблокированное состояние (не принадлежит ни одному потоку), и, если другие потоки заблокированы в ожидании освобождения блокировки, ровно одному из них разрешается продолжить. Если после уменьшения уровень рекурсии всё ещё ненулевой, блокировка остаётся заблокированной и принадлежит вызывающему потоку.

Вызывайте этот метод только тогда, когда вызывающий поток владеет блокировкой. Возбуждается исключение RuntimeError, если этот метод вызван, когда блокировка не захвачена.

Возвращаемое значение отсутствует.

Объекты ConditionCondition Objects

Переменная условия всегда связана с какой-либо блокировкой; её можно передать, или же она будет создана по умолчанию. Передача блокировки полезна, когда несколько переменных условия должны совместно использовать одну и ту же блокировку. Блокировка является частью объекта условия: не нужно отслеживать её отдельно.

Переменная условия подчиняется протоколу менеджера контекста: использование выражения with захватывает связанную блокировку на время выполнения вложенного блока. Методы acquire() и release() также вызывают соответствующие методы связанной блокировки.

Остальные методы должны вызываться, когда связанная блокировка удерживается. Метод wait() освобождает блокировку, а затем блокируется, пока другой поток не пробудит его вызовом notify() или notify_all(). После пробуждения метод wait() повторно захватывает блокировку и возвращает управление. Также можно указать тайм-аут.

Метод notify() пробуждает один из потоков, ожидающих переменную условия, если таковые имеются. Метод notify_all() пробуждает все потоки, ожидающие переменную условия.

Примечание: методы notify() и notify_all() не освобождают блокировку; это означает, что пробуждённый поток (или потоки) не вернутся из своего вызова wait() немедленно, а только когда поток, вызвавший notify() или notify_all(), наконец откажется от владения блокировкой.

Типичный стиль программирования с использованием переменных условия использует блокировку для синхронизации доступа к некоторому общему состоянию; потоки, заинтересованные в определённом изменении состояния, многократно вызывают wait(), пока не увидят желаемое состояние, в то время как потоки, изменяющие состояние, вызывают notify() или notify_all(), когда они изменяют состояние таким образом, что это может быть желаемым состоянием для одного из ожидающих. Например, следующий код представляет собой общую ситуацию «производитель-потребитель» с неограниченной ёмкостью буфера:

# Потребить один элемент
with cv:
    while not an_item_is_available():
        cv.wait()
    get_an_available_item()

# Произвести один элемент
with cv:
    make_an_item_available()
    cv.notify()

Цикл while, проверяющий условие приложения, необходим, потому что wait() может вернуться после произвольно долгого времени, и условие, которое вызвало вызов notify(), может больше не выполняться. Это присуще многопоточному программированию. Метод wait_for() можно использовать для автоматизации проверки условия и упрощения расчёта тайм-аутов:

# Потребить элемент
with cv:
    cv.wait_for(an_item_is_available)
    get_an_available_item()

Чтобы выбрать между notify() и notify_all(), подумайте, может ли одно изменение состояния быть интересным только одному или нескольким ожидающим потокам. Например, в типичной ситуации «производитель-потребитель» добавление одного элемента в буфер требует пробуждения только одного потока-потребителя.

class threading.Condition(lock=None)

Этот класс реализует объекты переменной условия. Переменная условия позволяет одному или нескольким потокам ожидать, пока другой поток не уведомит их.

Если аргумент lock передан и не равен None, он должен быть объектом Lock или RLock и используется в качестве базовой блокировки. В противном случае создаётся новый объект RLock, который используется в качестве базовой блокировки.

Изменено в версии 3.3: изменён с фабричной функции на класс.

acquire(*args)

Захватывает базовую блокировку. Этот метод вызывает соответствующий метод базовой блокировки; возвращаемое значение – то, что возвращает этот метод.

release()

Освобождает базовую блокировку. Этот метод вызывает соответствующий метод базовой блокировки; возвращаемое значение отсутствует.

wait(timeout=None)

Ожидает до получения уведомления или до наступления тайм-аута. Если вызывающий поток не захватил блокировку при вызове этого метода, возбуждается RuntimeError.

Этот метод освобождает базовую блокировку, а затем блокируется до тех пор, пока не будет пробуждён вызовом notify() или notify_all() для той же переменной условия в другом потоке, или пока не наступит необязательный тайм-аут. После пробуждения или истечения тайм-аута он повторно захватывает блокировку и возвращает управление.

Если аргумент timeout присутствует и не равен None, он должен быть числом с плавающей точкой, задающим время ожидания операции в секундах (или его долях).

Если базовая блокировка является RLock, она не освобождается с помощью метода release(), поскольку это может не разблокировать блокировку, если она была захвачена несколько раз рекурсивно. Вместо этого используется внутренний интерфейс класса RLock, который действительно разблокирует её, даже если она была рекурсивно захвачена несколько раз. Затем используется другой внутренний интерфейс для восстановления уровня рекурсии при повторном захвате блокировки.

Возвращаемое значение равно True, если только заданный timeout не истёк; в этом случае оно равно False.

Изменено в версии 3.2: Ранее метод всегда возвращал None.

wait_for(predicate, timeout=None)

Ожидает, пока условие не станет истинным. predicate должен быть вызываемым объектом, результат которого будет интерпретироваться как булево значение. Можно указать timeout, задающий максимальное время ожидания.

Этот вспомогательный метод может многократно вызывать wait() до тех пор, пока предикат не будет удовлетворён или пока не наступит тайм-аут. Возвращаемое значение – последнее возвращаемое значение предиката; оно будет равно False, если время ожидания истекло.

Если не учитывать возможность тайм-аута, вызов этого метода примерно эквивалентен следующему коду:

while not predicate():
    cv.wait()

Следовательно, применяются те же правила, что и для wait(): блокировка должна быть захвачена при вызове и повторно захватывается при возврате. Предикат вычисляется при удерживаемой блокировке.

Новое в версии 3.2.

notify(n=1)

По умолчанию пробуждает один поток, ожидающий на этом условии, если таковой имеется. Если вызывающий поток не захватил блокировку на момент вызова этого метода, возникает RuntimeError.

Этот метод пробуждает не более n потоков, ожидающих на переменной условия; если ни один поток не ожидает, он ничего не делает.

Текущая реализация пробуждает ровно n потоков, если ожидает не менее n потоков. Однако полагаться на такое поведение небезопасно. В будущем оптимизированная реализация может иногда пробуждать более n потоков.

Примечание: пробуждённый поток на самом деле не возвращается из вызова wait(), пока не сможет повторно захватить блокировку. Поскольку notify() не освобождает блокировку, это должен сделать его вызывающий код.

notify_all()

Пробуждает все потоки, ожидающие на этом условии. Этот метод действует как notify(), но пробуждает все ожидающие потоки вместо одного. Если вызывающий поток не захватил блокировку на момент вызова этого метода, возникает RuntimeError.

Объекты SemaphoreSemaphore Objects

Это один из старейших примитивов синхронизации в истории компьютерных наук, изобретённый ранним нидерландским учёным Эдсгером В. Дейкстрой (он использовал имена P() и V() вместо acquire() и release()).

Семафор управляет внутренним счётчиком, который уменьшается при каждом вызове acquire() и увеличивается при каждом вызове release(). Счётчик никогда не может стать меньше нуля; когда acquire() обнаруживает, что он равен нулю, он блокируется, ожидая, пока другой поток вызовет release().

Семафоры также поддерживают протокол менеджера контекста.

class threading.Semaphore(value=1)

Этот класс реализует объекты семафоров. Семафор управляет атомарным счётчиком, представляющим количество вызовов release() минус количество вызовов acquire() плюс начальное значение. Метод acquire() при необходимости блокируется, пока не сможет вернуться, не сделав счётчик отрицательным. Если не указано, value по умолчанию равно 1.

Необязательный аргумент задаёт начальное value для внутреннего счётчика; по умолчанию оно равно 1. Если указанное value меньше 0, возникает ValueError.

Изменено в версии 3.3: изменён с фабричной функции на класс.

acquire(blocking=True, timeout=None)

Захватывает семафор.

При вызове без аргументов:

  • Если внутренний счётчик больше нуля при входе, уменьшить его на единицу и немедленно вернуть True.

  • Если внутренний счётчик равен нулю при входе, блокироваться до пробуждения вызовом release(). После пробуждения (когда счётчик станет больше 0) уменьшить счётчик на 1 и вернуть True. Каждый вызов release() пробуждает ровно один поток. На порядок пробуждения потоков полагаться не следует.

Если при вызове blocking задано значение false, блокировка не происходит. Если вызов без аргументов привёл бы к блокировке, сразу возвращается False; в противном случае поведение такое же, как при вызове без аргументов, и возвращается True.

При вызове с timeout, отличным от None, он будет блокироваться не более timeout секунд. Если acquire не завершится успешно за это время, вернуть False. В противном случае вернуть True.

Изменено в версии 3.2: Параметр timeout является новым.

release()

Освобождает семафор, увеличивая внутренний счётчик на единицу. Когда он был равен нулю при входе и другой поток ожидает, когда он снова станет больше нуля, пробуждает этот поток.

class threading.BoundedSemaphore(value=1)

Класс, реализующий объекты ограниченного семафора. Ограниченный семафор проверяет, что его текущее значение не превышает начальное. Если превышает, возникает ValueError. В большинстве ситуаций семафоры используются для защиты ресурсов с ограниченной ёмкостью. Если семафор освобождается слишком много раз, это признак ошибки. Если не указано, value по умолчанию равно 1.

Изменено в версии 3.3: изменён с фабричной функции на класс.

Semaphore ПримерSemaphore Example

Семафоры часто используются для защиты ресурсов с ограниченной ёмкостью, например, сервера базы данных. В любой ситуации, когда размер ресурса фиксирован, следует использовать ограниченный семафор. Перед запуском рабочих потоков главный поток инициализирует семафор:

maxconnections = 5
# ...
pool_sema = BoundedSemaphore(value=maxconnections)

После запуска рабочие потоки вызывают методы acquire и release семафора, когда им нужно подключиться к серверу:

with pool_sema:
    conn = connectdb()
    try:
        # ... использовать соединение ...
    finally:
        conn.close()

Использование ограниченного семафора снижает вероятность того, что ошибка программирования, приводящая к освобождению семафора большее количество раз, чем его захват, останется незамеченной.

Объекты EventEvent Objects

Это один из простейших механизмов взаимодействия между потоками: один поток сигнализирует о событии, а другие потоки ожидают его.

Объект события управляет внутренним флагом, который можно установить в true с помощью метода set() и сбросить в false с помощью метода clear(). Метод wait() блокируется до тех пор, пока флаг не станет true.

class threading.Event

Класс, реализующий объекты событий. Событие управляет флагом, который можно установить в true методом set() и сбросить в false методом clear(). Метод wait() блокируется до тех пор, пока флаг не станет true. Изначально флаг равен false.

Изменено в версии 3.3: изменён с фабричной функции на класс.

is_set()

Возвращает True тогда и только тогда, когда внутренний флаг равен true.

set()

Устанавливает внутренний флаг в true. Все потоки, ожидающие его установки, пробуждаются. Потоки, вызывающие wait() после того, как флаг стал true, не будут блокироваться вовсе.

clear()

Сбрасывает внутренний флаг в false. После этого потоки, вызывающие wait(), будут блокироваться до тех пор, пока не будет вызван set(), чтобы снова установить внутренний флаг в true.

wait(timeout=None)

Блокирует выполнение до тех пор, пока внутренний флаг не станет истинным. Если при входе внутренний флаг уже истинен, немедленно возвращает управление. В противном случае блокируется, пока другой поток не вызовет set() для установки флага в истинное значение, или пока не истечёт указанный период ожидания.

Когда аргумент timeout присутствует и не равен None, он должен быть числом с плавающей запятой, задающим время ожидания операции в секундах (или их долях).

Этот метод возвращает True в том и только в том случае, если внутренний флаг был установлен в истину – либо до вызова wait, либо после его начала. Таким образом, он всегда возвращает True, за исключением случая, когда задан timeout и операция превышает время ожидания.

Изменено в версии 3.1: Ранее метод всегда возвращал None.

Объекты TimerTimer Objects

Этот класс представляет действие, которое должно быть выполнено только по прошествии определённого времени – таймер. Timer является подклассом Thread и, таким образом, служит примером создания пользовательских потоков.

Таймеры запускаются, как и потоки, вызовом метода start(). Таймер можно остановить (до начала его действия) вызовом метода cancel(). Интервал, который таймер будет ждать перед выполнением действия, может не совпадать в точности с интервалом, указанным пользователем.

Например:

def hello():
    print("hello, world")

t = Timer(30.0, hello)
t.start()  # через 30 секунд будет выведено "hello, world"
class threading.Timer(interval, function, args=None, kwargs=None)

Создаёт таймер, который запустит function с аргументами args и именованными аргументами kwargs по прошествии interval секунд. Если args равен None (значение по умолчанию), будет использован пустой список. Если kwargs равен None (значение по умолчанию), будет использован пустой словарь.

Изменено в версии 3.3: изменён с фабричной функции на класс.

cancel()

Останавливает таймер и отменяет выполнение его действия. Это сработает, только если таймер всё ещё находится в стадии ожидания.

Объекты BarrierBarrier Objects

Новое в версии 3.2.

Этот класс предоставляет простой примитив синхронизации для использования фиксированным числом потоков, которым нужно ждать друг друга. Каждый из потоков пытается пройти барьер, вызывая метод wait(), и блокируется до тех пор, пока все потоки не вызовут wait(). После этого потоки освобождаются одновременно.

Барьер можно использовать повторно любое количество раз для того же числа потоков.

В качестве примера приведён простой способ синхронизации потоков клиента и сервера:

b = Barrier(2, timeout=5)

def server():
    start_server()
    b.wait()
    while True:
        connection = accept_connection()
        process_server_connection(connection)

def client():
    b.wait()
    while True:
        connection = make_connection()
        process_client_connection(connection)
class threading.Barrier(parties, action=None, timeout=None)

Создаёт объект барьера для parties потоков. action, если задан, – это вызываемый объект, который будет вызван одним из потоков при освобождении. timeout – значение тайм-аута по умолчанию, если не указано другое для метода wait().

wait(timeout=None)

Пройти барьер. Когда все потоки-участники барьера вызовут эту функцию, они все освобождаются одновременно. Если указан timeout, он используется с приоритетом перед любым значением, переданным конструктору класса.

Возвращаемое значение – целое число в диапазоне от 0 до parties – 1, различное для каждого потока. Это можно использовать для выбора потока, который выполнит специальные вспомогательные действия, например:

i = barrier.wait()
if i == 0:
    # Выводить это должен только один поток
    print("passed the barrier")

Если конструктору был передан action, один из потоков вызовет его перед освобождением. Если этот вызов вызовет ошибку, барьер переводится в состояние сбоя.

Если вызов истекает по таймауту, барьер переводится в сломанное состояние.

Этот метод может вызвать исключение BrokenBarrierError, если барьер сломан или сброшен, пока поток ожидает.

reset()

Возвращает барьер в исходное пустое состояние. Любые потоки, ожидающие его, получат исключение BrokenBarrierError.

Обратите внимание, что использование этой функции может потребовать внешней синхронизации, если есть другие потоки, состояние которых неизвестно. Если барьер сломан, возможно, лучше просто оставить его и создать новый.

abort()

Переводит барьер в сломанное состояние. Это приводит к тому, что любые активные или будущие вызовы wait() завершатся ошибкой с BrokenBarrierError. Используйте это, например, если один из потоков необходимо прервать, чтобы избежать взаимоблокировки приложения.

Возможно, предпочтительнее просто создать барьер с разумным значением timeout, чтобы автоматически защититься от сбоя одного из потоков.

parties

Количество потоков, необходимое для прохождения барьера.

n_waiting

Количество потоков, ожидающих в данный момент на барьере.

broken

Логическое значение, которое равно True, если барьер находится в сломанном состоянии.

exception threading.BrokenBarrierError

Это исключение, подкласс RuntimeError, вызывается, когда объект Barrier сбрасывается или ломается.

Использование блокировок, условий и семафоров в операторе with Using locks, conditions, and semaphores in the with statement

Все объекты, предоставляемые этим модулем, которые имеют методы acquire() и release(), могут использоваться как контекстные менеджеры для оператора with. Метод acquire() будет вызываться при входе в блок, а release() – при выходе из блока. Поэтому следующий фрагмент:

with some_lock:
    # выполнить какие-то действия...

эквивалентно:

some_lock.acquire()
try:
    # выполнить какие-то действия...
finally:
    some_lock.release()

В настоящее время объекты Lock, RLock, Condition, Semaphore и BoundedSemaphore могут использоваться как контекстные менеджеры оператора with.