`concurrent.futures.md`

302 строк · 28.5 КБ · обычная страница · сырой текст · скачать
1> **Источник:** https://python-all.ru/3.6/library/concurrent.futures.html2>3> «Документация Python на русском» – неофициальный перевод официальной документации Python: версии от 2.6 до 3.16, полнотекстовый поиск, английский оригинал рядом с переводом. Эта Markdown-версия страницы предназначена для работы с LLM: вставьте её в ChatGPT, Claude или Cursor.45---67# 17.4. [`concurrent.futures`](https://python-all.ru/3.6/library/concurrent.futures.html#module-concurrent.futures) – Запуск параллельных задач89Новое в версии 3.2.1011**Исходный код:** [Lib/concurrent/futures/thread.py](https://python-all.ru/src/3.6/Lib/concurrent/futures/thread.py) и [Lib/concurrent/futures/process.py](https://python-all.ru/src/3.6/Lib/concurrent/futures/process.py)1213---1415Модуль [`concurrent.futures`](https://python-all.ru/3.6/library/concurrent.futures.html#module-concurrent.futures) предоставляет высокоуровневый интерфейс для асинхронного выполнения вызываемых объектов.1617Асинхронное выполнение может выполняться с помощью потоков, используя [`ThreadPoolExecutor`](https://python-all.ru/3.6/library/concurrent.futures.html#concurrent.futures.ThreadPoolExecutor), или отдельных процессов, используя [`ProcessPoolExecutor`](https://python-all.ru/3.6/library/concurrent.futures.html#concurrent.futures.ProcessPoolExecutor). Оба реализуют один и тот же интерфейс, определяемый абстрактным классом [`Executor`](https://python-all.ru/3.6/library/concurrent.futures.html#concurrent.futures.Executor).1819## 17.4.1. Объекты-исполнители2021#### `class concurrent.futures.Executor`2223Абстрактный класс, предоставляющий методы для асинхронного выполнения вызовов. Его не следует использовать напрямую, а через его конкретные подклассы.2425> #### `submit(fn, *args, **kwargs)`26>27> Планирует выполнение вызываемого объекта *fn* как `fn(*args **kwargs)` и возвращает объект [`Future`](https://python-all.ru/3.6/library/concurrent.futures.html#concurrent.futures.Future), представляющий выполнение вызываемого объекта.28>29> ```python30> with ThreadPoolExecutor(max_workers=1) as executor:31>     future = executor.submit(pow, 323, 1235)32>     print(future.result())33> ```34>35> #### `map(func, *iterables, timeout=None, chunksize=1)`36>37> Аналогично [`map(func, *iterables)`](https://python-all.ru/3.6/library/functions.html#map), но:38>39> - *Итерируемые объекты* собираются немедленно, а не лениво;40> - *func* выполняется асинхронно, при этом несколько вызовов *func* могут производиться одновременно.41>42> Возвращаемый итератор возбуждает [`concurrent.futures.TimeoutError`](https://python-all.ru/3.6/library/concurrent.futures.html#concurrent.futures.TimeoutError), если вызван [`__next__()`](https://python-all.ru/3.6/library/stdtypes.html#iterator.__next__) и результат недоступен через *timeout* секунд после исходного вызова [`Executor.map()`](https://python-all.ru/3.6/library/concurrent.futures.html#concurrent.futures.Executor.map). *timeout* может быть целым числом или числом с плавающей запятой. Если *timeout* не указан или равен `None`, время ожидания не ограничено.43>44> Если вызов *func* порождает исключение, то это исключение будет возбуждено при получении его значения из итератора.45>46> При использовании [`ProcessPoolExecutor`](https://python-all.ru/3.6/library/concurrent.futures.html#concurrent.futures.ProcessPoolExecutor) этот метод разбивает *итерируемые объекты* на несколько частей, которые передаёт в пул как отдельные задачи. (Примерный) размер этих частей можно задать, установив *chunksize* в положительное целое число. Для очень длинных итерируемых объектов использование большого значения *chunksize* может значительно повысить производительность по сравнению со значением по умолчанию, равным 1. С [`ThreadPoolExecutor`](https://python-all.ru/3.6/library/concurrent.futures.html#concurrent.futures.ThreadPoolExecutor) параметр *chunksize* не влияет на выполнение.47>48> Изменено в версии 3.5: Добавлен аргумент *chunksize*.49>50> #### `shutdown(wait=True)`51>52> Сообщает исполнителю, что он должен освободить все используемые ресурсы, когда текущие ожидающие future завершат выполнение. Вызовы [`Executor.submit()`](https://python-all.ru/3.6/library/concurrent.futures.html#concurrent.futures.Executor.submit) и [`Executor.map()`](https://python-all.ru/3.6/library/concurrent.futures.html#concurrent.futures.Executor.map) после shutdown приведут к возбуждению [`RuntimeError`](https://python-all.ru/3.6/library/exceptions.html#RuntimeError).53>54> Если *wait* равен `True`, то этот метод не вернёт управление, пока все ожидающие future не завершат выполнение и ресурсы, связанные с исполнителем, не будут освобождены. Если *wait* равен `False`, то метод вернёт управление немедленно, а ресурсы, связанные с исполнителем, будут освобождены, когда все ожидающие future завершат выполнение. Независимо от значения *wait*, вся программа Python не завершится, пока все ожидающие future не завершат выполнение.55>56> Вы можете избежать явного вызова этого метода, если используете оператор [`with`](https://python-all.ru/3.6/reference/compound_stmts.html#with), который завершит работу [`Executor`](https://python-all.ru/3.6/library/concurrent.futures.html#concurrent.futures.Executor) (ожидая, как если бы [`Executor.shutdown()`](https://python-all.ru/3.6/library/concurrent.futures.html#concurrent.futures.Executor.shutdown) был вызван с *wait*, установленным в `True`):57>58> ```python59> import shutil60> with ThreadPoolExecutor(max_workers=4) as e:61>     e.submit(shutil.copy, 'src1.txt', 'dest1.txt')62>     e.submit(shutil.copy, 'src2.txt', 'dest2.txt')63>     e.submit(shutil.copy, 'src3.txt', 'dest3.txt')64>     e.submit(shutil.copy, 'src4.txt', 'dest4.txt')65> ```6667## 17.4.2. ThreadPoolExecutor6869[`ThreadPoolExecutor`](https://python-all.ru/3.6/library/concurrent.futures.html#concurrent.futures.ThreadPoolExecutor) – подкласс [`Executor`](https://python-all.ru/3.6/library/concurrent.futures.html#concurrent.futures.Executor), использующий пул потоков для асинхронного выполнения вызовов.7071Взаимоблокировки могут возникать, когда вызываемый объект, связанный с [`Future`](https://python-all.ru/3.6/library/concurrent.futures.html#concurrent.futures.Future), ожидает результаты другого [`Future`](https://python-all.ru/3.6/library/concurrent.futures.html#concurrent.futures.Future). Например:7273```python74import time75def wait_on_b():76    time.sleep(5)77    print(b.result())  # b никогда не завершится, потому что он ожидает a.78    return 57980def wait_on_a():81    time.sleep(5)82    print(a.result())  # a никогда не завершится, потому что он ожидает b.83    return 68485executor = ThreadPoolExecutor(max_workers=2)86a = executor.submit(wait_on_b)87b = executor.submit(wait_on_a)88```8990И:9192```python93def wait_on_future():94    f = executor.submit(pow, 5, 2)95    # Это никогда не завершится, потому что есть только один рабочий поток и96    # он выполняет эту функцию.97    print(f.result())9899executor = ThreadPoolExecutor(max_workers=1)100executor.submit(wait_on_future)101```102103#### `class concurrent.futures.ThreadPoolExecutor(max_workers=None, thread_name_prefix='')`104105Подкласс [`Executor`](https://python-all.ru/3.6/library/concurrent.futures.html#concurrent.futures.Executor), который использует пул не более чем из *max\_workers* потоков для асинхронного выполнения вызовов.106107Изменено в версии 3.5: Если *max\_workers* равен `None` или не указан, он будет по умолчанию равен количеству процессоров на машине, умноженному на `5`, исходя из предположения, что [`ThreadPoolExecutor`](https://python-all.ru/3.6/library/concurrent.futures.html#concurrent.futures.ThreadPoolExecutor) часто используется для перекрытия операций ввода-вывода, а не для загрузки ЦП, и количество рабочих должно быть больше, чем количество рабочих для [`ProcessPoolExecutor`](https://python-all.ru/3.6/library/concurrent.futures.html#concurrent.futures.ProcessPoolExecutor).108109Новое в версии 3.6: Аргумент *thread\_name\_prefix* был добавлен, чтобы можно было управлять именами [`threading.Thread`](https://python-all.ru/3.6/library/threading.html#threading.Thread) рабочих потоков, создаваемых пулом, для упрощения отладки.110111### 17.4.2.1. Пример ThreadPoolExecutor112113```python114import concurrent.futures115import urllib.request116117URLS = ['http://www.foxnews.com/',118        'http://www.cnn.com/',119        'http://europe.wsj.com/',120        'http://www.bbc.co.uk/',121        'http://some-made-up-domain.com/']122123# Получить одну страницу и вывести URL и содержимое124def load_url(url, timeout):125    with urllib.request.urlopen(url, timeout=timeout) as conn:126        return conn.read()127128# Можно использовать инструкцию with, чтобы гарантировать своевременную очистку потоков129with concurrent.futures.ThreadPoolExecutor(max_workers=5) as executor:130    # Запустить операции загрузки и пометить каждый future его URL131    future_to_url = {executor.submit(load_url, url, 60): url for url in URLS}132    for future in concurrent.futures.as_completed(future_to_url):133        url = future_to_url[future]134        try:135            data = future.result()136        except Exception as exc:137            print('%r generated an exception: %s' % (url, exc))138        else:139            print('%r page is %d bytes' % (url, len(data)))140```141142## 17.4.3. ProcessPoolExecutor143144Класс [`ProcessPoolExecutor`](https://python-all.ru/3.6/library/concurrent.futures.html#concurrent.futures.ProcessPoolExecutor) является подклассом [`Executor`](https://python-all.ru/3.6/library/concurrent.futures.html#concurrent.futures.Executor), который использует пул процессов для асинхронного выполнения вызовов. [`ProcessPoolExecutor`](https://python-all.ru/3.6/library/concurrent.futures.html#concurrent.futures.ProcessPoolExecutor) использует модуль [`multiprocessing`](https://python-all.ru/3.6/library/multiprocessing.html#module-multiprocessing), что позволяет обойти [Глобальная блокировка интерпретатора](https://python-all.ru/3.6/glossary.html#term-global-interpreter-lock), но также означает, что только picklable-объекты могут быть выполнены и возвращены.145146Модуль `__main__` должен быть импортируемым рабочими подпроцессами. Это означает, что [`ProcessPoolExecutor`](https://python-all.ru/3.6/library/concurrent.futures.html#concurrent.futures.ProcessPoolExecutor) не будет работать в интерактивном интерпретаторе.147148Вызов методов [`Executor`](https://python-all.ru/3.6/library/concurrent.futures.html#concurrent.futures.Executor) или [`Future`](https://python-all.ru/3.6/library/concurrent.futures.html#concurrent.futures.Future) из вызываемого объекта, отправленного в [`ProcessPoolExecutor`](https://python-all.ru/3.6/library/concurrent.futures.html#concurrent.futures.ProcessPoolExecutor), приведёт к взаимоблокировке.149150#### `class concurrent.futures.ProcessPoolExecutor(max_workers=None)`151152Подкласс [`Executor`](https://python-all.ru/3.6/library/concurrent.futures.html#concurrent.futures.Executor), который выполняет вызовы асинхронно, используя пул из не более *max\_workers* процессов. Если *max\_workers* равен `None` или не указан, по умолчанию используется количество процессоров в машине. Если *max\_workers* меньше или равен `0`, то возбуждается [`ValueError`](https://python-all.ru/3.6/library/exceptions.html#ValueError).153154Изменено в версии 3.3: Когда один из рабочих процессов завершается аварийно, теперь возбуждается ошибка `BrokenProcessPool`. Ранее поведение было неопределённым, но операции над исполнителем или его future часто приводили к зависанию или взаимоблокировке.155156### 17.4.3.1. Пример ProcessPoolExecutor157158```python159import concurrent.futures160import math161162PRIMES = [163    112272535095293,164    112582705942171,165    112272535095293,166    115280095190773,167    115797848077099,168    1099726899285419]169170def is_prime(n):171    if n % 2 == 0:172        return False173174    sqrt_n = int(math.floor(math.sqrt(n)))175    for i in range(3, sqrt_n + 1, 2):176        if n % i == 0:177            return False178    return True179180def main():181    with concurrent.futures.ProcessPoolExecutor() as executor:182        for number, prime in zip(PRIMES, executor.map(is_prime, PRIMES)):183            print('%d is prime: %s' % (number, prime))184185if __name__ == '__main__':186    main()187```188189## 17.4.4. Объекты Future190191Класс [`Future`](https://python-all.ru/3.6/library/concurrent.futures.html#concurrent.futures.Future) инкапсулирует асинхронное выполнение вызываемого объекта. Экземпляры [`Future`](https://python-all.ru/3.6/library/concurrent.futures.html#concurrent.futures.Future) создаются с помощью [`Executor.submit()`](https://python-all.ru/3.6/library/concurrent.futures.html#concurrent.futures.Executor.submit).192193#### `class concurrent.futures.Future`194195Инкапсулирует асинхронное выполнение вызываемого объекта. Экземпляры [`Future`](https://python-all.ru/3.6/library/concurrent.futures.html#concurrent.futures.Future) создаются с помощью [`Executor.submit()`](https://python-all.ru/3.6/library/concurrent.futures.html#concurrent.futures.Executor.submit) и не должны создаваться напрямую, за исключением тестирования.196197> #### `cancel()`198>199> Пытается отменить вызов. Если вызов в данный момент выполняется и не может быть отменён, метод вернёт `False`, в противном случае вызов будет отменён и метод вернёт `True`.200>201> #### `cancelled()`202>203> Возвращает `True`, если вызов был успешно отменён.204>205> #### `running()`206>207> Возвращает `True`, если вызов в данный момент выполняется и не может быть отменён.208>209> #### `done()`210>211> Возвращает `True`, если вызов был успешно отменён или завершён.212>213> #### `result(timeout=None)`214>215> Возвращает значение, возвращённое вызовом. Если вызов ещё не завершился, этот метод будет ждать до *timeout* секунд. Если вызов не завершится за *timeout* секунд, будет вызвано [`concurrent.futures.TimeoutError`](https://python-all.ru/3.6/library/concurrent.futures.html#concurrent.futures.TimeoutError). *timeout* может быть целым числом или числом с плавающей запятой. Если *timeout* не указан или равен `None`, время ожидания не ограничено.216>217> Если future отменён до завершения, будет вызвано [`CancelledError`](https://python-all.ru/3.6/library/concurrent.futures.html#concurrent.futures.CancelledError).218>219> Если вызов вызвал исключение, этот метод возбудит то же самое исключение.220>221> #### `exception(timeout=None)`222>223> Возвращает исключение, вызванное вызовом. Если вызов ещё не завершён, этот метод будет ожидать до *timeout* секунд. Если вызов не завершится за *timeout* секунд, будет вызвано [`concurrent.futures.TimeoutError`](https://python-all.ru/3.6/library/concurrent.futures.html#concurrent.futures.TimeoutError). *timeout* может быть целым числом или числом с плавающей запятой. Если *timeout* не указан или `None`, время ожидания не ограничено.224>225> Если future отменён до завершения, будет вызвано [`CancelledError`](https://python-all.ru/3.6/library/concurrent.futures.html#concurrent.futures.CancelledError).226>227> Если вызов завершился без исключения, возвращается `None`.228>229> #### `add_done_callback(fn)`230>231> Прикрепляет вызываемый объект *fn* к future. *fn* будет вызван с future в качестве единственного аргумента, когда future отменён или завершит выполнение.232>233> Добавленные вызываемые объекты вызываются в порядке их добавления и всегда вызываются в потоке, принадлежащем процессу, который их добавил. Если вызываемый объект вызывает подкласс [`Exception`](https://python-all.ru/3.6/library/exceptions.html#Exception), это будет зарегистрировано и проигнорировано. Если вызываемый объект вызывает подкласс [`BaseException`](https://python-all.ru/3.6/library/exceptions.html#BaseException), поведение не определено.234>235> Если future уже завершён или отменён, *fn* будет вызван немедленно.236237Следующие методы [`Future`](https://python-all.ru/3.6/library/concurrent.futures.html#concurrent.futures.Future) предназначены для использования в модульных тестах и реализациях [`Executor`](https://python-all.ru/3.6/library/concurrent.futures.html#concurrent.futures.Executor).238239> #### `set_running_or_notify_cancel()`240>241> Этот метод должен вызываться только реализациями [`Executor`](https://python-all.ru/3.6/library/concurrent.futures.html#concurrent.futures.Executor) перед выполнением работы, связанной с [`Future`](https://python-all.ru/3.6/library/concurrent.futures.html#concurrent.futures.Future), и модульными тестами.242>243> Если метод возвращает `False`, значит, [`Future`](https://python-all.ru/3.6/library/concurrent.futures.html#concurrent.futures.Future) был отменён, то есть был вызван [`Future.cancel()`](https://python-all.ru/3.6/library/concurrent.futures.html#concurrent.futures.Future.cancel), и он вернул *True*. Все потоки, ожидающие завершения [`Future`](https://python-all.ru/3.6/library/concurrent.futures.html#concurrent.futures.Future) (например, через [`as_completed()`](https://python-all.ru/3.6/library/concurrent.futures.html#concurrent.futures.as_completed) или [`wait()`](https://python-all.ru/3.6/library/concurrent.futures.html#concurrent.futures.wait)), будут разбужены.244>245> Если метод возвращает `True`, значит, [`Future`](https://python-all.ru/3.6/library/concurrent.futures.html#concurrent.futures.Future) не был отменён и переведён в состояние выполнения, то есть вызовы [`Future.running()`](https://python-all.ru/3.6/library/concurrent.futures.html#concurrent.futures.Future.running) будут возвращать *True*.246>247> Этот метод можно вызвать только один раз, и его нельзя вызывать после вызова [`Future.set_result()`](https://python-all.ru/3.6/library/concurrent.futures.html#concurrent.futures.Future.set_result) или [`Future.set_exception()`](https://python-all.ru/3.6/library/concurrent.futures.html#concurrent.futures.Future.set_exception).248>249> #### `set_result(result)`250>251> Устанавливает результат работы, связанной с [`Future`](https://python-all.ru/3.6/library/concurrent.futures.html#concurrent.futures.Future), в *result*.252>253> Этот метод должен использоваться только реализациями [`Executor`](https://python-all.ru/3.6/library/concurrent.futures.html#concurrent.futures.Executor) и модульными тестами.254>255> #### `set_exception(exception)`256>257> Устанавливает результат работы, связанной с [`Future`](https://python-all.ru/3.6/library/concurrent.futures.html#concurrent.futures.Future), в [`Exception`](https://python-all.ru/3.6/library/exceptions.html#Exception) *исключение*.258>259> Этот метод должен использоваться только реализациями [`Executor`](https://python-all.ru/3.6/library/concurrent.futures.html#concurrent.futures.Executor) и модульными тестами.260261## 17.4.5. Функции модуля262263#### `concurrent.futures.wait(fs, timeout=None, return_when=ALL_COMPLETED)`264265Ожидает завершения экземпляров [`Future`](https://python-all.ru/3.6/library/concurrent.futures.html#concurrent.futures.Future) (возможно, созданных разными экземплярами [`Executor`](https://python-all.ru/3.6/library/concurrent.futures.html#concurrent.futures.Executor)), заданных в *fs*. Возвращает именованный кортеж из двух множеств. Первое множество, называемое `done`, содержит futures, которые завершились (выполнились или были отменены) до завершения ожидания. Второе множество, называемое `not_done`, содержит незавершённые futures.266267*timeout* можно использовать для управления максимальным количеством секунд ожидания перед возвратом. *timeout* может быть целым числом или числом с плавающей запятой. Если *timeout* не указан или `None`, время ожидания не ограничено.268269*return\_when* указывает, когда эта функция должна вернуть результат. Он должен быть одной из следующих констант:270271| Константа | Описание |272| --- | --- |273| `FIRST_COMPLETED` | Функция вернёт результат, когда любой future завершится или будет отменён. |274| `FIRST_EXCEPTION` | Функция вернёт результат, когда любой future завершится, возбудив исключение. Если ни один future не возбудит исключение, это эквивалентно `ALL_COMPLETED`. |275| `ALL_COMPLETED` | Функция вернёт результат, когда все future завершатся или будут отменены. |276277#### `concurrent.futures.as_completed(fs, timeout=None)`278279Возвращает итератор по экземплярам [`Future`](https://python-all.ru/3.6/library/concurrent.futures.html#concurrent.futures.Future) (возможно, созданным разными экземплярами [`Executor`](https://python-all.ru/3.6/library/concurrent.futures.html#concurrent.futures.Executor)), заданным в *fs*, который генерирует futures по мере их завершения (выполнения или отмены). Любые futures, заданные в *fs*, которые дублируются, будут возвращены один раз. Futures, завершившиеся до вызова [`as_completed()`](https://python-all.ru/3.6/library/concurrent.futures.html#concurrent.futures.as_completed), будут выданы первыми. Возвращённый итератор возбуждает [`concurrent.futures.TimeoutError`](https://python-all.ru/3.6/library/concurrent.futures.html#concurrent.futures.TimeoutError), если вызывается [`__next__()`](https://python-all.ru/3.6/library/stdtypes.html#iterator.__next__) и результат недоступен через *timeout* секунд после исходного вызова [`as_completed()`](https://python-all.ru/3.6/library/concurrent.futures.html#concurrent.futures.as_completed). *timeout* может быть целым числом или числом с плавающей запятой. Если *timeout* не указан или равен `None`, время ожидания не ограничено.280281> **См. также**282>283> **[**PEP 3148**](https://python-all.ru/3.6/library/concurrent.futures.html) – futures - execute computations asynchronously**284>285> Предложение, которое описывало эту возможность для включения в стандартную библиотеку Python.286287## 17.4.6. Классы исключений288289#### `exception concurrent.futures.CancelledError`290291Возникает при отмене future.292293#### `exception concurrent.futures.TimeoutError`294295Возбуждается, когда операция с future превышает заданный тайм-аут.296297#### `exception concurrent.futures.process.BrokenProcessPool`298299Производный от [`RuntimeError`](https://python-all.ru/3.6/library/exceptions.html#RuntimeError), этот класс исключения возбуждается, когда один из рабочих процессов `ProcessPoolExecutor` завершился некорректно (например, если он был убит извне).300301Новое в версии 3.3.302