Документация Python неофициальный перевод

functional.md

927 строк · 79.6 КБ · обычная страница · сырой текст · скачать

1> **Источник:** https://python-all.ru/3.4/howto/functional.html2>3> «Документация Python на русском» – неофициальный перевод официальной документации Python: версии от 2.6 до 3.16, полнотекстовый поиск, английский оригинал рядом с переводом. Эта Markdown-версия страницы предназначена для работы с LLM: вставьте её в ChatGPT, Claude или Cursor.45---67# Руководство по функциональному программированию89| Автор: | A. M. Kuchling |10| --- | --- |11| Версия: | 0.32 |1213В этом документе мы рассмотрим возможности Python, подходящие для реализации программ в функциональном стиле. После введения в концепции функционального программирования мы рассмотрим такие языковые средства, как [*итераторы*](https://python-all.ru/3.4/glossary.html#term-iterator) и [*генераторы*](https://python-all.ru/3.4/glossary.html#term-generator), а также соответствующие модули библиотеки, например [`itertools`](https://python-all.ru/3.4/library/itertools.html#module-itertools) и [`functools`](https://python-all.ru/3.4/library/functools.html#module-functools).1415## Введение1617В этом разделе объясняется основная концепция функционального программирования; если вас интересуют только особенности языка Python, переходите к следующему разделу [*Итераторы*](https://python-all.ru/3.4/howto/functional.html#functional-howto-iterators).1819Языки программирования поддерживают декомпозицию задач несколькими различными способами:2021- Большинство языков программирования являются **процедурными**: программы представляют собой списки инструкций, которые указывают компьютеру, что делать с входными данными программы. C, Pascal и даже оболочки Unix являются процедурными языками.22- В **декларативных** языках пишется спецификация, описывающая решаемую задачу, а реализация языка самостоятельно определяет, как эффективно выполнить вычисления. SQL – это декларативный язык, с которым вы, скорее всего, знакомы; SQL-запрос описывает набор данных, который вы хотите получить, а механизм SQL решает, сканировать таблицы или использовать индексы, какие подзапросы выполнять в первую очередь и т.д.23- **Объектно-ориентированные** программы манипулируют коллекциями объектов. Объекты имеют внутреннее состояние и поддерживают методы, которые запрашивают или изменяют это внутреннее состояние определённым образом. Smalltalk и Java являются объектно-ориентированными языками. C++ и Python – языки, поддерживающие объектно-ориентированное программирование, но не навязывающие использование объектно-ориентированных возможностей.24- **Функциональное** программирование разбивает задачу на набор функций. В идеале функции только принимают входные данные и выдают результаты, не имея внутреннего состояния, влияющего на вывод для заданного входа. К известным функциональным языкам относятся семейство ML (Standard ML, OCaml и другие варианты) и Haskell.2526Разработчики некоторых языков программирования решают сделать упор на один конкретный подход к программированию. Это часто затрудняет написание программ, использующих другой подход. Другие языки являются мультипарадигмальными и поддерживают несколько различных подходов. Lisp, C++ и Python – мультипарадигмальные; в каждом из этих языков можно писать программы или библиотеки, преимущественно процедурные, объектно-ориентированные или функциональные. В большой программе разные разделы могут быть написаны с использованием разных подходов; например, графический интерфейс может быть объектно-ориентированным, а логика обработки – процедурной или функциональной.2728В функциональной программе входные данные проходят через набор функций. Каждая функция обрабатывает свой вход и выдаёт некоторый результат. Функциональный стиль не одобряет функции с побочными эффектами, изменяющими внутреннее состояние или вносящими другие изменения, невидимые в возвращаемом значении функции. Функции, не имеющие побочных эффектов вообще, называются **чисто функциональными**. Избегание побочных эффектов означает отказ от использования структур данных, которые обновляются в процессе выполнения программы; результат каждой функции должен зависеть только от её входных данных.2930Некоторые языки очень строги в отношении чистоты и даже не имеют операторов присваивания, таких как `a=3` или `c = a + b`, но избежать всех побочных эффектов сложно. Например, вывод на экран или запись в файл – это побочные эффекты. В Python вызов [`print()`](https://python-all.ru/3.4/library/functions.html#print) или [`time.sleep()`](https://python-all.ru/3.4/library/time.html#time.sleep) не возвращает полезного значения; эти функции вызываются только ради побочных эффектов: отправить текст на экран или приостановить выполнение на секунду.3132Программы на Python, написанные в функциональном стиле, обычно не доходят до крайности полного отказа от ввода-вывода или присваиваний; вместо этого они предоставляют интерфейс, выглядящий функциональным, но внутри используют не функциональные возможности. Например, реализация функции всё равно будет использовать присваивания локальным переменным, но не будет изменять глобальные переменные или иметь другие побочные эффекты.3334Функциональное программирование можно считать противоположностью объектно-ориентированного. Объекты – это небольшие капсулы, содержащие некоторое внутреннее состояние вместе с набором вызовов методов, позволяющих изменять это состояние, а программы состоят из выполнения правильного набора изменений состояния. Функциональное программирование стремится максимально избегать изменений состояния и работает с данными, передаваемыми между функциями. В Python вы можете комбинировать эти два подхода, написав функции, которые принимают и возвращают экземпляры, представляющие объекты в вашем приложении (сообщения электронной почты, транзакции и т.д.).3536Функциональный дизайн может показаться странным ограничением для работы. Зачем избегать объектов и побочных эффектов? У функционального стиля есть теоретические и практические преимущества:3738- Формальная доказуемость.39- Модульность.40- Композируемость.41- Лёгкость отладки и тестирования.4243### Формальная доказуемость4445Теоретическое преимущество заключается в том, что легче построить математическое доказательство корректности функциональной программы.4647Уже долгое время исследователи заинтересованы в поиске способов математического доказательства корректности программ. Это отличается от тестирования программы на множестве входных данных и заключения, что её вывод обычно корректен, или чтения исходного кода программы и заключения, что код выглядит правильно; цель – строгое доказательство того, что программа выдаёт правильный результат для всех возможных входных данных.4849Метод, используемый для доказательства корректности программ, заключается в записи **инвариантов** – свойств входных данных и переменных программы, которые всегда истинны. Для каждой строки кода затем показывается, что если инварианты X и Y истинны **до** выполнения строки, то слегка изменённые инварианты X’ и Y’ истинны **после** выполнения строки. Это продолжается до конца программы, после чего инварианты должны соответствовать желаемым условиям на выход программы.5051Избегание присваиваний в функциональном программировании возникло потому, что присваивания сложно обрабатывать с помощью этого метода; присваивания могут нарушить инварианты, которые были истинны до присваивания, не порождая новых инвариантов, которые можно было бы распространить дальше.5253К сожалению, доказательство корректности программ в значительной степени непрактично и не применимо к программному обеспечению на Python. Даже тривиальные программы требуют доказательств длиной в несколько страниц; доказательство корректности для умеренно сложной программы было бы огромным, и мало какие (или вообще никакие) из программ, которые вы используете ежедневно (интерпретатор Python, ваш XML-парсер, веб-браузер), могли бы быть доказаны корректными. Даже если бы вы записали или сгенерировали доказательство, возник бы вопрос его проверки; возможно, в нём есть ошибка, и вы ошибочно полагаете, что доказали корректность программы.5455### Модульность5657Более практическое преимущество функционального программирования заключается в том, что оно заставляет разбивать задачу на небольшие части. Программы становятся более модульными. Проще определить и написать маленькую функцию, которая делает одно дело, чем большую функцию, выполняющую сложное преобразование. Маленькие функции также легче читать и проверять на ошибки.5859### Лёгкость отладки и тестирования6061Тестировать и отлаживать программу в функциональном стиле проще.6263Отладка упрощается, потому что функции обычно малы и чётко определены. Когда программа не работает, каждая функция является точкой интерфейса, где можно проверить корректность данных. Можно просмотреть промежуточные входные и выходные данные, чтобы быстро изолировать функцию, ответственную за ошибку.6465Тестирование проще, потому что каждая функция является потенциальным объектом для модульного теста. Функции не зависят от состояния системы, которое нужно воспроизводить перед запуском теста; вместо этого нужно только синтезировать правильный вход и затем проверить, что выход соответствует ожиданиям.6667### Композируемость6869В процессе работы над программой в функциональном стиле вы напишете ряд функций с различными входными и выходными данными. Некоторые из этих функций будут неизбежно специализированы для конкретного приложения, но другие будут полезны в самых разных программах. Например, функция, принимающая путь к каталогу и возвращающая все XML-файлы в нём, или функция, принимающая имя файла и возвращающая его содержимое, могут применяться во многих различных ситуациях.7071Со временем у вас сформируется личная библиотека утилит. Часто вы будете собирать новые программы, компонуя существующие функции в новой конфигурации и написав несколько функций, специализированных для текущей задачи.7273## Итераторы7475Я начну с рассмотрения возможности языка Python, которая является важной основой для написания функциональных программ: итераторов.7677Итератор – это объект, представляющий поток данных; он возвращает данные по одному элементу за раз. Итератор в Python должен поддерживать метод [`__next__()`](https://python-all.ru/3.4/library/stdtypes.html#iterator.__next__), который не принимает аргументов и всегда возвращает следующий элемент потока. Если в потоке больше нет элементов, [`__next__()`](https://python-all.ru/3.4/library/stdtypes.html#iterator.__next__) должен возбуждать исключение [`StopIteration`](https://python-all.ru/3.4/library/exceptions.html#StopIteration). Впрочем, итераторы не обязаны быть конечными; вполне допустимо написать итератор, который производит бесконечный поток данных.7879Встроенная функция [`iter()`](https://python-all.ru/3.4/library/functions.html#iter) принимает произвольный объект и пытается вернуть итератор, который будет возвращать содержимое или элементы объекта, возбуждая [`TypeError`](https://python-all.ru/3.4/library/exceptions.html#TypeError), если объект не поддерживает итерацию. Некоторые встроенные типы данных Python поддерживают итерацию, наиболее распространённые из них – списки и словари. Объект называется [*итерируемым*](https://python-all.ru/3.4/glossary.html#term-iterable), если для него можно получить итератор.8081Можно поэкспериментировать с интерфейсом итерации вручную:8283```python84>>> L = [1,2,3]85>>> it = iter(L)86>>> it  87<...iterator object at ...>88>>> it.__next__()  # то же, что и next(it)89190>>> next(it)91292>>> next(it)93394>>> next(it)95Traceback (most recent call last):96  File "<stdin>", line 1, in ?97StopIteration98>>>99```100101Python ожидает итерируемые объекты в нескольких различных контекстах, наиболее важным из которых является оператор [`for`](https://python-all.ru/3.4/reference/compound_stmts.html#for). В операторе `for X in Y` Y должен быть итератором или объектом, для которого [`iter()`](https://python-all.ru/3.4/library/functions.html#iter) может создать итератор. Эти два оператора эквивалентны:102103```python104for i in iter(obj):105    print(i)106107for i in obj:108    print(i)109```110111Итераторы можно материализовать в списки или кортежи с помощью функций-конструкторов [`list()`](https://python-all.ru/3.4/library/stdtypes.html#list) или [`tuple()`](https://python-all.ru/3.4/library/stdtypes.html#tuple):112113```python114>>> L = [1,2,3]115>>> iterator = iter(L)116>>> t = tuple(iterator)117>>> t118(1, 2, 3)119```120121Распаковка последовательностей также поддерживает итераторы: если известно, что итератор вернёт N элементов, их можно распаковать в N-кортеж:122123```python124>>> L = [1,2,3]125>>> iterator = iter(L)126>>> a,b,c = iterator127>>> a,b,c128(1, 2, 3)129```130131Встроенные функции, такие как [`max()`](https://python-all.ru/3.4/library/functions.html#max) и [`min()`](https://python-all.ru/3.4/library/functions.html#min), могут принимать один аргумент-итератор и возвращать наибольший или наименьший элемент. Операторы `"in"` и `"not in"` также поддерживают итераторы: `X in итератор` истинно, если X находится в потоке, возвращаемом итератором. С бесконечным итератором возникнут очевидные проблемы: [`max()`](https://python-all.ru/3.4/library/functions.html#max), [`min()`](https://python-all.ru/3.4/library/functions.html#min) никогда не вернут результат, и если элемент X никогда не появится в потоке, операторы `"in"` и `"not in"` тоже не вернут результат.132133Обратите внимание, что по итератору можно двигаться только вперёд; нет способа получить предыдущий элемент, сбросить итератор или создать его копию. Объекты-итераторы могут опционально предоставлять такие дополнительные возможности, но протокол итератора определяет только метод [`__next__()`](https://python-all.ru/3.4/library/stdtypes.html#iterator.__next__). Поэтому функции могут потребить все выходные данные итератора, и если нужно выполнить что-то другое с тем же потоком, придётся создать новый итератор.134135### Типы данных, поддерживающие итераторы136137Мы уже видели, как списки и кортежи поддерживают итераторы. На самом деле любой тип последовательности Python, например строки, автоматически поддерживает создание итератора.138139Вызов [`iter()`](https://python-all.ru/3.4/library/functions.html#iter) для словаря возвращает итератор, который будет перебирать ключи словаря:140141```python142>>> m = {'Jan': 1, 'Feb': 2, 'Mar': 3, 'Apr': 4, 'May': 5, 'Jun': 6,143...      'Jul': 7, 'Aug': 8, 'Sep': 9, 'Oct': 10, 'Nov': 11, 'Dec': 12}144>>> for key in m:  145...     print(key, m[key])146Mar 3147Feb 2148Aug 8149Sep 9150Apr 4151Jun 6152Jul 7153Jan 1154May 5155Nov 11156Dec 12157Oct 10158```159160Порядок по существу случаен, так как он основан на хеш-упорядочении объектов в словаре.161162Применение [`iter()`](https://python-all.ru/3.4/library/functions.html#iter) к словарю всегда перебирает ключи, но у словарей есть методы, возвращающие другие итераторы. Если требуется перебрать значения или пары ключ-значение, можно явно вызвать методы [`values()`](https://python-all.ru/3.4/library/stdtypes.html#dict.values) или [`items()`](https://python-all.ru/3.4/library/stdtypes.html#dict.items), чтобы получить соответствующий итератор.163164Конструктор [`dict()`](https://python-all.ru/3.4/library/stdtypes.html#dict) может принимать итератор, возвращающий конечный поток кортежей вида `(key, value)`:165166```python167>>> L = [('Italy', 'Rome'), ('France', 'Paris'), ('US', 'Washington DC')]168>>> dict(iter(L))  169{'Italy': 'Rome', 'US': 'Washington DC', 'France': 'Paris'}170```171172Файлы также поддерживают итерацию: вызывается метод [`readline()`](https://python-all.ru/3.4/library/io.html#io.TextIOBase.readline), пока в файле не останется строк. Это означает, что можно читать каждую строку файла следующим образом:173174```python175for line in file:176    # сделать что-то для каждой строки177    ...178```179180Множества могут принимать своё содержимое из итерируемого объекта и позволяют перебирать элементы множества:181182```python183S = {2, 3, 5, 7, 11, 13}184for i in S:185    print(i)186```187188## Генераторные выражения и списковые включения189190Две распространённые операции над выводом итератора: 1) выполнение некоторого действия для каждого элемента, 2) выбор подмножества элементов, удовлетворяющих некоторому условию. Например, имея список строк, можно удалить завершающие пробелы из каждой строки или извлечь все строки, содержащие заданную подстроку.191192Генераторы списков и генераторные выражения (сокращённо: listcomps и genexps) – это краткая запись для таких операций, заимствованная из функционального языка Haskell ([http://www.haskell.org/](https://python-all.ru/3.4/howto/functional.html)). Можно удалить все пробелы из потока строк с помощью следующего кода:193194```python195line_list = ['  line 1\n', 'line 2  \n', ...]196197# Генераторное выражение – возвращает итератор198stripped_iter = (line.strip() for line in line_list)199200# Списочное выражение – возвращает список201stripped_list = [line.strip() for line in line_list]202```203204Можно отобрать только определённые элементы, добавив условие `"if"`:205206```python207stripped_list = [line.strip() for line in line_list208                 if line != ""]209```210211При использовании генератора списков получается список Python; `stripped_list` – это список, содержащий результирующие строки, а не итератор. Генераторные выражения возвращают итератор, который вычисляет значения по мере необходимости, не требуя материализации всех значений сразу. Это означает, что генераторы списков не подходят для работы с итераторами, возвращающими бесконечный поток или очень большой объём данных. В таких ситуациях предпочтительнее генераторные выражения.212213Генераторные выражения заключаются в круглые скобки («()»), а списковые включения – в квадратные скобки («\[\]»). Генераторные выражения имеют вид:214215```python216( expression for expr in sequence1217             if condition1218             for expr2 in sequence2219             if condition2220             for expr3 in sequence3 ...221             if condition3222             for exprN in sequenceN223             if conditionN )224```225226Опять же, для спискового включения отличаются только внешние скобки (квадратные вместо круглых).227228Элементы генерируемого вывода – это последовательные значения `выражения`. Предложения `if` необязательны; если они присутствуют, `выражение` вычисляется и добавляется к результату, только когда `условие` истинно.229230Генераторные выражения всегда должны быть записаны внутри круглых скобок, но скобки, обозначающие вызов функции, также подходят. Если нужно создать итератор, который будет немедленно передан функции, можно написать:231232```python233obj_total = sum(obj.count for obj in list_all_objects())234```235236Предложения `for...in` содержат последовательности, по которым производится итерация. Последовательности не обязаны быть одинаковой длины, поскольку итерация по ним выполняется слева направо, а **не** параллельно. Для каждого элемента из `sequence1` последовательность `sequence2` перебирается с начала. Затем `sequence3` перебирается для каждой результирующей пары элементов из `sequence1` и `sequence2`.237238Другими словами, списковое включение или генераторное выражение эквивалентно следующему коду Python:239240```python241for expr1 in sequence1:242    if not (condition1):243        continue   # Пропустить этот элемент244    for expr2 in sequence2:245        if not (condition2):246            continue    # Пропустить этот элемент247        ...248        for exprN in sequenceN:249             if not (conditionN):250                 continue   # Пропустить этот элемент251252             # Вывести значение253             # выражения.254```255256Это означает, что при наличии нескольких предложений `for...in` и отсутствии предложений `if` длина результирующего вывода будет равна произведению длин всех последовательностей. Если есть два списка длины 3, результирующий список будет содержать 9 элементов:257258```python259>>> seq1 = 'abc'260>>> seq2 = (1,2,3)261>>> [(x, y) for x in seq1 for y in seq2]  262[('a', 1), ('a', 2), ('a', 3),263 ('b', 1), ('b', 2), ('b', 3),264 ('c', 1), ('c', 2), ('c', 3)]265```266267Чтобы не создавать неоднозначности в грамматике Python, если `выражение` создаёт кортеж, оно должно быть заключено в круглые скобки. Первый генератор списка ниже содержит синтаксическую ошибку, а второй – корректен:268269```python270# Синтаксическая ошибка271[x, y for x in seq1 for y in seq2]272# Верно273[(x, y) for x in seq1 for y in seq2]274```275276## Генераторы277278Генераторы – это особый класс функций, упрощающих написание итераторов. Обычные функции вычисляют значение и возвращают его, а генераторы возвращают итератор, который возвращает поток значений.279280Вы, несомненно, знакомы с тем, как работают обычные функции в Python или C. При вызове функции она получает приватное пространство имён, в котором создаются её локальные переменные. Когда функция доходит до оператора `return`, локальные переменные уничтожаются, а значение возвращается вызывающему коду. Последующий вызов той же функции создаёт новое приватное пространство имён и новый набор локальных переменных. Но что, если бы локальные переменные не уничтожались при выходе из функции? Что, если бы можно было возобновить выполнение функции с того места, где она остановилась? Именно это и обеспечивают генераторы; их можно рассматривать как возобновляемые функции.281282Вот простейший пример функции-генератора:283284```python285>>> def generate_ints(N):286...    for i in range(N):287...        yield i288```289290Любая функция, содержащая ключевое слово [`yield`](https://python-all.ru/3.4/reference/simple_stmts.html#yield), является генераторной функцией; это обнаруживается компилятором байт-кода Python [*bytecode*](https://python-all.ru/3.4/glossary.html#term-bytecode), который в результате компилирует функцию особым образом.291292При вызове генераторной функции она возвращает не одно значение, а объект-генератор, поддерживающий протокол итератора. При выполнении выражения `yield` генератор выводит значение `i`, аналогично оператору `return`. Основное различие между `yield` и оператором `return` заключается в том, что при достижении `yield` состояние выполнения генератора приостанавливается, а локальные переменные сохраняются. При следующем вызове метода [`__next__()`](https://python-all.ru/3.4/reference/expressions.html#generator.__next__) генератора функция возобновляет выполнение.293294Вот пример использования генератора `generate_ints()`:295296```python297>>> gen = generate_ints(3)298>>> gen  299<generator object generate_ints at ...>300>>> next(gen)3010302>>> next(gen)3031304>>> next(gen)3052306>>> next(gen)307Traceback (most recent call last):308  File "stdin", line 1, in ?309  File "stdin", line 2, in generate_ints310StopIteration311```312313Можно также написать `for i in generate_ints(5)`, или `a,b,c = generate_ints(3)`.314315Внутри генераторной функции `return value` семантически эквивалентно `raise StopIteration(value)`. Если значение не возвращается или достигнут конец функции, последовательность значений завершается, и генератор не может вернуть больше значений.316317Эффект генераторов можно воспроизвести вручную, написав собственный класс и сохранив все локальные переменные генератора как атрибуты экземпляра. Например, возврат списка целых чисел можно реализовать, установив `self.count` в 0, а метод [`__next__()`](https://python-all.ru/3.4/library/stdtypes.html#iterator.__next__) будет увеличивать `self.count` и возвращать его. Однако для сколько-нибудь сложного генератора написание соответствующего класса может быть гораздо более запутанным.318319Тестовый набор, входящий в библиотеку Python, [Lib/test/test\_generators.py](https://python-all.ru/src/3.4/Lib/test/test_generators.py), содержит ряд более интересных примеров. Вот один генератор, который реализует обход дерева в порядке (in-order) с использованием генераторов рекурсивно.320321```python322# Рекурсивный генератор, порождающий листья дерева в порядке in-order.323def inorder(t):324    if t:325        for x in inorder(t.left):326            yield x327328        yield t.label329330        for x in inorder(t.right):331            yield x332```333334Два других примера в файле `test_generators.py` содержат решения задачи о N ферзях (разместить N ферзей на доске NxN так, чтобы ни один ферзь не угрожал другому) и задачи о ходе коня (найти маршрут, по которому конь обойдёт все клетки доски NxN, не посещая ни одну клетку дважды).335336### Передача значений в генератор337338В Python 2.4 и ранее генераторы только выдавали результат. Как только код генератора вызывался для создания итератора, не было способа передать новую информацию в функцию при возобновлении её выполнения. Можно было сымитировать эту возможность, заставив генератор обращаться к глобальной переменной или передавая изменяемый объект, который затем изменяли вызывающие стороны, но эти подходы были громоздкими.339340В Python 2.5 появился простой способ передачи значений в генератор. [`yield`](https://python-all.ru/3.4/reference/simple_stmts.html#yield) стало выражением, возвращающим значение, которое можно присвоить переменной или использовать в других операциях:341342```python343val = (yield i)344```345346Рекомендуется **всегда** заключать выражение `yield` в круглые скобки, когда вы что-то делаете с возвращаемым значением, как в примере выше. Скобки не всегда обязательны, но проще всегда их добавлять, чем запоминать, когда они нужны.347348([**PEP 342**](https://python-all.ru/3.4/howto/functional.html) объясняет точные правила: выражение `yield` должно быть всегда заключено в скобки, за исключением случаев, когда оно находится на верхнем уровне выражения в правой части присваивания. Это означает, что можно написать `val = yield i`, но нужно использовать скобки, когда есть операция, как в `val = (yield i) + 12`.)349350Значения передаются в генератор вызовом его метода [`send(value)`](https://python-all.ru/3.4/reference/expressions.html#generator.send). Этот метод возобновляет выполнение кода генератора, и выражение `yield` возвращает указанное значение. Если вызывается обычный метод [`__next__()`](https://python-all.ru/3.4/reference/expressions.html#generator.__next__), то `yield` возвращает `None`.351352Вот простой счётчик, который увеличивается на 1 и позволяет изменять значение внутреннего счётчика.353354```python355def counter(maximum):356    i = 0357    while i < maximum:358        val = (yield i)359        # Если передано значение, изменить counter.360        if val is not None:361            i = val362        else:363            i += 1364```365366А вот пример изменения счётчика:367368```python369>>> it = counter(10)  370>>> next(it)  3710372>>> next(it)  3731374>>> it.send(8)  3758376>>> next(it)  3779378>>> next(it)  379Traceback (most recent call last):380  File "t.py", line 15, in ?381    it.next()382StopIteration383```384385Поскольку `yield` часто возвращает `None`, всегда стоит проверять этот случай. Не стоит просто использовать его значение в выражениях, если нет уверенности, что метод [`send()`](https://python-all.ru/3.4/reference/expressions.html#generator.send) будет единственным способом возобновления работы функции-генератора.386387Помимо [`send()`](https://python-all.ru/3.4/reference/expressions.html#generator.send) существуют ещё два метода у генераторов:388389- [`throw(type, value=None, traceback=None)`](https://python-all.ru/3.4/reference/expressions.html#generator.throw) используется для возбуждения исключения внутри генератора; исключение возбуждается выражением `yield` в том месте, где выполнение генератора приостановлено.390- [`close()`](https://python-all.ru/3.4/reference/expressions.html#generator.close) возбуждает исключение [`GeneratorExit`](https://python-all.ru/3.4/library/exceptions.html#GeneratorExit) внутри генератора для завершения итерации. Получив это исключение, код генератора должен либо возбудить [`GeneratorExit`](https://python-all.ru/3.4/library/exceptions.html#GeneratorExit), либо [`StopIteration`](https://python-all.ru/3.4/library/exceptions.html#StopIteration); перехватывать исключение и делать что-либо ещё запрещено и вызовет [`RuntimeError`](https://python-all.ru/3.4/library/exceptions.html#RuntimeError). [`close()`](https://python-all.ru/3.4/reference/expressions.html#generator.close) также будет вызван сборщиком мусора Python, когда генератор будет уничтожен.391392  Если нужно выполнить код очистки при возникновении [`GeneratorExit`](https://python-all.ru/3.4/library/exceptions.html#GeneratorExit), лучше использовать блок `try: ... finally:` вместо перехвата [`GeneratorExit`](https://python-all.ru/3.4/library/exceptions.html#GeneratorExit).393394Совокупный эффект этих изменений – превращение генераторов из однонаправленных производителей информации одновременно и в производителей, и в потребителей.395396Генераторы также становятся **корутинами** – более обобщённой формой подпрограмм. Подпрограммы вызываются в одной точке и завершаются в другой (начало функции и оператор `return`), но корутины можно вызывать, приостанавливать и возобновлять в разных точках (операторы `yield`).397398## Встроенные функции399400Рассмотрим подробнее встроенные функции, часто используемые с итераторами.401402Две встроенные функции Python, [`map()`](https://python-all.ru/3.4/library/functions.html#map) и [`filter()`](https://python-all.ru/3.4/library/functions.html#filter), дублируют возможности генераторных выражений:403404**[`map(f, iterA, iterB, ...)`](https://python-all.ru/3.4/library/functions.html#map) возвращает итератор по последовательности**405406`f(iterA[0], iterB[0]), f(iterA[1], iterB[1]), f(iterA[2], iterB[2]), ...`.407408```python409>>> def upper(s):410...     return s.upper()411```412413```python414>>> list(map(upper, ['sentence', 'fragment']))415['SENTENCE', 'FRAGMENT']416>>> [upper(s) for s in ['sentence', 'fragment']]417['SENTENCE', 'FRAGMENT']418```419420Конечно, того же эффекта можно достичь с помощью спискового включения.421422[`filter(predicate, iter)`](https://python-all.ru/3.4/library/functions.html#filter) возвращает итератор по всем элементам последовательности, удовлетворяющим определённому условию; аналогичную функциональность предоставляют списковые включения. **Предикат** – это функция, возвращающая истинностное значение некоторого условия; для использования с [`filter()`](https://python-all.ru/3.4/library/functions.html#filter) предикат должен принимать один аргумент.423424```python425>>> def is_even(x):426...     return (x % 2) == 0427```428429```python430>>> list(filter(is_even, range(10)))431[0, 2, 4, 6, 8]432```433434Это также можно записать в виде спискового включения:435436```python437>>> list(x for x in range(10) if is_even(x))438[0, 2, 4, 6, 8]439```440441[`enumerate(iter)`](https://python-all.ru/3.4/library/functions.html#enumerate) нумерует элементы итерируемого объекта, возвращая кортежи из двух элементов, содержащие номер и значение.442443```python444>>> for item in enumerate(['subject', 'verb', 'object']):445...     print(item)446(0, 'subject')447(1, 'verb')448(2, 'object')449```450451[`enumerate()`](https://python-all.ru/3.4/library/functions.html#enumerate) часто используется при обходе списка для записи индексов, на которых выполняются определённые условия:452453```python454f = open('data.txt', 'r')455for i, line in enumerate(f):456    if line.strip() == '':457        print('Blank line at line #%i' % i)458```459460[`sorted(iterable, key=None, reverse=False)`](https://python-all.ru/3.4/library/functions.html#sorted) собирает все элементы итерируемого объекта в список, сортирует его и возвращает отсортированный результат. Аргументы *key* и *reverse* передаются методу [`sort()`](https://python-all.ru/3.4/library/stdtypes.html#list.sort) созданного списка.461462```python463>>> import random464>>> # Сгенерировать 8 случайных чисел в диапазоне [0, 10000).465>>> rand_list = random.sample(range(10000), 8)466>>> rand_list  467[769, 7953, 9828, 6431, 8442, 9878, 6213, 2207]468>>> sorted(rand_list)  469[769, 2207, 6213, 6431, 7953, 8442, 9828, 9878]470>>> sorted(rand_list, reverse=True)  471[9878, 9828, 8442, 7953, 6431, 6213, 2207, 769]472```473474(Для более подробного обсуждения сортировки см. [*Руководство по сортировке*](https://python-all.ru/3.4/howto/sorting.html#sortinghowto).)475476Встроенные функции [`any(iter)`](https://python-all.ru/3.4/library/functions.html#any) и [`all(iter)`](https://python-all.ru/3.4/library/functions.html#all) проверяют истинностные значения содержимого итерируемого объекта. [`any()`](https://python-all.ru/3.4/library/functions.html#any) возвращает `True`, если хотя бы один элемент в итерируемом объекте является истинным, а [`all()`](https://python-all.ru/3.4/library/functions.html#all) возвращает `True`, если все элементы истинны:477478```python479>>> any([0,1,0])480True481>>> any([0,0,0])482False483>>> any([1,1,1])484True485>>> all([0,1,0])486False487>>> all([0,0,0])488False489>>> all([1,1,1])490True491```492493[`zip(iterA, iterB, ...)`](https://python-all.ru/3.4/library/functions.html#zip) берёт по одному элементу из каждого итерируемого объекта и возвращает их в кортеже:494495```python496zip(['a', 'b', 'c'], (1, 2, 3)) =>497  ('a', 1), ('b', 2), ('c', 3)498```499500Он не создаёт список в памяти и не исчерпывает все входные итераторы до возврата; вместо этого кортежи создаются и возвращаются только по запросу. (Технический термин для такого поведения – [ленивые вычисления](https://python-all.ru/3.4/howto/functional.html).)501502Этот итератор предназначен для использования с итерируемыми объектами одинаковой длины. Если длины различаются, результирующий поток данных будет иметь длину кратчайшего итерируемого объекта.503504```python505zip(['a', 'b'], (1, 2, 3)) =>506  ('a', 1), ('b', 2)507```508509Тем не менее, так делать не стоит, поскольку из более длинных итераторов может быть взят и отброшен элемент. Это означает, что использовать эти итераторы дальше нельзя – есть риск пропустить отброшенный элемент.510511## Модуль itertools512513Модуль [`itertools`](https://python-all.ru/3.4/library/itertools.html#module-itertools) содержит ряд часто используемых итераторов, а также функции для комбинирования нескольких итераторов. В этом разделе будут представлены возможности модуля на небольших примерах.514515Функции модуля делятся на несколько широких категорий:516517- Функции, создающие новый итератор на основе существующего.518- Функции для передачи элементов итератора в качестве аргументов функции.519- Функции для выбора части вывода итератора.520- Функция для группировки вывода итератора.521522### Создание новых итераторов523524[`itertools.count(n)`](https://python-all.ru/3.4/library/itertools.html#itertools.count) возвращает бесконечный поток целых чисел, увеличивающихся на 1 на каждом шаге. Можно указать начальное число; по умолчанию оно равно 0:525526```python527itertools.count() =>528  0, 1, 2, 3, 4, 5, 6, 7, 8, 9, ...529itertools.count(10) =>530  10, 11, 12, 13, 14, 15, 16, 17, 18, 19, ...531```532533[`itertools.cycle(iter)`](https://python-all.ru/3.4/library/itertools.html#itertools.cycle) сохраняет копию содержимого переданного итерируемого объекта и возвращает новый итератор, который возвращает элементы от первого до последнего. Новый итератор будет повторять эти элементы бесконечно.534535```python536itertools.cycle([1,2,3,4,5]) =>537  1, 2, 3, 4, 5, 1, 2, 3, 4, 5, ...538```539540[`itertools.repeat(elem, [n])`](https://python-all.ru/3.4/library/itertools.html#itertools.repeat) возвращает переданный элемент *n* раз, или возвращает его бесконечно, если *n* не указано.541542```python543itertools.repeat('abc') =>544  abc, abc, abc, abc, abc, abc, abc, abc, abc, abc, ...545itertools.repeat('abc', 5) =>546  abc, abc, abc, abc, abc547```548549[`itertools.chain(iterA, iterB, ...)`](https://python-all.ru/3.4/library/itertools.html#itertools.chain) принимает произвольное количество итерируемых объектов и возвращает все элементы первого итератора, затем все элементы второго и так далее, пока все итерируемые объекты не будут исчерпаны.550551```python552itertools.chain(['a', 'b', 'c'], (1, 2, 3)) =>553  a, b, c, 1, 2, 3554```555556[`itertools.islice(iter, [start], stop, [step])`](https://python-all.ru/3.4/library/itertools.html#itertools.islice) возвращает поток, представляющий собой срез итератора. С одним аргументом *stop* он возвращает первые *stop* элементов. Если указать начальный индекс, будет получено *stop-start* элементов, а если указать значение *step*, элементы будут пропускаться соответствующим образом. В отличие от срезов строк и списков Python, для *start*, *stop* и *step* нельзя использовать отрицательные значения.557558```python559itertools.islice(range(10), 8) =>560  0, 1, 2, 3, 4, 5, 6, 7561itertools.islice(range(10), 2, 8) =>562  2, 3, 4, 5, 6, 7563itertools.islice(range(10), 2, 8, 2) =>564  2, 4, 6565```566567[`itertools.tee(iter, [n])`](https://python-all.ru/3.4/library/itertools.html#itertools.tee) копирует итератор; он возвращает *n* независимых итераторов, каждый из которых будет возвращать содержимое исходного итератора. Если не указать значение для *n*, по умолчанию используется 2. Копирование итераторов требует сохранения части содержимого исходного итератора, поэтому это может потребовать значительного объёма памяти, если итератор велик и один из новых итераторов используется чаще других.568569```python570itertools.tee( itertools.count() ) =>571   iterA, iterB572573where iterA ->574   0, 1, 2, 3, 4, 5, 6, 7, 8, 9, ...575576and   iterB ->577   0, 1, 2, 3, 4, 5, 6, 7, 8, 9, ...578```579580### Применение функций к элементам581582Модуль [`operator`](https://python-all.ru/3.4/library/operator.html#module-operator) содержит набор функций, соответствующих операторам Python. Примеры: [`operator.add(a, b)`](https://python-all.ru/3.4/library/operator.html#operator.add) (складывает два значения), [`operator.ne(a, b)`](https://python-all.ru/3.4/library/operator.html#operator.ne) (то же, что `a != b`) и [`operator.attrgetter('id')`](https://python-all.ru/3.4/library/operator.html#operator.attrgetter) (возвращает вызываемый объект, который получает атрибут `.id`).583584[`itertools.starmap(func, iter)`](https://python-all.ru/3.4/library/itertools.html#itertools.starmap) предполагает, что итерируемый объект будет возвращать поток кортежей, и вызывает *func*, используя эти кортежи в качестве аргументов:585586```python587itertools.starmap(os.path.join,588                  [('/bin', 'python'), ('/usr', 'bin', 'java'),589                   ('/usr', 'bin', 'perl'), ('/usr', 'bin', 'ruby')])590=>591  /bin/python, /usr/bin/java, /usr/bin/perl, /usr/bin/ruby592```593594### Выбор элементов595596Ещё одна группа функций выбирает подмножество элементов итератора на основе предиката.597598[`itertools.filterfalse(predicate, iter)`](https://python-all.ru/3.4/library/itertools.html#itertools.filterfalse) является противоположностью [`filter()`](https://python-all.ru/3.4/library/functions.html#filter): он возвращает все элементы, для которых предикат возвращает ложь:599600```python601itertools.filterfalse(is_even, itertools.count()) =>602  1, 3, 5, 7, 9, 11, 13, 15, ...603```604605[`itertools.takewhile(predicate, iter)`](https://python-all.ru/3.4/library/itertools.html#itertools.takewhile) возвращает элементы, пока предикат возвращает истину. Как только предикат возвращает ложь, итератор сигнализирует об окончании результатов.606607```python608def less_than_10(x):609    return x < 10610611itertools.takewhile(less_than_10, itertools.count()) =>612  0, 1, 2, 3, 4, 5, 6, 7, 8, 9613614itertools.takewhile(is_even, itertools.count()) =>615  0616```617618[`itertools.dropwhile(predicate, iter)`](https://python-all.ru/3.4/library/itertools.html#itertools.dropwhile) отбрасывает элементы, пока предикат возвращает истину, а затем возвращает остальные результаты итерируемого объекта.619620```python621itertools.dropwhile(less_than_10, itertools.count()) =>622  10, 11, 12, 13, 14, 15, 16, 17, 18, 19, ...623624itertools.dropwhile(is_even, itertools.count()) =>625  1, 2, 3, 4, 5, 6, 7, 8, 9, 10, ...626```627628[`itertools.compress(data, selectors)`](https://python-all.ru/3.4/library/itertools.html#itertools.compress) принимает два итератора и возвращает только те элементы *data*, для которых соответствующий элемент *selectors* является истинным; останавливается, когда один из них исчерпан:629630```python631itertools.compress([1,2,3,4,5], [True, True, False, False, True]) =>632   1, 2, 5633```634635### Комбинаторные функции636637[`itertools.combinations(iterable, r)`](https://python-all.ru/3.4/library/itertools.html#itertools.combinations) возвращает итератор, выдающий все возможные сочетания по *r* элементов из *iterable*.638639```python640itertools.combinations([1, 2, 3, 4, 5], 2) =>641  (1, 2), (1, 3), (1, 4), (1, 5),642  (2, 3), (2, 4), (2, 5),643  (3, 4), (3, 5),644  (4, 5)645646itertools.combinations([1, 2, 3, 4, 5], 3) =>647  (1, 2, 3), (1, 2, 4), (1, 2, 5), (1, 3, 4), (1, 3, 5), (1, 4, 5),648  (2, 3, 4), (2, 3, 5), (2, 4, 5),649  (3, 4, 5)650```651652Элементы внутри каждого кортежа остаются в том же порядке, в котором их вернуло *iterable*. Например, в примерах выше число 1 всегда стоит перед 2, 3, 4 или 5. Похожая функция, [`itertools.permutations(iterable, r=None)`](https://python-all.ru/3.4/library/itertools.html#itertools.permutations), снимает это ограничение на порядок и возвращает все возможные перестановки длиной *r*:653654```python655itertools.permutations([1, 2, 3, 4, 5], 2) =>656  (1, 2), (1, 3), (1, 4), (1, 5),657  (2, 1), (2, 3), (2, 4), (2, 5),658  (3, 1), (3, 2), (3, 4), (3, 5),659  (4, 1), (4, 2), (4, 3), (4, 5),660  (5, 1), (5, 2), (5, 3), (5, 4)661662itertools.permutations([1, 2, 3, 4, 5]) =>663  (1, 2, 3, 4, 5), (1, 2, 3, 5, 4), (1, 2, 4, 3, 5),664  ...665  (5, 4, 3, 2, 1)666```667668Если не указать значение *r*, используется длина итерируемого объекта, то есть переставляются все элементы.669670Обратите внимание: эти функции порождают все возможные комбинации по позициям и не требуют, чтобы содержимое *iterable* было уникальным:671672```python673itertools.permutations('aba', 3) =>674  ('a', 'b', 'a'), ('a', 'a', 'b'), ('b', 'a', 'a'),675  ('b', 'a', 'a'), ('a', 'a', 'b'), ('a', 'b', 'a')676```677678Одинаковый кортеж `('a', 'a', 'b')` встречается дважды, но две строки 'a' взяты из разных позиций.679680Функция [`itertools.combinations_with_replacement(iterable, r)`](https://python-all.ru/3.4/library/itertools.html#itertools.combinations_with_replacement) смягчает другое ограничение: внутри одного кортежа элементы могут повторяться. По сути, сначала выбирается элемент для первой позиции каждого кортежа, а затем он заменяется перед выбором второго элемента.681682```python683itertools.combinations_with_replacement([1, 2, 3, 4, 5], 2) =>684  (1, 1), (1, 2), (1, 3), (1, 4), (1, 5),685  (2, 2), (2, 3), (2, 4), (2, 5),686  (3, 3), (3, 4), (3, 5),687  (4, 4), (4, 5),688  (5, 5)689```690691### Группировка элементов692693Последняя функция, которую я рассмотрю – [`itertools.groupby(iter, key_func=None)`](https://python-all.ru/3.4/library/itertools.html#itertools.groupby) – самая сложная. `key_func(elem)` – это функция, которая может вычислить ключевое значение для каждого элемента, возвращаемого итерируемым объектом. Если ключевую функцию не указывать, ключом будет просто сам элемент.694695[`groupby()`](https://python-all.ru/3.4/library/itertools.html#itertools.groupby) собирает все последовательные элементы из базового итерируемого объекта, имеющие одинаковое ключевое значение, и возвращает поток из 2-кортежей, содержащих ключевое значение и итератор для элементов с этим ключом.696697```python698city_list = [('Decatur', 'AL'), ('Huntsville', 'AL'), ('Selma', 'AL'),699             ('Anchorage', 'AK'), ('Nome', 'AK'),700             ('Flagstaff', 'AZ'), ('Phoenix', 'AZ'), ('Tucson', 'AZ'),701             ...702            ]703704def get_state(city_state):705    return city_state[1]706707itertools.groupby(city_list, get_state) =>708  ('AL', iterator-1),709  ('AK', iterator-2),710  ('AZ', iterator-3), ...711712where713iterator-1 =>714  ('Decatur', 'AL'), ('Huntsville', 'AL'), ('Selma', 'AL')715iterator-2 =>716  ('Anchorage', 'AK'), ('Nome', 'AK')717iterator-3 =>718  ('Flagstaff', 'AZ'), ('Phoenix', 'AZ'), ('Tucson', 'AZ')719```720721[`groupby()`](https://python-all.ru/3.4/library/itertools.html#itertools.groupby) предполагает, что содержимое базового итерируемого объекта уже отсортировано по ключу. Обратите внимание, что возвращаемые итераторы также используют базовый итерируемый объект, поэтому нужно полностью обработать результаты iterator-1, прежде чем запрашивать iterator-2 и соответствующий ему ключ.722723## Модуль functools724725Модуль [`functools`](https://python-all.ru/3.4/library/functools.html#module-functools) в Python 2.5 содержит несколько функций высшего порядка. **Функция высшего порядка** принимает на вход одну или несколько функций и возвращает новую функцию. Самый полезный инструмент в этом модуле – функция [`functools.partial()`](https://python-all.ru/3.4/library/functools.html#functools.partial).726727В программах, написанных в функциональном стиле, иногда требуется создать варианты существующих функций с уже заполненными некоторыми параметрами. Рассмотрим функцию Python `f(a, b, c)`; возможно, понадобится создать новую функцию `g(b, c)`, эквивалентную `f(1, b, c)`; то есть подставляется значение для одного из параметров `f()`. Это называется «частичное применение функции».728729Конструктор [`partial()`](https://python-all.ru/3.4/library/functools.html#functools.partial) принимает аргументы `(function, arg1, arg2, ..., kwarg1=value1, kwarg2=value2)`. Полученный объект является вызываемым, так что его можно просто вызвать для выполнения `function` с подставленными аргументами.730731Вот небольшой, но реалистичный пример:732733```python734import functools735736def log(message, subsystem):737    """Записать содержимое 'message' в указанную подсистему."""738    print('%s: %s' % (subsystem, message))739    ...740741server_log = functools.partial(log, subsystem='server')742server_log('Unable to open socket')743```744745[`functools.reduce(func, iter, [initial_value])`](https://python-all.ru/3.4/library/functools.html#functools.reduce) последовательно применяет операцию ко всем элементам итерируемого объекта и поэтому не может применяться к бесконечным итерируемым объектам. *func* должна быть функцией, принимающей два элемента и возвращающей одно значение. [`functools.reduce()`](https://python-all.ru/3.4/library/functools.html#functools.reduce) берёт первые два элемента A и B, возвращаемые итератором, и вычисляет `func(A, B)`. Затем запрашивает третий элемент C, вычисляет `func(func(A, B), C)`, объединяет результат с четвёртым элементом и так далее, пока итерируемый объект не будет исчерпан. Если итерируемый объект не возвращает ни одного значения, возбуждается исключение [`TypeError`](https://python-all.ru/3.4/library/exceptions.html#TypeError). Если указано начальное значение, оно используется как отправная точка, и `func(initial_value, A)` становится первым вычислением.746747```python748>>> import operator, functools749>>> functools.reduce(operator.concat, ['A', 'BB', 'C'])750'ABBC'751>>> functools.reduce(operator.concat, [])752Traceback (most recent call last):753  ...754TypeError: reduce() of empty sequence with no initial value755>>> functools.reduce(operator.mul, [1,2,3], 1)7566757>>> functools.reduce(operator.mul, [], 1)7581759```760761Если использовать [`operator.add()`](https://python-all.ru/3.4/library/operator.html#operator.add) с [`functools.reduce()`](https://python-all.ru/3.4/library/functools.html#functools.reduce), то будут просуммированы все элементы итерируемого объекта. Этот случай настолько распространён, что для его вычисления существует специальная встроенная функция [`sum()`](https://python-all.ru/3.4/library/functions.html#sum):762763```python764>>> import functools765>>> functools.reduce(operator.add, [1,2,3,4], 0)76610767>>> sum([1,2,3,4])76810769>>> sum([])7700771```772773Однако во многих случаях использования [`functools.reduce()`](https://python-all.ru/3.4/library/functools.html#functools.reduce) может быть нагляднее просто написать очевидный цикл [`for`](https://python-all.ru/3.4/reference/compound_stmts.html#for):774775```python776import functools777# Вместо:778product = functools.reduce(operator.mul, [1,2,3], 1)779780# Можно написать:781product = 1782for i in [1,2,3]:783    product *= i784```785786A related function is *itertools.accumulate(iterable, func=operator.add) \<itertools.accumulate*. It performs the same calculation, but instead of returning only the final result, `accumulate()` returns an iterator that also yields each partial result:787788```python789itertools.accumulate([1,2,3,4,5]) =>790  1, 3, 6, 10, 15791792itertools.accumulate([1,2,3,4,5], operator.mul) =>793  1, 2, 6, 24, 120794```795796### Модуль operator797798Модуль [`operator`](https://python-all.ru/3.4/library/operator.html#module-operator) упоминался ранее. Он содержит набор функций, соответствующих операторам Python. Эти функции часто полезны в коде в функциональном стиле, поскольку избавляют от необходимости писать тривиальные функции, выполняющие одну операцию.799800Некоторые функции этого модуля:801802- Математические операции: `add()`, `sub()`, `mul()`, `floordiv()`, `abs()`, ...803- Логические операции: `not_()`, `truth()`.804- Битовые операции: `and_()`, `or_()`, `invert()`.805- Сравнения: `eq()`, `ne()`, `lt()`, `le()`, `gt()` и `ge()`.806- Идентичность объектов: `is_()`, `is_not()`.807808Полный список – в документации модуля operator.809810## Небольшие функции и лямбда-выражение811812При написании программ в функциональном стиле часто требуются небольшие функции, которые выступают в роли предикатов или каким-либо образом комбинируют элементы.813814Если есть подходящая встроенная функция Python или функция из модуля, не нужно определять новую функцию:815816```python817stripped_lines = [line.strip() for line in lines]818existing_files = filter(os.path.exists, file_list)819```820821Если нужной функции не существует, её нужно написать. Один из способов написать небольшие функции – использовать инструкцию [`lambda`](https://python-all.ru/3.4/reference/expressions.html#lambda). `lambda` принимает несколько параметров и выражение, объединяющее эти параметры, и создаёт анонимную функцию, возвращающую значение этого выражения:822823```python824adder = lambda x, y: x+y825826print_assign = lambda name, value: name + '=' + str(value)827```828829Альтернатива – просто использовать инструкцию `def` и определить функцию обычным способом:830831```python832def adder(x, y):833    return x + y834835def print_assign(name, value):836    return name + '=' + str(value)837```838839Какой вариант предпочтительнее? Это вопрос стиля; я обычно стараюсь избегать использования `lambda`.840841Одна из причин моего предпочтения в том, что `lambda` весьма ограничена в определении функций. Результат должен быть вычислим как одно выражение, а это значит, что нельзя использовать многосторонние сравнения `if... elif... else` или инструкции `try... except`. Если попытаться сделать слишком много в одной `lambda`, получится чрезмерно сложное выражение, которое трудно читать. Быстро, что делает следующий код?842843```python844import functools845total = functools.reduce(lambda a, b: (0, a[1] + b[1]), items)[1]846```847848Можно разобраться, но требуется время, чтобы распутать выражение и понять, что происходит. Использование коротких вложенных инструкций `def` немного улучшает ситуацию:849850```python851import functools852def combine(a, b):853    return 0, a[1] + b[1]854855total = functools.reduce(combine, items)[1]856```857858Но лучше всего было бы просто использовать цикл `for`:859860```python861total = 0862for a, b in items:863    total += b864```865866Или встроенную функцию [`sum()`](https://python-all.ru/3.4/library/functions.html#sum) и генераторное выражение:867868```python869total = sum(b for a,b in items)870```871872Многие случаи использования [`functools.reduce()`](https://python-all.ru/3.4/library/functools.html#functools.reduce) становятся понятнее, если записать их в виде циклов `for`.873874Фредрик Лунд однажды предложил следующий набор правил для рефакторинга случаев использования `lambda`:8758761. Написать лямбда-функцию.8772. Написать комментарий, объясняющий, что, черт возьми, делает эта лямбда.8783. Некоторое время изучать комментарий и придумать имя, отражающее суть комментария.8794. Преобразовать лямбду в инструкцию def, используя это имя.8805. Удалить комментарий.881882Мне очень нравятся эти правила, но вы вольны не соглашаться с тем, что этот стиль без лямбда лучше.883884## История изменений и благодарности885886Автор хотел бы поблагодарить следующих людей за предложения, исправления и помощь с различными черновиками этой статьи: Ian Bicking, Nick Coghlan, Nick Efford, Raymond Hettinger, Jim Jewett, Mike Krell, Leandro Lameiro, Jussi Salmela, Collin Winter, Blake Winton.887888Версия 0.1: опубликована 30 июня 2006 г.889890Версия 0.11: опубликована 1 июля 2006 г. Исправлены опечатки.891892Версия 0.2: опубликована 10 июля 2006 г. Разделы о выражениях-генераторах и списковых включениях объединены в один. Исправлены опечатки.893894Версия 0.21: добавлены дополнительные ссылки, предложенные в списке рассылки tutor.895896Версия 0.30: добавлен раздел о модуле `functional`, написанный Коллином Уинтером; добавлен краткий раздел о модуле operator; несколько других правок.897898## Ссылки899900### Общие901902**Структура и интерпретация компьютерных программ**, авторы Гарольд Абельсон и Джеральд Джей Сассман при участии Джули Сассман. Полный текст по адресу [http://mitpress.mit.edu/sicp/](https://python-all.ru/3.4/howto/functional.html). В этом классическом учебнике по информатике главы 2 и 3 рассматривают использование последовательностей и потоков для организации потока данных внутри программы. В книге для примеров используется Scheme, но многие подходы к проектированию, описанные в этих главах, применимы к коду на Python в функциональном стиле.903904[http://www.defmacro.org/ramblings/fp.html](https://python-all.ru/3.4/howto/functional.html): Общее введение в функциональное программирование на примерах Java, содержащее обширное историческое введение.905906[http://en.wikipedia.org/wiki/Functional\_programming](https://python-all.ru/3.4/howto/functional.html): общая статья в Википедии, описывающая функциональное программирование.907908[http://en.wikipedia.org/wiki/Coroutine](https://python-all.ru/3.4/howto/functional.html): статья о корутинах.909910[http://en.wikipedia.org/wiki/Currying](https://python-all.ru/3.4/howto/functional.html): статья о концепции каррирования.911912### Специфическое для Python913914[http://gnosis.cx/TPiP/](https://python-all.ru/3.4/howto/functional.html): Первая глава книги Дэвида Мертца *Text Processing in Python* рассматривает функциональное программирование для обработки текста в разделе «Использование функций высшего порядка в обработке текста».915916Мерц также написал трёхчастную серию статей по функциональному программированию для сайта IBM DeveloperWorks; см. [часть 1](https://python-all.ru/3.4/howto/functional.html), [часть 2](https://python-all.ru/3.4/howto/functional.html) и [часть 3](https://python-all.ru/3.4/howto/functional.html).917918### Документация Python919920Документация по модулю [`itertools`](https://python-all.ru/3.4/library/itertools.html#module-itertools).921922Документация для модуля [`operator`](https://python-all.ru/3.4/library/operator.html#module-operator).923924[**PEP 289**](https://python-all.ru/3.4/howto/functional.html): “Генераторные выражения”925926[**PEP 342**](https://python-all.ru/3.4/howto/functional.html): “Корутины через улучшенные генераторы” описывает новые возможности генераторов в Python 2.5.927