`functools.md`

372 строк · 28.6 КБ · обычная страница · сырой текст · скачать
1> **Источник:** https://python-all.ru/3.6/library/functools.html2>3> «Документация Python на русском» – неофициальный перевод официальной документации Python: версии от 2.6 до 3.16, полнотекстовый поиск, английский оригинал рядом с переводом. Эта Markdown-версия страницы предназначена для работы с LLM: вставьте её в ChatGPT, Claude или Cursor.45---67# 10.2. [`functools`](https://python-all.ru/3.6/library/functools.html#module-functools) – Функции высшего порядка и операции с вызываемыми объектами89**Исходный код:** [Lib/functools.py](https://python-all.ru/src/3.6/Lib/functools.py)1011---1213Модуль [`functools`](https://python-all.ru/3.6/library/functools.html#module-functools) предназначен для функций высшего порядка: функций, которые действуют на или возвращают другие функции. В общем случае любой вызываемый объект может рассматриваться как функция для целей этого модуля.1415Модуль [`functools`](https://python-all.ru/3.6/library/functools.html#module-functools) определяет следующие функции:1617#### `functools.cmp_to_key(func)`1819Преобразует старую функцию сравнения в [функцию ключа](https://python-all.ru/3.6/glossary.html#term-key-function). Используется с инструментами, которые принимают функции ключа (такими как [`sorted()`](https://python-all.ru/3.6/library/functions.html#sorted), [`min()`](https://python-all.ru/3.6/library/functions.html#min), [`max()`](https://python-all.ru/3.6/library/functions.html#max), [`heapq.nlargest()`](https://python-all.ru/3.6/library/heapq.html#heapq.nlargest), [`heapq.nsmallest()`](https://python-all.ru/3.6/library/heapq.html#heapq.nsmallest), [`itertools.groupby()`](https://python-all.ru/3.6/library/itertools.html#itertools.groupby)). Эта функция в первую очередь используется как инструмент перехода для программ, переносимых с Python 2, который поддерживал использование функций сравнения.2021Функция сравнения – это любой вызываемый объект, который принимает два аргумента, сравнивает их и возвращает отрицательное число, если первый меньше второго, ноль при равенстве или положительное число, если первый больше второго. Функция ключа – это вызываемый объект, который принимает один аргумент и возвращает другое значение, используемое в качестве ключа сортировки.2223Пример:2425```python26sorted(iterable, key=cmp_to_key(locale.strcoll))  # порядок сортировки с учётом локали27```2829Примеры сортировки и краткое руководство см. в [Sorting HOW TO](https://python-all.ru/3.6/howto/sorting.html#sortinghowto).3031Новое в версии 3.2.3233#### `@functools.lru_cache(maxsize=128, typed=False)`3435Декоратор для обёртывания функции запоминающим вызываемым объектом, который сохраняет до *maxsize* последних вызовов. Это может сэкономить время, когда дорогостоящая или связанная с вводом-выводом функция периодически вызывается с одними и теми же аргументами.3637Поскольку для кеширования результатов используется словарь, позиционные и именованные аргументы функции должны быть хешируемыми.3839Если *maxsize* установлен в `None`, механизм LRU отключается, и размер кэша может расти без ограничений. Механизм LRU работает лучше всего, когда *maxsize* является степенью двойки.4041Если для *typed* установлено значение true, аргументы функции разных типов будут кешироваться отдельно. Например, `f(3)` и `f(3.0)` будут считаться разными вызовами с разными результатами.4243Чтобы оценить эффективность кеша и настроить параметр *maxsize*, обёрнутая функция дополняется функцией `cache_info()`, которая возвращает [именованный кортеж](https://python-all.ru/3.6/glossary.html#term-named-tuple), показывающий *hits* (попадания), *misses* (промахи), *maxsize* и *currsize*. В многопоточной среде значения попаданий и промахов являются приблизительными.4445Декоратор также предоставляет функцию `cache_clear()` для очистки или инвалидации кэша.4647Исходная базовая функция доступна через атрибут `__wrapped__`. Это полезно для интроспекции, обхода кэша или повторной обёртки функции другим кэшем.4849Кэш [LRU (least recently used – вытеснение давно неиспользуемых)](https://python-all.ru/3.6/library/functools.html) работает наилучшим образом, когда самые последние вызовы являются лучшими предикторами будущих вызовов (например, самые популярные статьи на новостном сервере имеют тенденцию меняться каждый день). Ограничение размера кэша гарантирует, что он не будет бесконечно расти в долго работающих процессах, таких как веб-серверы.5051В целом, LRU-кеш следует использовать только тогда, когда нужно повторно использовать ранее вычисленные значения. Соответственно, нет смысла кешировать функции с побочными эффектами, функции, которым нужно создавать различные изменяемые объекты при каждом вызове, или нечистые функции, такие как time() или random().5253Пример LRU-кэша для статического веб-контента:5455```python56@lru_cache(maxsize=32)57def get_pep(num):58    'Retrieve text of a Python Enhancement Proposal'59    resource = 'http://www.python.org/dev/peps/pep-%04d/' % num60    try:61        with urllib.request.urlopen(resource) as s:62            return s.read()63    except urllib.error.HTTPError:64        return 'Not Found'6566>>> for n in 8, 290, 308, 320, 8, 218, 320, 279, 289, 320, 9991:67...     pep = get_pep(n)68...     print(n, len(pep))6970>>> get_pep.cache_info()71CacheInfo(hits=3, misses=8, maxsize=32, currsize=8)72```7374Пример эффективного вычисления [чисел Фибоначчи](https://python-all.ru/3.6/library/functools.html) с использованием кэша для реализации техники [динамического программирования](https://python-all.ru/3.6/library/functools.html):7576```python77@lru_cache(maxsize=None)78def fib(n):79    if n < 2:80        return n81    return fib(n-1) + fib(n-2)8283>>> [fib(n) for n in range(16)]84[0, 1, 1, 2, 3, 5, 8, 13, 21, 34, 55, 89, 144, 233, 377, 610]8586>>> fib.cache_info()87CacheInfo(hits=28, misses=16, maxsize=None, currsize=16)88```8990Новое в версии 3.2.9192Изменено в версии 3.3: Добавлена опция *typed*.9394#### `@functools.total_ordering`9596Для класса, определяющего один или несколько методов расширенного сравнения, этот декоратор класса предоставляет остальные. Это упрощает задачу определения всех возможных операций расширенного сравнения:9798Класс должен определять один из [`__lt__()`](https://python-all.ru/3.6/reference/datamodel.html#object.__lt__), [`__le__()`](https://python-all.ru/3.6/reference/datamodel.html#object.__le__), [`__gt__()`](https://python-all.ru/3.6/reference/datamodel.html#object.__gt__) или [`__ge__()`](https://python-all.ru/3.6/reference/datamodel.html#object.__ge__). Кроме того, класс должен предоставлять метод [`__eq__()`](https://python-all.ru/3.6/reference/datamodel.html#object.__eq__).99100Например:101102```python103@total_ordering104class Student:105    def _is_valid_operand(self, other):106        return (hasattr(other, "lastname") and107                hasattr(other, "firstname"))108    def __eq__(self, other):109        if not self._is_valid_operand(other):110            return NotImplemented111        return ((self.lastname.lower(), self.firstname.lower()) ==112                (other.lastname.lower(), other.firstname.lower()))113    def __lt__(self, other):114        if not self._is_valid_operand(other):115            return NotImplemented116        return ((self.lastname.lower(), self.firstname.lower()) <117                (other.lastname.lower(), other.firstname.lower()))118```119120> **Примечание**121>122> Хотя этот декоратор упрощает создание хорошо ведущих себя полностью упорядоченных типов, он *действительно* приводит к более медленному выполнению и более сложным трассировкам стека для производных методов сравнения. Если бенчмаркинг производительности показывает, что это является узким местом для конкретного приложения, реализация всех шести методов расширенного сравнения вместо этого, вероятно, даст лёгкий прирост скорости.123124Новое в версии 3.2.125126Изменено в версии 3.4: Теперь поддерживается возврат NotImplemented из нижележащей функции сравнения для нераспознанных типов.127128#### `functools.partial(func, *args, **keywords)`129130Возвращает новый [объект partial](https://python-all.ru/3.6/library/functools.html#partial-objects), который при вызове будет вести себя как *func*, вызванная с позиционными аргументами *args* и именованными аргументами *keywords*. Если при вызове передаётся больше аргументов, они добавляются к *args*. Если передаются дополнительные именованные аргументы, они расширяют и переопределяют *keywords*. Примерно эквивалентно следующему:131132```python133def partial(func, *args, **keywords):134    def newfunc(*fargs, **fkeywords):135        newkeywords = keywords.copy()136        newkeywords.update(fkeywords)137        return func(*args, *fargs, **newkeywords)138    newfunc.func = func139    newfunc.args = args140    newfunc.keywords = keywords141    return newfunc142```143144[`partial()`](https://python-all.ru/3.6/library/functools.html#functools.partial) используется для частичного применения функции, которое «замораживает» некоторую часть аргументов и/или ключевых слов функции, создавая новый объект с упрощённой сигнатурой. Например, [`partial()`](https://python-all.ru/3.6/library/functools.html#functools.partial) можно использовать для создания вызываемого объекта, который ведёт себя как функция [`int()`](https://python-all.ru/3.6/library/functions.html#int), где аргумент *base* по умолчанию равен двум:145146```python147>>> from functools import partial148>>> basetwo = partial(int, base=2)149>>> basetwo.__doc__ = 'Convert base 2 string to an int.'150>>> basetwo('10010')15118152```153154#### `class functools.partialmethod(func, *args, **keywords)`155156Возвращает новый дескриптор [`partialmethod`](https://python-all.ru/3.6/library/functools.html#functools.partialmethod), который ведёт себя как [`partial`](https://python-all.ru/3.6/library/functools.html#functools.partial), за исключением того, что он предназначен для использования в качестве определения метода, а не для прямого вызова.157158*func* должен быть [дескриптором](https://python-all.ru/3.6/glossary.html#term-descriptor) или вызываемым объектом (объекты, являющиеся и тем и другим, как обычные функции, обрабатываются как дескрипторы).159160Когда *func* является дескриптором (например, обычная функция Python, [`classmethod()`](https://python-all.ru/3.6/library/functions.html#classmethod), [`staticmethod()`](https://python-all.ru/3.6/library/functions.html#staticmethod), `abstractmethod()` или другой экземпляр [`partialmethod`](https://python-all.ru/3.6/library/functools.html#functools.partialmethod)), вызовы `__get__` делегируются базовому дескриптору, а в качестве результата возвращается подходящий [частичный объект](https://python-all.ru/3.6/library/functools.html#partial-objects).161162Когда *func* – это вызываемый объект, не являющийся дескриптором, динамически создаётся соответствующий связанный метод. Он ведёт себя как обычная функция Python при использовании в качестве метода: аргумент *self* будет вставлен как первый позиционный аргумент, даже до *args* и *keywords*, переданных конструктору [`partialmethod`](https://python-all.ru/3.6/library/functools.html#functools.partialmethod).163164Пример:165166```python167>>> class Cell(object):168...     def __init__(self):169...         self._alive = False170...     @property171...     def alive(self):172...         return self._alive173...     def set_state(self, state):174...         self._alive = bool(state)175...     set_alive = partialmethod(set_state, True)176...     set_dead = partialmethod(set_state, False)177...178>>> c = Cell()179>>> c.alive180False181>>> c.set_alive()182>>> c.alive183True184```185186Новое в версии 3.4.187188#### `functools.reduce(function, iterable[, initializer])`189190Применяет *function* с двумя аргументами последовательно к элементам *sequence*, слева направо, чтобы свести последовательность к одному значению. Например, `reduce(lambda x, y: x+y, [1, 2, 3, 4, 5])` вычисляет `((((1+2)+3)+4)+5)`. Левый аргумент, *x*, – это накопленное значение, а правый аргумент, *y*, – это новое значение из *sequence*. Если указан необязательный *initializer*, он помещается перед элементами последовательности в вычислении и служит значением по умолчанию, если последовательность пуста. Если *initializer* не указан, а *sequence* содержит только один элемент, возвращается этот первый элемент.191192Примерно эквивалентно:193194```python195def reduce(function, iterable, initializer=None):196    it = iter(iterable)197    if initializer is None:198        value = next(it)199    else:200        value = initializer201    for element in it:202        value = function(value, element)203    return value204```205206#### `@functools.singledispatch`207208Преобразует функцию в [однодиспетчерскую](https://python-all.ru/3.6/glossary.html#term-single-dispatch) [обобщённую функцию](https://python-all.ru/3.6/glossary.html#term-generic-function).209210Чтобы определить обобщённую функцию, декорируйте её декоратором `@singledispatch`. Обратите внимание, что диспетчеризация осуществляется по типу первого аргумента, создавайте свою функцию соответственно:211212```python213>>> from functools import singledispatch214>>> @singledispatch215... def fun(arg, verbose=False):216...     if verbose:217...         print("Let me just say,", end=" ")218...     print(arg)219```220221Чтобы добавить перегруженные реализации функции, используйте `register()` атрибут обобщённой функции. Это декоратор, принимающий параметр типа и декорирующий функцию, реализующую операцию для этого типа:222223```python224>>> @fun.register(int)225... def _(arg, verbose=False):226...     if verbose:227...         print("Strength in numbers, eh?", end=" ")228...     print(arg)229...230>>> @fun.register(list)231... def _(arg, verbose=False):232...     if verbose:233...         print("Enumerate this:")234...     for i, elem in enumerate(arg):235...         print(i, elem)236```237238Чтобы включить регистрацию лямбда-функций и уже существующих функций, атрибут `register()` можно использовать в функциональной форме:239240```python241>>> def nothing(arg, verbose=False):242...     print("Nothing.")243...244>>> fun.register(type(None), nothing)245```246247Атрибут `register()` возвращает недекорированную функцию, что позволяет накладывать декораторы, выполнять сериализацию и создавать модульные тесты для каждого варианта независимо:248249```python250>>> @fun.register(float)251... @fun.register(Decimal)252... def fun_num(arg, verbose=False):253...     if verbose:254...         print("Half of your number:", end=" ")255...     print(arg / 2)256...257>>> fun_num is fun258False259```260261При вызове обобщённая функция выполняет диспетчеризацию по типу первого аргумента:262263```python264>>> fun("Hello, world.")265Hello, world.266>>> fun("test.", verbose=True)267Let me just say, test.268>>> fun(42, verbose=True)269Strength in numbers, eh? 42270>>> fun(['spam', 'spam', 'eggs', 'spam'], verbose=True)271Enumerate this:2720 spam2731 spam2742 eggs2753 spam276>>> fun(None)277Nothing.278>>> fun(1.23)2790.615280```281282Если для конкретного типа нет зарегистрированной реализации, используется порядок разрешения методов (MRO) этого типа для поиска более общей реализации. Исходная функция, декорированная `@singledispatch`, зарегистрирована для базового типа `object`, то есть она используется, если не найдено более подходящей реализации.283284Чтобы проверить, какую реализацию выберет обобщённая функция для заданного типа, используйте атрибут `dispatch()`:285286```python287>>> fun.dispatch(float)288<function fun_num at 0x1035a2840>289>>> fun.dispatch(dict)    # примечание: реализация по умолчанию290<function fun at 0x103fe0000>291```292293Чтобы получить доступ ко всем зарегистрированным реализациям, используйте атрибут `registry` только для чтения:294295```python296>>> fun.registry.keys()297dict_keys([<class 'NoneType'>, <class 'int'>, <class 'object'>,298          <class 'decimal.Decimal'>, <class 'list'>,299          <class 'float'>])300>>> fun.registry[float]301<function fun_num at 0x1035a2840>302>>> fun.registry[object]303<function fun at 0x103fe0000>304```305306Новое в версии 3.4.307308#### `functools.update_wrapper(wrapper, wrapped, assigned=WRAPPER_ASSIGNMENTS, updated=WRAPPER_UPDATES)`309310Обновляет функцию-*обёртку* так, чтобы она походила на *обёрнутую* функцию. Необязательные аргументы – это кортежи, определяющие, какие атрибуты исходной функции напрямую присваиваются соответствующим атрибутам функции-обёртки, а какие атрибуты функции-обёртки обновляются соответствующими атрибутами из исходной функции. Значения по умолчанию для этих аргументов – константы уровня модуля `WRAPPER_ASSIGNMENTS` (которая присваивает функции-обёртке атрибуты `__module__`, `__name__`, `__qualname__`, `__annotations__` и `__doc__`, строку документации) и `WRAPPER_UPDATES` (которая обновляет `__dict__` функции-обёртки, т.е. словарь экземпляра).311312Чтобы обеспечить доступ к исходной функции для интроспекции и других целей (например, обхода кэширующего декоратора такого как [`lru_cache()`](https://python-all.ru/3.6/library/functools.html#functools.lru_cache)), эта функция автоматически добавляет атрибут `__wrapped__` к обёртке, который ссылается на обёрнутую функцию.313314Основное назначение этой функции – использование в [decorator](https://python-all.ru/3.6/glossary.html#term-decorator)-функциях, которые оборачивают декорированную функцию и возвращают обёртку. Если функция-обёртка не обновляется, метаданные возвращаемой функции будут отражать определение обёртки, а не исходной функции, что обычно не очень полезно.315316[`update_wrapper()`](https://python-all.ru/3.6/library/functools.html#functools.update_wrapper) можно использовать с вызываемыми объектами, отличными от функций. Любые атрибуты, указанные в *assigned* или *updated*, отсутствующие в оборачиваемом объекте, игнорируются (т.е. эта функция не будет пытаться установить их в функции-обёртке). [`AttributeError`](https://python-all.ru/3.6/library/exceptions.html#AttributeError) по-прежнему возбуждается, если сама функция-обёртка не имеет каких-либо атрибутов, перечисленных в *updated*.317318Новое в версии 3.2: Автоматическое добавление атрибута `__wrapped__`.319320Новое в версии 3.2: Копирование атрибута `__annotations__` по умолчанию.321322Изменено в версии 3.2: Отсутствующие атрибуты больше не вызывают исключение [`AttributeError`](https://python-all.ru/3.6/library/exceptions.html#AttributeError).323324Изменено в версии 3.4: Атрибут `__wrapped__` теперь всегда ссылается на обёрнутую функцию, даже если эта функция определяла атрибут `__wrapped__`. (см. [bpo-17482](https://python-all.ru/3.6/library/functools.html))325326#### `@functools.wraps(wrapped, assigned=WRAPPER_ASSIGNMENTS, updated=WRAPPER_UPDATES)`327328Это удобная функция для вызова [`update_wrapper()`](https://python-all.ru/3.6/library/functools.html#functools.update_wrapper) в качестве декоратора функции при определении функции-обёртки. Она эквивалентна `partial(update_wrapper, wrapped=wrapped, assigned=assigned, updated=updated)`. Например:329330```python331>>> from functools import wraps332>>> def my_decorator(f):333...     @wraps(f)334...     def wrapper(*args, **kwds):335...         print('Calling decorated function')336...         return f(*args, **kwds)337...     return wrapper338...339>>> @my_decorator340... def example():341...     """докстринг"""342...     print('Called example function')343...344>>> example()345Calling decorated function346Called example function347>>> example.__name__348'example'349>>> example.__doc__350'Docstring'351```352353Без использования этой фабрики декораторов имя примера функции было бы `'wrapper'`, а строка документации исходной `example()` была бы потеряна.354355## 10.2.1. [`partial`](https://python-all.ru/3.6/library/functools.html#functools.partial) Объекты356357Объекты [`partial`](https://python-all.ru/3.6/library/functools.html#functools.partial) – это вызываемые объекты, создаваемые [`partial()`](https://python-all.ru/3.6/library/functools.html#functools.partial). Они имеют три атрибута только для чтения:358359#### `partial.func`360361Вызываемый объект или функция. Вызовы объекта [`partial`](https://python-all.ru/3.6/library/functools.html#functools.partial) будут перенаправлены в [`func`](https://python-all.ru/3.6/library/functools.html#functools.partial.func) с новыми аргументами и ключевыми словами.362363#### `partial.args`364365Крайние левые позиционные аргументы, которые будут добавлены перед позиционными аргументами, переданными при вызове объекта [`partial`](https://python-all.ru/3.6/library/functools.html#functools.partial).366367#### `partial.keywords`368369Ключевые аргументы, которые будут предоставлены при вызове объекта [`partial`](https://python-all.ru/3.6/library/functools.html#functools.partial).370371Объекты [`partial`](https://python-all.ru/3.6/library/functools.html#functools.partial) похожи на объекты `function` тем, что они вызываемы, могут быть слабыми ссылками и могут иметь атрибуты. Есть несколько важных отличий. Например, атрибуты [`__name__`](https://python-all.ru/3.6/library/stdtypes.html#definition.__name__) и `__doc__` не создаются автоматически. Кроме того, объекты [`partial`](https://python-all.ru/3.6/library/functools.html#functools.partial), определённые в классах, ведут себя как статические методы и не превращаются в связанные методы при поиске атрибута экземпляра.372