Документация Python неофициальный перевод
Содержание страницы

ЧЗВ по программированиюProgramming FAQ

Общие вопросыGeneral questions

Существует ли отладчик на уровне исходного кода с точками останова и пошаговым выполнением?Is there a source code-level debugger with breakpoints and single-stepping?

Да.

Ниже описано несколько отладчиков для Python, а встроенная функция breakpoint() позволяет войти в любой из них.

Модуль pdb – это простой, но достаточный консольный отладчик для Python. Он является частью стандартной библиотеки Python и documented in the Library Reference Manual. Вы также можете написать собственный отладчик, используя код pdb в качестве примера.

Интерактивная среда разработки IDLE, входящая в стандартную поставку Python (обычно доступна как idlelib), включает графический отладчик.

PythonWin – это IDE для Python, включающая графический отладчик на основе pdb. Отладчик PythonWin подсвечивает точки останова и обладает множеством полезных функций, например, отладкой программ, не относящихся к PythonWin. PythonWin доступен в составе проекта pywin32 и в дистрибутиве ActivePython.

Eric – это IDE, построенная на PyQt и компоненте редактирования Scintilla.

trepan3k – это отладчик, подобный gdb.

Visual Studio Code – это IDE со средствами отладки, интегрирующаяся с системами управления версиями.

Существует ряд коммерческих IDE для Python, включающих графические отладчики. Среди них:

Существуют ли инструменты для поиска ошибок или статического анализа?Are there tools to help find bugs or perform static analysis?

Да.

Ruff, Pylint и Pyflakes выполняют базовую проверку, которая поможет быстрее выявить ошибки.

Статические анализаторы типов, такие как mypy, ty, Pyrefly и pytype, могут проверять аннотации типов в исходном коде Python.

Как создать автономный исполняемый файл из скрипта Python?How can I create a stand-alone binary from a Python script?

Вам не нужно уметь компилировать Python в C, если ваша цель – создать автономную программу, которую пользователи могут скачать и запустить без предварительной установки дистрибутива Python. Существует ряд инструментов, которые определяют набор модулей, необходимых программе, и связывают эти модули вместе с бинарным файлом Python, создавая единый исполняемый файл.

Один из них – использовать инструмент freeze, который находится в дереве исходного кода Python как Tools/freeze. Он преобразует байт-код Python в массивы C; имея компилятор C, вы можете встроить все свои модули в новую программу, которая затем компонуется со стандартными модулями Python.

Он работает, рекурсивно сканируя ваш исходный код на наличие операторов import (в обеих формах) и ищет модули в стандартном пути Python, а также в каталоге исходного кода (для встроенных модулей). Затем он превращает байт-код модулей, написанных на Python, в код C (инициализаторы массивов, которые можно превратить в объекты кода с помощью модуля marshal) и создает специальный конфигурационный файл, содержащий только те встроенные модули, которые действительно используются в программе. После этого он компилирует сгенерированный код C и компонует его с остальной частью интерпретатора Python, формируя самодостаточный бинарный файл, который ведет себя точно так же, как ваш скрипт.

Следующие пакеты могут помочь в создании консольных и GUI-исполняемых файлов:

  • Nuitka (кроссплатформенный)

  • PyInstaller (кроссплатформенный)

  • PyOxidizer (кроссплатформенный)

  • cx_Freeze (Кроссплатформенный)

  • py2app (только macOS)

  • py2exe (только Windows)

Существуют ли стандарты кодирования или руководство по стилю для программ на Python?Are there coding standards or a style guide for Python programs?

Да. Требуемый стиль оформления кода для модулей стандартной библиотеки описан в документе PEP 8.

Основной языкCore language

Почему возникает UnboundLocalError, если переменная содержит значение?Why am I getting an UnboundLocalError when the variable has a value?

Появление UnboundLocalError в ранее работавшем коде может оказаться неожиданным, если код был изменён добавлением оператора присваивания в теле функции.

Этот код:

>>> x = 10
>>> def bar():
...     print(x)
...
>>> bar()
10

работает, но этот код:

>>> x = 10
>>> def foo():
...     print(x)
...     x += 1

приводит к UnboundLocalError:

>>> foo()
Traceback (most recent call last):
  ...
UnboundLocalError: cannot access local variable 'x' where it is not associated with a value

Это происходит потому, что при присваивании значения переменной в некоторой области видимости эта переменная становится локальной для данной области и затеняет любую одноимённую переменную из внешней области. Поскольку последний оператор в foo присваивает новое значение x, компилятор считает её локальной переменной. Следовательно, когда предыдущий print(x) пытается вывести на печать неинициализированную локальную переменную, возникает ошибка.

В приведённом выше примере можно получить доступ к переменной внешней области, объявив её глобальной:

>>> x = 10
>>> def foobar():
...     global x
...     print(x)
...     x += 1
...
>>> foobar()
10

Такое явное объявление необходимо, чтобы напомнить: в отличие от внешне похожей ситуации с переменными класса и экземпляра, здесь фактически изменяется значение переменной во внешней области видимости:

>>> print(x)
11

Аналогичное действие можно выполнить во вложенной области видимости с помощью ключевого слова nonlocal:

>>> def foo():
...    x = 10
...    def bar():
...        nonlocal x
...        print(x)
...        x += 1
...    bar()
...    print(x)
...
>>> foo()
10
11

Каковы правила использования локальных и глобальных переменных в Python?What are the rules for local and global variables in Python?

В Python переменные, на которые только ссылаются внутри функции, неявно считаются глобальными. Если переменной присваивается значение где-либо в теле функции, она считается локальной, если явно не объявлена как global.

Хотя поначалу это может показаться удивительным, небольшое размышление объясняет такое поведение. С одной стороны, требование global для присваиваемых переменных служит барьером против непреднамеренных побочных эффектов. С другой стороны, если бы global требовалось для всех глобальных ссылок, пришлось бы постоянно использовать global. Пришлось бы объявлять как global каждую ссылку на встроенную функцию или компонент импортированного модуля. Такая избыточность свела бы на нет пользу объявления global для выявления побочных эффектов.

Почему лямбды, определённые в цикле с разными значениями, все возвращают один и тот же результат?Why do lambdas defined in a loop with different values all return the same result?

Допустим, с помощью цикла for определяется несколько разных лямбд (или даже обычных функций), например:

>>> squares = []
>>> for x in range(5):
...     squares.append(lambda: x**2)

Это даёт список, содержащий 5 лямбд, вычисляющих x**2. Можно ожидать, что при вызове они вернут соответственно 0, 1, 4, 9 и 16. Однако при попытке вызова обнаружится, что все они возвращают 16:

>>> squares[2]()
16
>>> squares[4]()
16

Это происходит потому, что x не является локальной для лямбд, а определена во внешней области видимости, и доступ к ней происходит при вызове лямбды, а не при её определении. В конце цикла значение x равно 4, поэтому все функции теперь возвращают 4**2, то есть 16. Это также можно проверить, изменив значение x и наблюдая, как изменяются результаты лямбд:

>>> x = 8
>>> squares[2]()
64

Чтобы избежать этого, необходимо сохранить значения в переменных, локальных для лямбд, чтобы они не зависели от значения глобальной x:

>>> squares = []
>>> for x in range(5):
...     squares.append(lambda n=x: n**2)

Здесь n=x создаёт новую переменную n, локальную для лямбды и вычисляемую при её определении, так что она имеет то же значение, которое x имела в этот момент в цикле. Это означает, что значение n будет равно 0 в первой лямбде, 1 – во второй, 2 – в третьей и так далее. Следовательно, теперь каждая лямбда будет возвращать правильный результат:

>>> squares[2]()
4
>>> squares[4]()
16

Обратите внимание: такое поведение присуще не только лямбдам, но и обычным функциям.

Как разделять глобальные переменные между модулями?How do I share global variables across modules?

Общепринятый способ обмена информацией между модулями в рамках одной программы – создать специальный модуль (часто называемый config или cfg). Достаточно импортировать модуль config во все модули приложения, и он станет доступен как глобальное имя. Поскольку у каждого модуля существует только один экземпляр, любые изменения объекта модуля отражаются везде. Например:

config.py:

x = 0   # Значение по умолчанию для параметра конфигурации 'x'

mod.py:

import config
config.x = 1

main.py:

import config
import mod
print(config.x)

Обратите внимание, что использование модуля также является основой для реализации паттерна проектирования «одиночка» (singleton) по той же причине.

Каковы «лучшие практики» использования import в модуле?What are the “best practices” for using import in a module?

В целом не стоит использовать from modulename import *. Это захламляет пространство имён импортёра и сильно усложняет линтерам обнаружение неопределённых имён.

Импортируйте модули в начале файла. Так сразу становится ясно, какие ещё модули требуются вашему коду, и не возникает вопросов, находится ли имя модуля в области видимости. Использование одного импорта на строку упрощает добавление и удаление импортов, а использование нескольких импортов в одной строке экономит место на экране.

Рекомендуется импортировать модули в следующем порядке:

  1. модули стандартной библиотеки – например, sys, os, argparse, re

  2. модули сторонних библиотек (всё, что установлено в каталоге site-packages Python) – например, dateutil, requests, tzdata

  3. локально разработанные модули

Иногда импорты приходится переносить внутрь функции или класса, чтобы избежать проблем с циклическими импортами. Gordon McMillan говорит:

Циклические импорты нормально работают, когда оба модуля используют форму импорта “import <module>”. Они перестают работать, когда второй модуль пытается получить имя из первого (“from module import name”), и импорт находится на верхнем уровне. Это происходит потому, что имена в первом модуле ещё недоступны, так как первый модуль занят импортом второго.

В этом случае, если второй модуль используется только в одной функции, импорт можно легко перенести в эту функцию. К моменту вызова импорта первый модуль уже завершит инициализацию, и второй модуль сможет выполнить свой импорт.

Также может потребоваться перенести импорты из верхнего уровня кода, если некоторые модули являются платформозависимыми. В таком случае может быть невозможно импортировать все модули в начале файла. Тогда хорошим решением будет импортировать нужные модули в соответствующем платформозависимом коде.

Переносите импорты в локальную область видимости, например в определение функции, только если это необходимо для решения проблемы – избежания циклического импорта или сокращения времени инициализации модуля. Этот приём особенно полезен, когда многие импорты не нужны в зависимости от того, как выполняется программа. Также можно перенести импорты в функцию, если модули используются только в ней. Обратите внимание: первая загрузка модуля может быть дорогой из-за однократной инициализации, но повторные загрузки практически бесплатны и требуют лишь пары словарных поисков. Даже если имя модуля вышло из области видимости, сам модуль, скорее всего, доступен в sys.modules.

Почему значения по умолчанию являются общими для объектов?Why are default values shared between objects?

Подобная ошибка часто подстерегает начинающих программистов. Рассмотрим следующую функцию:

def foo(mydict={}):  # Опасность: общая ссылка на один словарь для всех вызовов
    ... compute something ...
    mydict[key] = value
    return mydict

При первом вызове этой функции mydict содержит один элемент. При втором вызове mydict содержит уже два элемента, потому что когда foo() начинает выполняться, mydict уже содержит один элемент.

Часто ожидается, что при вызове функции для значений по умолчанию создаются новые объекты. Но это не так. Значения по умолчанию создаются ровно один раз, при определении функции. Если этот объект изменяется (как словарь в данном примере), то последующие вызовы функции будут обращаться к этому изменённому объекту.

По определению, неизменяемые объекты – числа, строки, кортежи и None – защищены от изменений. Изменения изменяемых объектов, таких как словари, списки и экземпляры классов, могут приводить к путанице.

Из-за этой особенности рекомендуется не использовать изменяемые объекты в качестве значений по умолчанию. Вместо этого используйте None в качестве значения по умолчанию, а внутри функции проверяйте, равен ли параметр None, и при необходимости создавайте новый список, словарь и т.д. Например, не пишите:

def foo(mydict={}):
    ...

а:

def foo(mydict=None):
    if mydict is None:
        mydict = {}  # создать новый словарь для локального пространства имён

Эта возможность может быть полезной. Если есть функция, вычисление которой требует много времени, распространённый приём – кэшировать параметры и результат каждого вызова функции, а при повторном запросе тех же значений возвращать сохранённый результат. Это называется «мемоизация» и может быть реализовано так:

# Вызывающие могут передавать только два параметра и опционально _cache по ключевому слову
def expensive(arg1, arg2, *, _cache={}):
    if (arg1, arg2) in _cache:
        return _cache[(arg1, arg2)]

    # Вычислить значение
    result = ... expensive computation ...
    _cache[(arg1, arg2)] = result           # Сохранить результат в кеше
    return result

Вместо значения по умолчанию можно использовать глобальную переменную со словарём; это дело вкуса.

Как передать необязательные или именованные параметры из одной функции в другую?How can I pass optional or keyword parameters from one function to another?

Соберите аргументы с помощью спецификаторов * и ** в списке параметров функции; это даст позиционные аргументы в виде кортежа, а именованные – в виде словаря. Затем вы можете передать эти аргументы при вызове другой функции, используя * и **:

def f(x, *args, **kwargs):
    ...
    kwargs['width'] = '14.3c'
    ...
    g(x, *args, **kwargs)

В чём разница между аргументами и параметрами?What is the difference between arguments and parameters?

Параметры определяются именами, указанными в определении функции, тогда как аргументы – это значения, фактически передаваемые функции при её вызове. Параметры определяют, какого рода аргументы может принимать функция. Например, для определения функции:

def func(foo, bar=None, **kwargs):
    pass

foo, bar и kwargs являются параметрами функции func. Однако при вызове func, например:

func(42, bar=314, extra=somevar)

значения 42, 314 и somevar являются аргументами.

Почему изменение списка ‘y’ также изменило список ‘x’?Why did changing list ‘y’ also change list ‘x’?

Если вы написали такой код:

>>> x = []
>>> y = x
>>> y.append(10)
>>> y
[10]
>>> x
[10]

вас может интересовать, почему добавление элемента к y изменило и x.

К этому результату приводят два фактора:

  1. Переменные – это просто имена, ссылающиеся на объекты. Операция y = x не создаёт копию списка – она создаёт новую переменную y, которая ссылается на тот же объект, что и x. Это означает, что существует только один объект (список), и обе переменные x и y ссылаются на него.

  2. Списки являются изменяемыми, то есть их содержимое можно изменять.

После вызова append() содержимое изменяемого объекта\nизменилось с [] на [10]. Поскольку обе переменные ссылаются на один и тот же объект, использование любого имени даёт доступ к изменённому значению [10].

Если же присвоить неизменяемый объект x:

>>> x = 5  # int – неизменяемый тип
>>> y = x
>>> x = x + 1  # 5 нельзя изменить, здесь создаётся новый объект
>>> x
6
>>> y
5

в этом случае x и y уже не равны. Это\nпотому, что целые числа неизменяемы, и когда мы делаем x = x + 1, мы не\nизменяем int 5, увеличивая его значение; вместо этого мы создаём\nновый объект (int 6) и присваиваем его x (то есть изменяем, на какой объект ссылается x). После этого присваивания у нас есть два объекта (int 6 и 5) и две переменные, ссылающиеся на них (x теперь ссылается на 6, а y всё ещё ссылается на 5).

Некоторые операции (например y.append(10) и y.sort()) изменяют\nобъект, тогда как внешне похожие операции (например y = y + [10]\nи sorted(y)) создают новый объект. В общем случае в Python (и во всех случаях\nв стандартной библиотеке) метод, изменяющий объект, возвращает None,\nчтобы избежать путаницы между двумя типами операций. Так что если вы\nошибочно напишете y.sort(), думая, что получите отсортированную копию y,\nто вместо этого получите None, что, скорее всего, приведёт к легко диагностируемой ошибке в вашей программе.

Однако есть один класс операций, где одна и та же операция иногда\nведёт себя по-разному с разными типами: составные операторы присваивания.\nНапример, += изменяет списки, но не кортежи или целые числа (a_list += [1, 2, 3] эквивалентно a_list.extend([1, 2, 3]) и изменяет\na_list, тогда как some_tuple += (1, 2, 3) и some_int += 1 создают\nновые объекты).

Иными словами:

  • Если у нас есть изменяемый объект (например list, dict, set),\nмы можем использовать определённые операции для его изменения, и все переменные,\nкоторые на него ссылаются, увидят это изменение.

  • Если у нас есть неизменяемый объект (например str, int, tuple),\nвсе переменные, ссылающиеся на него, всегда будут видеть одно и то же значение,\nно операции, преобразующие это значение в новое, всегда возвращают новый\nобъект.

Чтобы узнать, ссылаются ли две переменные на один и тот же объект, можно\nиспользовать оператор is или встроенную функцию id().

Как написать функцию с выходными параметрами (передача по ссылке)?How do I write a function with output parameters (call by reference)?

Помните, что аргументы в Python передаются по присваиванию. Поскольку присваивание\nвсего лишь создаёт ссылки на объекты, между именем аргумента в вызывающей и\nвызываемой функции нет псевдонима, и следовательно, нет передачи по ссылке. Добиться\nнужного эффекта можно несколькими способами.

  1. Возвращая кортеж результатов:

    >>> def func1(a, b):
...     a = 'new-value'        # a и b – локальные имена
...     b = b + 1              # присвоены новым объектам
...     return a, b            # вернуть новые значения
...
>>> x, y = 'old-value', 99
>>> func1(x, y)
('new-value', 100)

    Это почти всегда самое понятное решение.

  2. С помощью глобальных переменных. Это не потокобезопасно и не рекомендуется.

  3. Передавая изменяемый (изменяемый на месте) объект:

    >>> def func2(a):
...     a[0] = 'new-value'     # 'a' ссылается на изменяемый список
...     a[1] = a[1] + 1        # изменяет общий объект
...
>>> args = ['old-value', 99]
>>> func2(args)
>>> args
['new-value', 100]

  4. Передавая словарь, который будет изменён:

    >>> def func3(args):
...     args['a'] = 'new-value'     # args – изменяемый словарь
...     args['b'] = args['b'] + 1   # изменить его на месте
...
>>> args = {'a': 'old-value', 'b': 99}
>>> func3(args)
>>> args
{'a': 'new-value', 'b': 100}

  5. Или объединив значения в экземпляре класса:

    >>> class Namespace:
...     def __init__(self, /, **args):
...         for key, value in args.items():
...             setattr(self, key, value)
...
>>> def func4(args):
...     args.a = 'new-value'        # args – изменяемый Namespace
...     args.b = args.b + 1         # изменить объект на месте
...
>>> args = Namespace(a='old-value', b=99)
>>> func4(args)
>>> vars(args)
{'a': 'new-value', 'b': 100}

    Почти никогда нет веской причины усложнять до такой степени.

Лучший выбор – вернуть кортеж, содержащий несколько результатов.

Как сделать функцию высшего порядка в Python?How do you make a higher order function in Python?

У вас есть два варианта: использовать вложенные области видимости или вызываемые объекты.\nНапример, предположим, вы хотите определить linear(a,b), которая возвращает\nфункцию f(x), вычисляющую значение a*x+b. Используя вложенные области видимости:

def linear(a, b):
    def result(x):
        return a * x + b
    return result

Или используя вызываемый объект:

class linear:

    def __init__(self, a, b):
        self.a, self.b = a, b

    def __call__(self, x):
        return self.a * x + self.b

В обоих случаях

taxes = linear(0.3, 2)

даёт вызываемый объект, где taxes(10e6) == 0.3 * 10e6 + 2.

Подход с вызываемым объектом имеет недостаток: он немного медленнее и\nприводит к чуть более длинному коду. Однако обратите внимание, что набор вызываемых объектов\nможет разделять свою сигнатуру через наследование:

class exponential(linear):
    # __init__ унаследован
    def __call__(self, x):
        return self.a * (x ** self.b)

Объект может инкапсулировать состояние для нескольких методов:

class counter:

    value = 0

    def set(self, x):
        self.value = x

    def up(self):
        self.value = self.value + 1

    def down(self):
        self.value = self.value - 1

count = counter()
inc, dec, reset = count.up, count.down, count.set

Здесь inc(), dec() и reset() ведут себя как функции, которые разделяют одну\nи ту же переменную счётчика.

Как скопировать объект в Python?How do I copy an object in Python?

В общем случае для копирования попробуйте copy.copy() или copy.deepcopy().\nНе все объекты можно копировать, но большинство можно.

Некоторые объекты можно скопировать проще. У словарей есть метод copy():

newdict = olddict.copy()

Последовательности можно скопировать срезом:

new_l = l[:]

Как найти методы или атрибуты объекта?How can I find the methods or attributes of an object?

Для экземпляра x пользовательского класса dir(x) возвращает отсортированный по алфавиту список имён, содержащий атрибуты экземпляра, а также методы и атрибуты, определённые в его классе.

Как код может узнать имя объекта?How can my code discover the name of an object?

Вообще говоря, никак, потому что у объектов на самом деле нет имён. По сути, присваивание всегда связывает имя со значением; то же верно для операторов def и class, но в этом случае значение является вызываемым объектом. Рассмотрим следующий код:

>>> class A:
...     pass
...
>>> B = A
>>> a = B()
>>> b = a
>>> print(b)
<__main__.A object at 0x16D07CC>
>>> print(a)
<__main__.A object at 0x16D07CC>

Можно утверждать, что у класса есть имя: хотя он связан с двумя именами и вызывается через имя B, созданный экземпляр всё равно считается экземпляром класса A. Однако невозможно сказать, является ли имя экземпляра a или b, поскольку оба имени связаны с одним и тем же значением.

Вообще говоря, коду не требуется «знать имена» конкретных значений. Если вы не пишете намеренно интроспективные программы, это обычно указывает на то, что стоит изменить подход.

В comp.lang.python Фредрик Лунд однажды привёл отличную аналогию в ответ на этот вопрос:

Так же, как вы узнаёте имя кота, которого нашли на крыльце: сам кот (объект) не может сказать вам своё имя, да ему всё равно – поэтому единственный способ выяснить, как его зовут, – спросить всех соседей (пространства имён), не их ли это кот (объект)…

…и не удивляйтесь, если окажется, что он известен под многими именами или вообще без имени!

Что не так с приоритетом оператора-запятой?What’s up with the comma operator’s precedence?

Запятая в Python – не оператор. Рассмотрим такой сеанс:

>>> "a" in "b", "a"
(False, 'a')

Поскольку запятая – не оператор, а разделитель между выражениями, приведённый выше код выполняется так, как если бы вы ввели:

("a" in "b"), "a"

а не:

"a" in ("b", "a")

То же верно для различных операторов присваивания (=, += и т.д.). На самом деле они не являются операторами, а представляют собой синтаксические разделители в инструкциях присваивания.

Существует ли аналог тернарного оператора «?:» из C?Is there an equivalent of C’s “?:” ternary operator?

Да, существует. Синтаксис следующий:

[on_true] if [expression] else [on_false]

x, y = 50, 25
small = x if x < y else y

До введения этого синтаксиса в Python 2.5 распространённым приёмом было использование логических операторов:

[expression] and [on_true] or [on_false]

Однако этот приём небезопасен, поскольку может давать неверные результаты, если on_true имеет ложное булево значение. Поэтому всегда лучше использовать форму ... if ... else ....

Можно ли писать запутанные однострочники на Python?Is it possible to write obfuscated one-liners in Python?

Да. Обычно это делается вложением lambda внутрь lambda. Вот три примера, немного адаптированных из работ Ульфа Бартельта:

from functools import reduce

# Простые числа < 1000
print(list(filter(None,map(lambda y:y*reduce(lambda x,y:x*y!=0,
map(lambda x,y=y:y%x,range(2,int(pow(y,0.5)+1))),1),range(2,1000)))))

# Первые 10 чисел Фибоначчи
print(list(map(lambda x,f=lambda x,f:(f(x-1,f)+f(x-2,f)) if x>1 else 1:
f(x,f), range(10))))

# Множество Мандельброта
print((lambda Ru,Ro,Iu,Io,IM,Sx,Sy:reduce(lambda x,y:x+'\n'+y,map(lambda y,
Iu=Iu,Io=Io,Ru=Ru,Ro=Ro,Sy=Sy,L=lambda yc,Iu=Iu,Io=Io,Ru=Ru,Ro=Ro,i=IM,
Sx=Sx,Sy=Sy:reduce(lambda x,y:x+y,map(lambda x,xc=Ru,yc=yc,Ru=Ru,Ro=Ro,
i=i,Sx=Sx,F=lambda xc,yc,x,y,k,f=lambda xc,yc,x,y,k,f:(k<=0)or (x*x+y*y
>=4.0) or 1+f(xc,yc,x*x-y*y+xc,2.0*x*y+yc,k-1,f):f(xc,yc,x,y,k,f):chr(
64+F(Ru+x*(Ro-Ru)/Sx,yc,0,0,i)),range(Sx))):L(Iu+y*(Io-Iu)/Sy),range(Sy
))))(-2.1, 0.7, -1.2, 1.2, 30, 80, 24))
#    \___ ___/  \___ ___/  |   |   |__ линии на экране
#        V          V      |   |______ столбцы на экране
#        |          |      |__________ максимум "iterations"
#        |          |_________________ диапазон по оси Y
#        |____________________________ диапазон по оси X

Не пытайтесь повторить это дома, дети!

Что означает косая черта (/) в списке параметров функции?What does the slash(/) in the parameter list of a function mean?

Косая черта в списке аргументов функции означает, что параметры, расположенные до неё, являются только позиционными. Параметры только позиционные – это параметры без внешне используемого имени. При вызове функции, принимающей только позиционные параметры, аргументы сопоставляются с параметрами исключительно по их позиции. Например, divmod() – это функция, принимающая только позиционные параметры. Её документация выглядит так:

>>> help(divmod)
Help on built-in function divmod in module builtins:

divmod(x, y, /)
    Return the tuple (x//y, x%y).  Invariant: div*y + mod == x.

Косая черта в конце списка параметров означает, что оба параметра являются только позиционными. Таким образом, вызов divmod() с именованными аргументами приведёт к ошибке:

>>> divmod(x=3, y=4)
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
TypeError: divmod() takes no keyword arguments

Числа и строкиNumbers and strings

Как задать шестнадцатеричные и восьмеричные целые числа?How do I specify hexadecimal and octal integers?

Чтобы задать восьмеричное число, поставьте перед восьмеричным значением ноль, а затем строчную или прописную букву «o». Например, чтобы присвоить переменной «a» восьмеричное значение «10» (8 в десятичной системе), введите:

>>> a = 0o10
>>> a
8

Шестнадцатеричные числа задаются так же просто. Просто поставьте перед шестнадцатеричным числом ноль, а затем строчную или прописную «x». Шестнадцатеричные цифры можно указывать в нижнем или верхнем регистре. Например, в интерпретаторе Python:

>>> a = 0xa5
>>> a
165
>>> b = 0XB2
>>> b
178

Почему -22 // 10 возвращает -3?Why does -22 // 10 return -3?

В первую очередь это вызвано желанием, чтобы i % j имел тот же знак, что и j. Если вы хотите этого, а также хотите:

i == (i // j) * j + (i % j)

тогда целочисленное деление должно возвращать пол (округление вниз). Язык C также требует выполнения этого тождества, и тогда компиляторы, усекающие i // j, должны делать так, чтобы i % j имел тот же знак, что и i.

Существует мало реальных применений i % j, когда j отрицательно. Когда j положительно, применений много, и практически во всех из них полезнее, чтобы i % j было >= 0. Если часы показывают 10 сейчас, что они показывали 200 часов назад? -190 % 12 == 2 полезно; -190 % 12 == -10 – это ошибка, которая только и ждёт, чтобы её допустили.

Как получить атрибут целочисленного литерала вместо SyntaxError?How do I get int literal attribute instead of SyntaxError?

Попытка обратиться к атрибуту int-литерала обычным способом приводит к ошибке SyntaxError, поскольку точка воспринимается как десятичный разделитель:

>>> 1.__class__
  File "<stdin>", line 1
  1.__class__
   ^
SyntaxError: invalid decimal literal

Решение – отделить литерал от точки пробелом или скобками.

>>> 1 .__class__
<class 'int'>
>>> (1).__class__
<class 'int'>

Как преобразовать строку в число?How do I convert a string to a number?

Для целых чисел используйте встроенный конструктор типа int(), например int('144') == 144. Аналогично, float() преобразует в число с плавающей точкой, например float('144') == 144.0.

По умолчанию эти функции считают число десятичным, поэтому int('0144') == 144 истинно, а int('0x144') вызывает ValueError. Функция int(string, base) принимает необязательный второй аргумент – основание системы счисления, так что int( '0x144', 16) == 324. Если основание указано как 0, число интерпретируется по правилам Python: ведущее «0o» означает восьмеричную, а «0x» – шестнадцатеричную систему.

Не используйте встроенную функцию eval(), если нужно просто преобразовать строку в число. eval() будет работать значительно медленнее и создаёт угрозу безопасности: кто-то может передать Python-выражение с нежелательными побочными эффектами. Например, можно передать __import__('os').system("rm -rf $HOME"), что приведёт к удалению вашего домашнего каталога.

Кроме того, eval() интерпретирует числа как Python-выражения, поэтому, например, eval('09') вызывает синтаксическую ошибку, поскольку Python не допускает ведущего нуля в десятичном числе (кроме самого «0»).

Как преобразовать число в строку?How do I convert a number to a string?

Например, чтобы преобразовать число 144 в строку '144', используйте встроенный конструктор типа str(). Если нужна шестнадцатеричная или восьмеричная запись, используйте встроенные функции hex() или oct(). Для расширенного форматирования смотрите разделы f-строки и Синтаксис форматных строк. Например, "{:04d}".format(144) даёт '0144', а "{:.3f}".format(1.0/3.0) даёт '0.333'.

Как изменить строку на месте?How do I modify a string in place?

Никак, строки неизменяемы. В большинстве случаев следует просто собрать новую строку из нужных частей. Однако, если требуется изменять на месте Unicode-данные, попробуйте использовать объект io.StringIO или модуль array:

>>> import io
>>> s = "Hello, world"
>>> sio = io.StringIO(s)
>>> sio.getvalue()
'Hello, world'
>>> sio.seek(7)
7
>>> sio.write("there!")
6
>>> sio.getvalue()
'Hello, there!'

>>> import array
>>> a = array.array('w', s)
>>> print(a)
array('w', 'Hello, world')
>>> a[0] = 'y'
>>> print(a)
array('w', 'yello, world')
>>> a.tounicode()
'yello, world'

Как использовать строки для вызова функций/методов?How do I use strings to call functions/methods?

Существует несколько приёмов.

  • Лучший из них – использовать словарь, сопоставляющий строки с функциями. Главное преимущество этого подхода в том, что строки не обязаны совпадать с именами функций. Это также основной способ эмуляции конструкции case:

    def a():
    pass

def b():
    pass

dispatch = {'go': a, 'stop': b}  # Обратите внимание на отсутствие скобок для функций

dispatch[get_input()]()  # Обратите внимание на завершающие скобки для вызова функции

  • Используйте встроенную функцию getattr():

    import foo
getattr(foo, 'bar')()

    Обратите внимание: getattr() работает с любыми объектами, включая классы, экземпляры классов, модули и т.д.

    Это используется в нескольких местах стандартной библиотеки, например:

    class Foo:
    def do_foo(self):
        ...

    def do_bar(self):
        ...

f = getattr(foo_instance, 'do_' + opname)
f()

  • Используйте locals() для разрешения имени функции:

    def myFunc():
    print("hello")

fname = "myFunc"

f = locals()[fname]
f()

Существует ли эквивалент Perl-функции chomp() для удаления завершающих символов новой строки?Is there an equivalent to Perl’s chomp() for removing trailing newlines from strings?

Можно использовать S.rstrip("\r\n") для удаления всех символов конца строки в конце строки S, не затрагивая остальные пробельные символы. Если строка S содержит несколько строк с пустыми строками в конце, будут удалены завершающие символы для всех пустых строк:

>>> lines = ("line 1 \r\n"
...          "\r\n"
...          "\r\n")
>>> lines.rstrip("\n\r")
'line 1 '

Поскольку такой подход обычно нужен только при чтении текста построчно, S.rstrip() в таком виде отлично подходит.

Существует ли аналог scanf() или sscanf()?Is there a scanf() or sscanf() equivalent?

Прямого аналога нет.

Для простого разбора ввода проще всего разбить строку на слова, разделённые пробельными символами, с помощью метода split() строковых объектов, а затем преобразовать десятичные строки в числа через int() или float(). Функция split() поддерживает необязательный параметр «sep», который удобен, если разделителем выступает не пробел.

Для более сложного разбора ввода регулярные выражения мощнее, чем C-функция sscanf, и лучше подходят для этой задачи.

Что означает ошибка UnicodeDecodeError или UnicodeEncodeError?What does UnicodeDecodeError or UnicodeEncodeError error mean?

Смотрите Unicode HOWTO.

Может ли сырая строка заканчиваться нечётным количеством обратных косых?Can I end a raw string with an odd number of backslashes?

Сырая строка, заканчивающаяся нечётным количеством обратных косых, экранирует кавычку строки:

>>> r'C:\this\will\not\work\'
  File "<stdin>", line 1
    r'C:\this\will\not\work\'
    ^
SyntaxError: unterminated string literal (detected at line 1)

Есть несколько обходных путей. Один – использовать обычные строки и удвоить обратные косые:

>>> 'C:\\this\\will\\work\\'
'C:\\this\\will\\work\\'

Другой – конкатенировать обычную строку, содержащую экранированную обратную косую, с сырой строкой:

>>> r'C:\this\will\work' '\\'
'C:\\this\\will\\work\\'

Также можно воспользоваться os.path.join(), чтобы добавить обратную косую в Windows:

>>> os.path.join(r'C:\this\will\work', '')
'C:\\this\\will\\work\\'

Обратите внимание: хотя обратная косая черта «экранирует» кавычку для целей определения конца сырой строки, при интерпретации значения сырой строки никакого экранирования не происходит. То есть обратная косая черта остаётся в значении сырой строки:

>>> r'backslash\'preserved'
"backslash\\'preserved"

См. также спецификацию в справочнике по языку.

ПроизводительностьPerformance

Моя программа слишком медленная. Как её ускорить?My program is too slow. How do I speed it up?

В целом, это сложный вопрос. Вот список моментов, которые стоит запомнить, прежде чем углубляться:

  • Характеристики производительности различаются в разных реализациях Python. Этот FAQ сосредоточен на CPython.

  • Поведение может различаться в разных операционных системах, особенно когда речь идёт о вводе-выводе или многопоточности.

  • всегда следует находить горячие точки в своей программе перед попыткой оптимизировать какой-либо код (см. модуль profile).

  • Написание эталонных скриптов позволит быстро выполнять итерации при поиске улучшений (см. модуль timeit).

  • Настоятельно рекомендуется иметь хорошее покрытие кода (с помощью модульного тестирования или любой другой методики) перед возможным внесением регрессий, скрытых в сложных оптимизациях.

Тем не менее, есть много приёмов для ускорения кода на Python. Вот некоторые общие принципы, которые сильно помогают достичь приемлемого уровня производительности:

  • Ускорение алгоритмов (или замена на более быстрые) может принести гораздо большую выгоду, чем попытки рассыпать микрооптимизации по всему коду.

  • Используйте правильные структуры данных. Изучите документацию по Встроенным типам и модулю collections.

  • Когда стандартная библиотека предоставляет примитив для выполнения какой-либо задачи, он, скорее всего (хотя и не гарантированно), будет быстрее любой альтернативы, которую вы можете придумать. Это вдвойне верно для примитивов, написанных на C, таких как встроенные функции и некоторые типы расширений. Например, обязательно используйте либо встроенный метод list.sort(), либо соответствующую функцию sorted() для сортировки (и посмотрите Методы сортировки для примеров умеренно продвинутого использования).

  • Абстракции обычно создают косвенность и заставляют интерпретатор работать больше. Если уровни косвенности перевешивают объём полезной работы, программа будет медленнее. Следует избегать чрезмерной абстракции, особенно в виде крошечных функций или методов (которые также часто вредят читаемости).

Если вы достигли предела возможностей чистого Python, существуют инструменты, которые помогут пойти дальше. Например, Cython может скомпилировать слегка изменённую версию кода Python в расширение C и может использоваться на многих разных платформах. Cython может использовать компиляцию (и необязательные аннотации типов), чтобы сделать ваш код значительно быстрее, чем при интерпретации. Если вы уверены в своих навыках программирования на C, вы также можете самостоятельно написать модуль расширения на C.

См. также

Вики-страница, посвящённая советам по производительности.

Как наиболее эффективно объединить много строк?What is the most efficient way to concatenate many strings together?

Объекты str и bytes неизменяемы, поэтому объединение множества строк неэффективно, поскольку каждое объединение создаёт новый объект. В общем случае общая стоимость выполнения квадратично зависит от общей длины строк.

Для накопления множества объектов str рекомендуется помещать их в список и в конце вызвать str.join():

chunks = []
for s in my_strings:
    chunks.append(s)
result = ''.join(chunks)

(Другой достаточно эффективный приём – использовать io.StringIO.)

Для накопления множества объектов bytes рекомендуется расширять объект bytearray с помощью конкатенации на месте (оператор +=):

result = bytearray()
for b in my_bytes_objects:
    result += b

Последовательности (кортежи/списки)Sequences (tuples/lists)

Как преобразовывать кортежи и списки друг в друга?How do I convert between tuples and lists?

Конструктор типа tuple(seq) преобразует любую последовательность (на самом деле любой итерируемый объект) в кортеж с теми же элементами в том же порядке.

Например, tuple([1, 2, 3]) даёт (1, 2, 3), а tuple('abc') даёт ('a', 'b', 'c'). Если аргумент уже является кортежем, копия не создаётся – возвращается тот же объект, поэтому вызов tuple() обходится дёшево, когда нет уверенности, что объект уже является кортежем.

Конструктор типа list(seq) преобразует любую последовательность или итерируемый объект в список с теми же элементами в том же порядке. Например, list((1, 2, 3)) даёт [1, 2, 3], а list('abc') даёт ['a', 'b', 'c']. Если аргумент является списком, создаётся копия, как и в случае seq[:].

Что такое отрицательный индекс?What’s a negative index?

Последовательности Python индексируются положительными и отрицательными числами. Для положительных чисел 0 – это первый индекс, 1 – второй и так далее. Для отрицательных индексов -1 – последний индекс, -2 – предпоследний (перед последним) и так далее. Считайте seq[-n] тем же, что и seq[len(seq)-n].

Использование отрицательных индексов может быть очень удобным. Например, S[:-1] – это вся строка, кроме последнего символа, что полезно для удаления завершающего перевода строки.

Как перебрать последовательность в обратном порядке?How do I iterate over a sequence in reverse order?

Используйте встроенную функцию reversed():

for x in reversed(sequence):
    ...  # сделать что-то с x ...

Это не затронет исходную последовательность, а создаст новую копию с обратным порядком для итерации.

Как удалить дубликаты из списка?How do you remove duplicates from a list?

См. Python Cookbook, где подробно рассматриваются многие способы сделать это:

Если перестановка элементов списка не страшна, отсортируйте его, а затем просмотрите с конца, удаляя дубликаты по ходу:

if mylist:
    mylist.sort()
    last = mylist[-1]
    for i in range(len(mylist)-2, -1, -1):
        if last == mylist[i]:
            del mylist[i]
        else:
            last = mylist[i]

Если все элементы списка могут использоваться как ключи множества (то есть все они хэшируемы), это часто быстрее:

mylist = list(set(mylist))

Это преобразует список во множество, удаляя дубликаты, а затем обратно в список.

Как удалить несколько элементов из списка?How do you remove multiple items from a list?

Как и при удалении дубликатов, один из вариантов – явная итерация в обратном порядке с проверкой условия удаления. Однако проще и быстрее использовать замену среза с неявной или явной прямой итерацией. Вот три варианта:

mylist[:] = filter(keep_function, mylist)
mylist[:] = (x for x in mylist if keep_condition)
mylist[:] = [x for x in mylist if keep_condition]

Скорее всего, быстрее всего работает списковое включение.

Как создать массив в Python?How do you make an array in Python?

Используйте список:

["this", 1, "is", "an", "array"]

По временно́й сложности списки эквивалентны массивам C или Pascal; основное отличие в том, что список Python может содержать объекты разных типов.

Модуль array также предоставляет методы для создания массивов фиксированных типов с компактным представлением, но они медленнее при индексации, чем списки. Также обратите внимание, что NumPy и другие сторонние пакеты определяют массиво-подобные структуры с различными характеристиками.

Чтобы получить связные списки в стиле Lisp, можно эмулировать ячейки cons с помощью кортежей:

lisp_list = ("like",  ("this",  ("example", None) ) )

Если нужна изменяемость, можно использовать списки вместо кортежей. Здесь аналог Lisp-овского car – lisp_list[0], аналог cdr – lisp_list[1]. Делайте так, только если уверены, что это действительно необходимо, потому что обычно это работает намного медленнее, чем использование списков Python.

Как создать многомерный список?How do I create a multidimensional list?

Вероятно, вы пытались создать многомерный массив так:

>>> A = [[None] * 2] * 3

Если вывести его, выглядит правильно:

>>> A
[[None, None], [None, None], [None, None]]

Но когда вы присваиваете значение, оно появляется в нескольких местах:

>>> A[0][0] = 5
>>> A
[[5, None], [5, None], [5, None]]

Причина в том, что размножение списка с помощью * не создаёт копии, а только ссылки на существующие объекты. *3 создаёт список из 3 ссылок на один и тот же список длины два. Изменения в одной строке отразятся во всех строках, что почти наверняка не то, что нужно.

Рекомендуемый подход – сначала создать список нужной длины, а затем заполнить каждый элемент заново созданным списком:

A = [None] * 3
for i in range(3):
    A[i] = [None] * 2

Это порождает список, содержащий 3 разных списка длины два. Также можно использовать списковое включение:

w, h = 2, 3
A = [[None] * w for i in range(h)]

Или можно воспользоваться расширением, предоставляющим тип данных «матрица»; наиболее известен NumPy.

Как применить метод или функцию к последовательности объектов?How do I apply a method or function to a sequence of objects?

Для вызова метода или функции с накоплением возвращаемых значений в списке элегантным решением служит списковое включение:

result = [obj.method() for obj in mylist]

result = [function(obj) for obj in mylist]

Если нужно просто выполнить метод или функцию без сохранения возвращаемых значений, достаточно обычного цикла for:

for obj in mylist:
    obj.method()

for obj in mylist:
    function(obj)

Почему a_tuple[i] += ['item'] вызывает исключение, хотя сложение работает?Why does a_tuple[i] += [‘item’] raise an exception when the addition works?

Это связано с тем, что операторы расширенного присваивания являются операторами присваивания, а также с различием между изменяемыми и неизменяемыми объектами в Python.

Это обсуждение в целом применимо, когда операторы расширенного присваивания применяются к элементам кортежа, указывающим на изменяемые объекты, но в качестве примера мы используем list и +=.

Если написать:

>>> a_tuple = (1, 2)
>>> a_tuple[0] += 1
Traceback (most recent call last):
   ...
TypeError: 'tuple' object does not support item assignment

Причина исключения сразу становится ясна: 1 добавляется к объекту, на который указывает a_tuple[0] (1), в результате получается объект 2, но когда мы пытаемся присвоить результат вычисления 2 элементу 0 кортежа, возникает ошибка, потому что нельзя изменить, на что указывает элемент кортежа.

На самом деле то, что делает этот расширенный оператор присваивания, примерно таково:

>>> result = a_tuple[0] + 1
>>> a_tuple[0] = result
Traceback (most recent call last):
  ...
TypeError: 'tuple' object does not support item assignment

Ошибку вызывает именно часть присваивания операции, поскольку кортеж неизменяем.

Если написать что-то вроде:

>>> a_tuple = (['foo'], 'bar')
>>> a_tuple[0] += ['item']
Traceback (most recent call last):
  ...
TypeError: 'tuple' object does not support item assignment

Исключение несколько более неожиданно, и еще более удивительно то, что, несмотря на ошибку, append сработал:

>>> a_tuple[0]
['foo', 'item']

Чтобы понять, почему это происходит, нужно знать, что (a) если объект реализует магический метод __iadd__(), он вызывается при выполнении += расширенного присваивания, и его возвращаемое значение используется в операторе присваивания; и (b) для списков __iadd__() эквивалентно вызову extend() для списка и возврату этого списка. Именно поэтому говорят, что для списков += – это «сокращение» для list.extend():

>>> a_list = []
>>> a_list += [1]
>>> a_list
[1]

Это эквивалентно:

>>> result = a_list.__iadd__([1])
>>> a_list = result

Объект, на который указывает a_list, был изменён, и указатель на изменённый объект присваивается обратно a_list. Конечный результат присваивания – холостая операция (no-op), поскольку это указатель на тот же объект, на который a_list указывал ранее, но само присваивание всё равно происходит.

Таким образом, в нашем примере с кортежем происходит то же самое, что и в:

>>> result = a_tuple[0].__iadd__(['item'])
>>> a_tuple[0] = result
Traceback (most recent call last):
  ...
TypeError: 'tuple' object does not support item assignment

__iadd__() выполняется успешно, и список расширяется, но, хотя result указывает на тот же объект, на который уже указывает a_tuple[0], финальное присваивание всё равно вызывает ошибку, поскольку кортежи неизменяемы.

Я хочу выполнить сложную сортировку: можно ли сделать преобразование Шварца в Python?I want to do a complicated sort: can you do a Schwartzian Transform in Python?

Этот метод, приписываемый Рэндалу Шварцу из сообщества Perl, сортирует элементы списка по метрике, которая сопоставляет каждому элементу его «сортировочное значение». В Python используйте аргумент key для метода list.sort():

Isorted = L[:]
Isorted.sort(key=lambda s: int(s[10:15]))

Как отсортировать один список по значениям из другого списка?How can I sort one list by values from another list?

Объедините их в итератор кортежей, отсортируйте полученный список, а затем извлеките нужный элемент.

>>> list1 = ["what", "I'm", "sorting", "by"]
>>> list2 = ["something", "else", "to", "sort"]
>>> pairs = zip(list1, list2)
>>> pairs = sorted(pairs)
>>> pairs
[("I'm", 'else'), ('by', 'sort'), ('sorting', 'to'), ('what', 'something')]
>>> result = [x[1] for x in pairs]
>>> result
['else', 'sort', 'to', 'something']

ОбъектыObjects

Что такое класс?What is a class?

Класс – это конкретный тип объекта, создаваемый при выполнении инструкции class. Объекты классов используются как шаблоны для создания объектов-экземпляров, которые содержат как данные (атрибуты), так и код (методы), характерные для данного типа данных.

Класс может быть основан на одном или нескольких других классах, называемых его базовыми классами. Он наследует атрибуты и методы своих базовых классов. Это позволяет последовательно уточнять объектную модель с помощью наследования. Например, можно иметь общий класс Mailbox, предоставляющий базовые методы доступа к почтовому ящику, и подклассы MboxMailbox, MaildirMailbox, OutlookMailbox, обрабатывающие различные форматы почтовых ящиков.

Что такое метод?What is a method?

Метод – это функция некоторого объекта x, которая обычно вызывается как x.name(arguments...). Методы определяются как функции внутри определения класса:

class C:
    def meth(self, arg):
        return arg * 2 + self.attribute

Что такое self?What is self?

Self – это просто условное имя для первого аргумента метода. Метод, определённый как meth(self, a, b, c), должен вызываться как x.meth(a, b, c) для некоторого экземпляра x класса, в котором находится определение; вызванный метод будет считать, что его вызвали как meth(x, a, b, c).

См. также Почему self должно явно использоваться в определениях и вызовах методов?.

Как проверить, является ли объект экземпляром данного класса или его подкласса?How do I check if an object is an instance of a given class or of a subclass of it?

Используйте встроенную функцию isinstance(obj, cls). Можно проверить, является ли объект экземпляром любого из нескольких классов, передав кортеж вместо одного класса, например isinstance(obj, (class1, class2, ...)), а также можно проверить, является ли объект одним из встроенных типов Python, например isinstance(obj, str) или isinstance(obj, (int, float, complex)).

Обратите внимание, что isinstance() также проверяет виртуальное наследование от абстрактного базового класса. Таким образом, проверка вернёт True для зарегистрированного класса, даже если он не наследует от него прямо или косвенно. Чтобы проверить «истинное наследование», просмотрите порядок разрешения методов (MRO) класса:

from collections.abc import Mapping

class P:
     pass

class C(P):
    pass

Mapping.register(P)

>>> c = C()
>>> isinstance(c, C)        # прямой
True
>>> isinstance(c, P)        # косвенный
True
>>> isinstance(c, Mapping)  # виртуальный
True

# Actual inheritance chain
>>> type(c).__mro__
(<class 'C'>, <class 'P'>, <class 'object'>)

# Test for "true inheritance"
>>> Mapping in type(c).__mro__
False

Обратите внимание, что большинство программ не используют isinstance() для пользовательских классов очень часто. Если вы разрабатываете классы сами, более правильным объектно-ориентированным стилем будет определение методов в классах, инкапсулирующих определённое поведение, вместо проверки класса объекта и выполнения разных действий в зависимости от того, какой это класс. Например, если есть функция, которая делает что-то:

def search(obj):
    if isinstance(obj, Mailbox):
        ...  # код для поиска почтового ящика
    elif isinstance(obj, Document):
        ...  # код для поиска документа
    elif ...

Лучше определить метод search() во всех классах и просто вызывать его:

class Mailbox:
    def search(self):
        ...  # код для поиска почтового ящика

class Document:
    def search(self):
        ...  # код для поиска документа

obj.search()

Что такое делегирование?What is delegation?

Делегирование – это объектно-ориентированный приём (также называемый шаблоном проектирования). Предположим, у вас есть объект x, и вы хотите изменить поведение только одного из его методов. Можно создать новый класс, который предоставляет новую реализацию интересующего метода, а все остальные методы делегирует соответствующим методам x.

Программисты на Python могут легко реализовать делегирование. Например, следующий класс реализует класс, который ведёт себя как файл, но преобразует все записываемые данные в верхний регистр:

class UpperOut:

    def __init__(self, outfile):
        self._outfile = outfile

    def write(self, s):
        self._outfile.write(s.upper())

    def __getattr__(self, name):
        return getattr(self._outfile, name)

Here the UpperOut class redefines the write() method to convert the argument string to uppercase before calling the underlying self._outfile.write() method. All other methods are delegated to the underlying self._outfile object. The delegation is accomplished via the __getattr__() method; consult the language reference for more information about controlling attribute access.

Обратите внимание, что в более общих случаях делегирование может усложниться. Если атрибуты нужно не только получать, но и устанавливать, класс должен также определить метод __setattr__(), и делать это нужно аккуратно. Базовая реализация __setattr__() примерно эквивалентна следующему:

class X:
    ...
    def __setattr__(self, name, value):
        self.__dict__[name] = value
    ...

Многие реализации __setattr__() вызывают object.__setattr__(), чтобы установить атрибут на self, не вызывая бесконечной рекурсии:

class X:
    def __setattr__(self, name, value):
        # Пользовательская логика...
        object.__setattr__(self, name, value)

В качестве альтернативы можно устанавливать атрибуты, вставляя записи непосредственно в self.__dict__.

Как вызвать метод, определённый в базовом классе, из производного класса, который его расширяет?How do I call a method defined in a base class from a derived class that extends it?

Используйте встроенную функцию super():

class Derived(Base):
    def meth(self):
        super().meth()  # вызывает Base.meth

В этом примере super() автоматически определит экземпляр, из которого он был вызван (значение self), выполнит поиск порядка разрешения методов (MRO) с помощью type(self).__mro__, и вернёт следующий по порядку после Derived в MRO: Base.

Как организовать код, чтобы было проще изменить базовый класс?How can I organize my code to make it easier to change the base class?

Можно присвоить базовый класс псевдониму и наследоваться от псевдонима. Тогда всё, что нужно изменить – это значение, присвоенное псевдониму. Кстати, этот трюк удобен и если требуется динамически решать (например, в зависимости от доступности ресурсов), какой базовый класс использовать. Пример:

class Base:
    ...

BaseAlias = Base

class Derived(BaseAlias):
    ...

Как создать статические данные класса и статические методы класса?How do I create static class data and static class methods?

В Python поддерживаются как статические данные, так и статические методы (в смысле C++ или Java).

Для статических данных просто определите атрибут класса. Чтобы присвоить атрибуту новое значение, необходимо явно указать имя класса в присваивании:

class C:
    count = 0   # количество вызовов C.__init__

    def __init__(self):
        C.count = C.count + 1

    def getcount(self):
        return C.count  # или вернуть self.count

c.count также ссылается на C.count для любого c, для которого isinstance(c, C) истинно, если только оно не переопределено самим c или каким-либо классом на пути поиска базового класса от c.__class__ до C.

Внимание: внутри метода C присваивание вида self.count = 42 создаёт новый и не связанный экземпляр с именем «count» в собственном словаре self. Повторное связывание имени статических данных класса всегда должно указывать класс, как внутри метода, так и вне его:

C.count = 314

Статические методы возможны:

class C:
    @staticmethod
    def static(arg1, arg2, arg3):
        # Нет параметра 'self'!
        ...

Однако гораздо более прямолинейный способ получить эффект статического метода – это простая функция уровня модуля:

def getcount():
    return C.count

Если код организован так, что на каждый модуль определён один класс (или тесно связанная иерархия классов), это обеспечивает нужную инкапсуляцию.

Как перегрузить конструкторы (или методы) в Python?How can I overload constructors (or methods) in Python?

Этот ответ на самом деле применим ко всем методам, но вопрос обычно возникает в первую очередь в контексте конструкторов.

В C++ вы бы написали:

class C {
    C() { cout << "No arguments\n"; }
    C(int i) { cout << "Argument is " << i << "\n"; }
}

В Python нужно написать один конструктор, который обрабатывает все случаи с помощью аргументов по умолчанию. Например:

class C:
    def __init__(self, i=None):
        if i is None:
            print("No arguments")
        else:
            print("Argument is", i)

Это не полностью эквивалентно, но на практике достаточно близко.

Можно также попробовать список аргументов переменной длины, например:

def __init__(self, *args):
    ...

Тот же подход работает для всех определений методов.

Я пытаюсь использовать __spam и получаю ошибку про _SomeClassName__spam.I try to use __spam and I get an error about _SomeClassName__spam.

Имена переменных с двойным подчёркиванием в начале «искажаются» – это простой, но эффективный способ определения приватных переменных класса. Любой идентификатор вида __spam (не менее двух начальных подчёркиваний и не более одного конечного) текстуально заменяется на _classname__spam, где classname – это имя текущего класса без начальных подчёркиваний.

Идентификатор можно использовать без изменений внутри класса, но для доступа к нему вне класса необходимо использовать искажённое имя:

class A:
    def __one(self):
        return 1
    def two(self):
        return 2 * self.__one()

class B(A):
    def three(self):
        return 3 * self._A__one()

four = 4 * A()._A__one()

В частности, это не гарантирует приватность, поскольку внешний пользователь всё ещё может намеренно обратиться к приватному атрибуту; многие программисты Python вообще не утруждают себя использованием приватных имён переменных.

См. также

См. спецификации искажения приватных имён с подробностями и особыми случаями.

Мой класс определяет __del__, но он не вызывается, когда я удаляю объект.My class defines __del__ but it is not called when I delete the object.

Для этого есть несколько возможных причин.

Оператор del не обязательно вызывает __del__() – он просто уменьшает счётчик ссылок объекта, и если он достигает нуля, вызывается __del__().

Если структуры данных содержат циклические ссылки (например, дерево, где каждый потомок имеет ссылку на родителя, а у каждого родителя есть список потомков), счётчики ссылок никогда не обнулятся. Время от времени Python запускает алгоритм для обнаружения таких циклов, но сборщик мусора может сработать спустя некоторое время после исчезновения последней ссылки на структуру данных, поэтому метод __del__() может быть вызван в неудобный и случайный момент. Это неудобно, если вы пытаетесь воспроизвести проблему. Хуже того, порядок выполнения методов __del__() объектов произволен. Можно запустить gc.collect() для принудительной сборки, но существуют патологические случаи, когда объекты никогда не будут собраны.

Несмотря на сборщик циклов, всё равно рекомендуется определить явный метод close() для объектов, который будет вызываться, когда они больше не нужны. Метод close() может затем удалить атрибуты, ссылающиеся на подобъекты. Не вызывайте __del__() напрямую – __del__() должен вызывать close(), а close() должен гарантировать, что его можно вызвать более одного раза для одного и того же объекта.

Другой способ избежать циклических ссылок – использовать модуль weakref, который позволяет указывать на объекты без увеличения их счётчика ссылок. Например, структуры данных деревьев должны использовать слабые ссылки для ссылок на родительские и дочерние элементы (если они нужны!).

Наконец, если метод __del__() вызывает исключение, предупреждение выводится в sys.stderr.

Как получить список всех экземпляров данного класса?How do I get a list of all instances of a given class?

Python не отслеживает все экземпляры класса (или встроенного типа). Можно запрограммировать конструктор класса так, чтобы он отслеживал все экземпляры, сохраняя список слабых ссылок на каждый экземпляр.

Почему результат id() кажется неуникальным?Why does the result of id() appear to be not unique?

Встроенная функция id() возвращает целое число, которое гарантированно уникально в течение времени жизни объекта. Поскольку в CPython это адрес памяти объекта, часто бывает, что после удаления объекта из памяти следующий свежесозданный объект выделяется по тому же адресу. Это показано на следующем примере:

>>> id(1000)
13901272
>>> id(2000)
13901272

Два идентификатора принадлежат разным целочисленным объектам, которые создаются до и сразу же удаляются после выполнения вызова id(). Чтобы убедиться, что объекты, чей id нужно проверить, всё ещё живы, создайте ещё одну ссылку на объект:

>>> a = 1000; b = 2000
>>> id(a)
13901272
>>> id(b)
13891296

Когда можно полагаться на проверки идентичности с оператором is?When can I rely on identity tests with the is operator?

Оператор is проверяет идентичность объектов. Выражение a is b эквивалентно id(a) == id(b).

Важнейшее свойство проверки идентичности: объект всегда идентичен сам себе, поэтому a is a всегда возвращает True. Проверки идентичности обычно быстрее проверок на равенство. И в отличие от проверок на равенство, проверки идентичности гарантированно возвращают булево значение True или False.

Однако проверки идентичности можно только заменять проверки на равенство, когда идентичность объекта гарантирована. В общем случае есть три ситуации, когда идентичность гарантирована:

  1. Присваивания создают новые имена, но не меняют идентичность объекта. После присваивания new = old гарантируется, что new is old.

  2. Помещение объекта в контейнер, хранящий ссылки на объекты, не меняет идентичность объекта. После присваивания списку s[0] = x гарантируется, что s[0] is x.

  3. Если объект является синглтоном, это значит, что может существовать только один его экземпляр. После присваиваний a = None и b = None гарантируется, что a is b, потому что None – синглтон.

В большинстве других случаев проверки идентичности нежелательны, а предпочтительны проверки на равенство. В частности, не следует использовать проверки идентичности для таких констант, как int и str, которые не гарантированно являются синглтонами:

>>> a = 10_000_000
>>> b = 5_000_000
>>> c = b + 5_000_000
>>> a is c
False

>>> a = 'Python'
>>> b = 'Py'
>>> c = b + 'thon'
>>> a is c
False

Аналогично, новые экземпляры изменяемых контейнеров никогда не идентичны:

>>> a = []
>>> b = []
>>> a is b
False

В коде стандартной библиотеки можно увидеть несколько распространённых шаблонов правильного использования проверок идентичности:

  1. Как рекомендуется в PEP 8, проверка идентичности – предпочтительный способ проверки на None. Это читается как обычный английский в коде и позволяет избежать путаницы с другими объектами, чьи булевы значения могут быть ложными.

  2. Обнаружение необязательных аргументов может быть затруднительным, когда None является допустимым входным значением. В таких ситуациях можно создать синглтон-маркер, гарантированно отличный от других объектов. Например, вот как реализовать метод, ведущий себя как dict.pop():

    _sentinel = sentinel('_sentinel')

def pop(self, key, default=_sentinel):
    if key in self:
        value = self[key]
        del self[key]
        return value
    if default is _sentinel:
        raise KeyError(key)
    return default

  3. Реализации контейнеров иногда требуют дополнить проверки на равенство проверками идентичности. Это предотвращает путаницу в коде с такими объектами, как float('NaN'), которые не равны сами себе.

Например, вот реализация collections.abc.Sequence.__contains__():

def __contains__(self, value):
    for v in self:
        if v is value or v == value:
            return True
    return False

Как подкласс может управлять данными, хранящимися в неизменяемом экземпляре?How can a subclass control what data is stored in an immutable instance?

При наследовании от неизменяемого типа переопределяйте метод __new__() вместо метода __init__(). Последний выполняется после создания экземпляра, что слишком поздно для изменения данных в неизменяемом экземпляре.

Все эти неизменяемые классы имеют сигнатуру, отличную от родительского класса:

import datetime as dt

class FirstOfMonthDate(dt.date):
    "Always choose the first day of the month"
    def __new__(cls, year, month, day):
        return super().__new__(cls, year, month, 1)

class NamedInt(int):
    "Allow text names for some numbers"
    xlat = {'zero': 0, 'one': 1, 'ten': 10}
    def __new__(cls, value):
        value = cls.xlat.get(value, value)
        return super().__new__(cls, value)

class TitleStr(str):
    "Convert str to name suitable for a URL path"
    def __new__(cls, s):
        s = s.lower().replace(' ', '-')
        s = ''.join([c for c in s if c.isalnum() or c == '-'])
        return super().__new__(cls, s)

Классы можно использовать так:

>>> FirstOfMonthDate(2012, 2, 14)
FirstOfMonthDate(2012, 2, 1)
>>> NamedInt('ten')
10
>>> NamedInt(20)
20
>>> TitleStr('Blog: Why Python Rocks')
'blog-why-python-rocks'

Как кешировать вызовы методов?How do I cache method calls?

Два основных инструмента для кеширования методов – functools.cached_property() и functools.lru_cache(). Первый хранит результаты на уровне экземпляра, второй – на уровне класса.

Подход cached_property работает только с методами, не принимающими аргументов. Он не создаёт ссылку на экземпляр. Результат кешированного метода будет храниться, пока жив экземпляр.

Преимущество в том, что когда экземпляр больше не используется, результат кешированного метода освобождается сразу. Недостаток: если экземпляры накапливаются, то накапливаются и результаты методов. Они могут расти без ограничения.

Подход lru_cache работает с методами, имеющими хешируемые аргументы. Он создаёт ссылку на экземпляр, если не приложить специальных усилий для передачи слабых ссылок.

Преимущество алгоритма наименее недавно использованного (LRU) в том, что размер кеша ограничен указанным maxsize. Недостаток: экземпляры остаются живыми, пока не устареют в кеше или пока кеш не будет очищен.

Этот пример показывает различные техники:

class Weather:
    "Lookup weather information on a government website"

    def __init__(self, station_id):
        self._station_id = station_id
        # _station_id является приватным и неизменяемым

    def current_temperature(self):
        "Latest hourly observation"
        # Не кэшировать это, потому что старые результаты
        # могут быть устаревшими.

    @cached_property
    def location(self):
        "Return the longitude/latitude coordinates of the station"
        # Результат зависит только от station_id

    @lru_cache(maxsize=20)
    def historic_rainfall(self, date, units='mm'):
        "Rainfall on a given date"
        # Зависит от station_id, даты и единиц измерения.

Приведённый выше пример предполагает, что station_id никогда не меняется. Если соответствующие атрибуты экземпляра изменяемы, подход cached_property не сработает, поскольку он не может обнаружить изменения атрибутов.

Чтобы подход lru_cache работал, когда station_id изменяем, класс должен определить методы __eq__() и __hash__(), чтобы кеш мог обнаруживать соответствующие обновления атрибутов:

class Weather:
    "Example with a mutable station identifier"

    def __init__(self, station_id):
        self.station_id = station_id

    def change_station(self, station_id):
        self.station_id = station_id

    def __eq__(self, other):
        return self.station_id == other.station_id

    def __hash__(self):
        return hash(self.station_id)

    @lru_cache(maxsize=20)
    def historic_rainfall(self, date, units='cm'):
        'Rainfall on a given date'
        # Зависит от station_id, даты и единиц измерения.

МодулиModules

Как создать .pyc-файл?How do I create a .pyc file?

Когда модуль импортируется впервые (или когда исходный файл изменился после создания текущего скомпилированного файла), в подкаталоге __pycache__ каталога, содержащего файл .py, должен быть создан файл .pyc со скомпилированным кодом. Файл .pyc будет иметь имя, начинающееся с того же имени, что и файл .py, и заканчивающееся на .pyc, со средней частью, зависящей от конкретной двоичной сборки python, которая его создала. (Подробнее см. PEP 3147.)

Одна из причин, по которой файл .pyc может не создаваться, – проблема с правами доступа к каталогу, содержащему исходный файл: подкаталог __pycache__ не может быть создан. Это может произойти, например, если вы разрабатываете от одного пользователя, а запускаете от другого, например, при тестировании с помощью веб-сервера.

Если не установлена переменная окружения PYTHONDONTWRITEBYTECODE, создание .pyc-файла происходит автоматически при импорте модуля, если у Python есть возможность (права, свободное место и т.д.) создать подкаталог __pycache__ и записать в него скомпилированный модуль.

Запуск Python на скрипте верхнего уровня не считается импортом, и файл .pyc не будет создан. Например, если есть модуль верхнего уровня foo.py, который импортирует другой модуль xyz.py, то при запуске foo (командой python foo.py в оболочке) файл .pyc будет создан для xyz, поскольку xyz импортируется, но файл .pyc не будет создан для foo, так как foo.py не импортируется.

Если нужно создать файл .pyc для foo, то есть создать файл .pyc для модуля, который не импортируется, это можно сделать с помощью модулей py_compile и compileall.

Модуль py_compile может вручную скомпилировать любой модуль. Один из способов – интерактивно использовать функцию compile() в этом модуле:

>>> import py_compile
>>> py_compile.compile('foo.py')

Это запишет .pyc в подкаталог __pycache__ в том же месте, где находится foo.py (или это можно переопределить с помощью необязательного параметра cfile).

Также можно автоматически скомпилировать все файлы в каталоге или каталогах с помощью модуля compileall. Для этого из командной оболочки выполните compileall.py и укажите путь к каталогу, содержащему файлы Python для компиляции:

python -m compileall .

Как узнать имя текущего модуля?How do I find the current module name?

Модуль может узнать своё собственное имя, обратившись к предопределённой глобальной переменной __name__. Если она равна '__main__', программа выполняется как скрипт. Многие модули, которые обычно используются через импорт, также предоставляют интерфейс командной строки или самопроверку и выполняют этот код только после проверки __name__:

def main():
    print('Running test...')
    ...

if __name__ == '__main__':
    main()

Как сделать модули, которые импортируют друг друга?How can I have modules that mutually import each other?

Предположим, у вас есть следующие модули:

foo.py:

from bar import bar_var
foo_var = 1

bar.py:

from foo import foo_var
bar_var = 2

Проблема в том, что интерпретатор выполнит следующие шаги:

  • main импортирует foo

  • Создаются пустые глобальные переменные для foo

  • foo компилируется и начинает выполняться

  • foo импортирует bar

  • Создаются пустые глобальные переменные для bar

  • bar компилируется и начинает выполняться

  • bar импортирует foo (это пустая операция, так как модуль с именем foo уже существует)

  • Механизм импорта пытается прочитать foo_var из глобальных переменных foo, чтобы установить bar.foo_var = foo.foo_var

Последний шаг завершается неудачей, потому что Python ещё не закончил интерпретацию foo, и словарь глобальных символов для foo всё ещё пуст.

То же самое происходит при использовании import foo и последующей попытке обратиться к foo.foo_var в глобальном коде.

Существует (как минимум) три возможных обходных решения этой проблемы.

Гвидо ван Россум рекомендует избегать любых использований from <module> import ... и размещать весь код внутри функций. Инициализация глобальных переменных и переменных класса должна использовать только константы или встроенные функции. Это означает, что всё из импортированного модуля должно ссылаться как <module>.<name>.

Джим Роскинд предлагает выполнять шаги в следующем порядке в каждом модуле:

  • экспорт (глобальные переменные, функции и классы, которым не нужны импортированные базовые классы)

  • инструкции import

  • активный код (включая глобальные переменные, инициализируемые из импортированных значений).

Ван Россуму не очень нравится такой подход, потому что импорты оказываются в странном месте, но он работает.

Маттиас Урлихс рекомендует перестроить код так, чтобы рекурсивный импорт вообще не требовался.

Эти решения не являются взаимоисключающими.

__import__(‘x.y.z’) возвращает <module ‘x’>; как получить z?__import__(‘x.y.z’) returns <module ‘x’>; how do I get z?

Рассмотрите возможность использования удобной функции import_module() из importlib вместо этого.

z = importlib.import_module('x.y.z')

Когда я редактирую импортированный модуль и повторно импортирую его, изменения не отображаются. Почему это происходит?When I edit an imported module and reimport it, the changes don’t show up. Why does this happen?

Из соображений эффективности и согласованности Python читает файл модуля только при первом импорте модуля. Если бы это было не так, в программе, состоящей из многих модулей, каждый из которых импортирует один и тот же базовый модуль, этот базовый модуль разбирался бы и переразбирался много раз. Чтобы принудительно перечитать изменённый модуль, сделайте следующее:

import importlib
import modname
importlib.reload(modname)

Предупреждение: этот метод не является полностью надёжным. В частности, модули, содержащие операторы вида:

from modname import some_objects

будут продолжать работать со старой версией импортированных объектов. Если модуль содержит определения классов, существующие экземпляры классов не будут обновлены для использования нового определения класса. Это может привести к следующему парадоксальному поведению:

>>> import importlib
>>> import cls
>>> c = cls.C()                # Создать экземпляр C
>>> importlib.reload(cls)
<module 'cls' from 'cls.py'>
>>> isinstance(c, cls.C)       # isinstance ложно?!?
False

Суть проблемы становится ясна, если вывести «идентичность» объектов классов:

>>> hex(id(c.__class__))
'0x7352a0'
>>> hex(id(cls.C))
'0x4198d0'