27.5. timeit – Измерение времени выполнения небольших фрагментов кода¶timeit – Measure execution time of small code snippets

27.5.1. Основные примеры¶Basic Examples

Следующий пример показывает, как можно использовать интерфейс командной строки для сравнения трёх различных выражений:

$ python3 -m timeit '"-".join(str(n) for n in range(100))'
10000 loops, best of 3: 30.2 usec per loop
$ python3 -m timeit '"-".join([str(n) for n in range(100)])'
10000 loops, best of 3: 27.5 usec per loop
$ python3 -m timeit '"-".join(map(str, range(100)))'
10000 loops, best of 3: 23.2 usec per loop

Этого можно добиться из интерфейса Python с помощью:

>>> import timeit
>>> timeit.timeit('"-".join(str(n) for n in range(100))', number=10000)
0.3018611848820001
>>> timeit.timeit('"-".join([str(n) for n in range(100)])', number=10000)
0.2727368790656328
>>> timeit.timeit('"-".join(map(str, range(100)))', number=10000)
0.23702679807320237

Однако обратите внимание, что timeit будет автоматически определять количество повторений только при использовании интерфейса командной строки. В разделе Примеры вы можете найти более сложные примеры.

27.5.2. Интерфейс Python¶Python Interface

Модуль определяет три вспомогательные функции и один открытый класс:

timeit.timeit(stmt='pass', setup='pass', timer=<default timer>, number=1000000, globals=None)¶

Создаёт экземпляр Timer с заданными оператором, кодом setup и функцией timer и запускает его метод timeit() с number выполнениями. Необязательный аргумент globals задаёт пространство имён, в котором будет выполняться код.

Изменено в версии 3.5: Был добавлен необязательный параметр globals.

timeit.repeat(stmt='pass', setup='pass', timer=<default timer>, repeat=3, number=1000000, globals=None)¶

Создаёт экземпляр Timer с заданными оператором, кодом setup и функцией timer и запускает его метод repeat() с заданным количеством repeat и number выполнениями. Необязательный аргумент globals задаёт пространство имён, в котором будет выполняться код.

Изменено в версии 3.5: Был добавлен необязательный параметр globals.

timeit.default_timer()¶

Таймер по умолчанию – time.perf_counter().

Изменено в версии 3.3: time.perf_counter() теперь является таймером по умолчанию.

class timeit.Timer(stmt='pass', setup='pass', timer=<timer function>, globals=None)¶

Класс для измерения скорости выполнения небольших фрагментов кода.

Конструктор принимает измеряемый оператор, дополнительный оператор для настройки и функцию таймера. Оба оператора по умолчанию равны 'pass'; функция таймера зависит от платформы (см. строку документации модуля). stmt и setup также могут содержать несколько операторов, разделённых ; или переводами строк, при условии, что они не содержат многострочных строковых литералов. По умолчанию оператор выполняется в пространстве имён timeit; это поведение можно контролировать, передав пространство имён в globals.

Для измерения времени выполнения первого оператора используйте метод timeit(). Методы repeat() и autorange() являются вспомогательными методами для многократного вызова timeit().

Время выполнения setup исключается из общего времени выполнения.

Параметры stmt и setup также могут принимать вызываемые объекты без аргументов. При этом вызовы к ним встраиваются в функцию таймера, которая затем выполняется timeit(). Обратите внимание, что в этом случае накладные расходы на измерение немного больше из-за дополнительных вызовов функций.

Изменено в версии 3.5: Был добавлен необязательный параметр globals.

timeit(number=1000000)¶

Измеряет время выполнения основного оператора number раз. Сначала выполняется оператор setup один раз, затем возвращается время, затраченное на выполнение основного оператора указанное количество раз, измеряемое в секундах в виде числа с плавающей запятой. Аргумент number – количество повторений цикла, по умолчанию миллион. Основной оператор, оператор setup и используемая функция таймера передаются конструктору.

Примечание

По умолчанию timeit() временно отключает сборку мусора во время замера. Преимущество такого подхода в том, что независимые замеры становятся более сопоставимыми. Недостаток в том, что сборка мусора может быть важной составляющей производительности измеряемой функции. Если это так, сборку мусора можно снова включить, указав её первой инструкцией в строке setup. Например:

timeit.Timer('for i in range(10): oct(i)', 'gc.enable()').timeit()

autorange(callback=None)¶

Автоматически определяет, сколько раз вызывать timeit().

Это удобная функция, которая многократно вызывает timeit(), так что общее время >= 0,2 секунды, и возвращает итоговое (количество циклов, время, затраченное на это количество циклов). Она вызывает timeit() с параметром number, установленным в последовательные степени десяти (10, 100, 1000, …) вплоть до одного миллиарда, пока затраченное время не достигнет хотя бы 0,2 секунды или не будет достигнут предел.

Если задан колбэк и он не равен None, то он будет вызываться после каждого испытания с двумя аргументами: callback(number, time_taken).

Новое в версии 3.6.

repeat(repeat=3, number=1000000)¶

Вызов timeit() несколько раз.

Это удобная функция, которая многократно вызывает timeit(), возвращая список результатов. Первый аргумент указывает, сколько раз вызывать timeit(). Второй аргумент задаёт аргумент number для timeit().

Примечание

Может возникнуть соблазн вычислить среднее и стандартное отклонение из результирующего вектора и сообщить о них. Однако это не очень полезно. В типичном случае наименьшее значение даёт нижнюю границу того, насколько быстро ваша машина может выполнить данный фрагмент кода; более высокие значения в результирующем векторе обычно вызваны не изменчивостью скорости Python, а другими процессами, влияющими на точность измерения времени. Поэтому min() результата – вероятно, единственное число, которое должно интересовать. После этого следует посмотреть на весь вектор и применить здравый смысл, а не статистику.

print_exc(file=None)¶

Вспомогательная функция для вывода трассировки из кода, время выполнения которого измеряется.

Типичное использование:

t = Timer(...)       # за пределами try/except
try:
    t.timeit(...)    # или t.repeat(...)
except Exception:
    t.print_exc()

Преимущество перед стандартной трассировкой в том, что будут отображаться строки исходного кода в скомпилированном шаблоне. Необязательный аргумент file указывает, куда направляется трассировка; по умолчанию используется sys.stderr.

27.5.3. Интерфейс командной строки¶Command-Line Interface

При вызове как программы из командной строки используется следующая форма:

python -m timeit [-n N] [-r N] [-u U] [-s S] [-t] [-c] [-h] [statement ...]

Где поддерживаются следующие параметры:

-n N, --number=N¶

сколько раз выполнять 'statement'

-r N, --repeat=N¶

сколько раз повторять таймер (по умолчанию 3)

-s S, --setup=S¶

инструкция, выполняемая один раз в начале (по умолчанию pass)

-p, --process¶

измерять процессорное время, а не настенное время, используя time.process_time() вместо time.perf_counter(), которое используется по умолчанию

Новое в версии 3.3.

-t, --time¶

использовать time.time() (устарело)

-u, --unit=U¶

указать единицу времени для вывода таймера; можно выбрать usec, msec или sec

Новое в версии 3.5.

-c, --clock¶

использовать time.clock() (устарело)

-v, --verbose¶

выводить необработанные результаты замера; для большей точности (больше знаков) повторите параметр

-h, --help¶

вывести краткое сообщение об использовании и выйти

Многострочная инструкция может быть задана указанием каждой строки как отдельного аргумента statement; строки с отступами возможны путём заключения аргумента в кавычки и использования начальных пробелов. Несколько параметров -s обрабатываются аналогично.

Если -n не указано, подходящее количество циклов вычисляется путём перебора последовательных степеней 10, пока общее время не достигнет хотя бы 0,2 секунды.

На результаты измерений default_timer() могут влиять другие программы, работающие на том же компьютере, поэтому при необходимости точных замеров лучше всего повторить замер несколько раз и использовать наилучшее время. Опция -r хорошо подходит для этого; по умолчанию 3 повторений, вероятно, достаточно в большинстве случаев. Для измерения времени ЦП можно использовать time.process_time().

27.5.4. Примеры¶Examples

Можно указать инструкцию настройки, которая выполняется только один раз в начале:

$ python -m timeit -s 'text = "sample string"; char = "g"'  'char in text'
10000000 loops, best of 3: 0.0877 usec per loop
$ python -m timeit -s 'text = "sample string"; char = "g"'  'text.find(char)'
1000000 loops, best of 3: 0.342 usec per loop

>>> import timeit
>>> timeit.timeit('char in text', setup='text = "sample string"; char = "g"')
0.41440500499993504
>>> timeit.timeit('text.find(char)', setup='text = "sample string"; char = "g"')
1.7246671520006203

То же самое можно сделать с помощью класса Timer и его методов:

>>> import timeit
>>> t = timeit.Timer('char in text', setup='text = "sample string"; char = "g"')
>>> t.timeit()
0.3955516149999312
>>> t.repeat()
[0.40193588800002544, 0.3960157959998014, 0.39594301399984033]

Следующие примеры показывают, как замерять время выполнения выражений, состоящих из нескольких строк. Здесь мы сравниваем затраты на использование hasattr() против try/except для проверки отсутствующих и существующих атрибутов объектов:

$ python -m timeit 'try:' '  str.__bool__' 'except AttributeError:' '  pass'
100000 loops, best of 3: 15.7 usec per loop
$ python -m timeit 'if hasattr(str, "__bool__"): pass'
100000 loops, best of 3: 4.26 usec per loop

$ python -m timeit 'try:' '  int.__bool__' 'except AttributeError:' '  pass'
1000000 loops, best of 3: 1.43 usec per loop
$ python -m timeit 'if hasattr(int, "__bool__"): pass'
100000 loops, best of 3: 2.23 usec per loop

>>> import timeit
>>> # атрибут отсутствует
>>> s = """\
... try:
...     str.__bool__
... except AttributeError:
...     pass
... """
>>> timeit.timeit(stmt=s, number=100000)
0.9138244460009446
>>> s = "if hasattr(str, '__bool__'): pass"
>>> timeit.timeit(stmt=s, number=100000)
0.5829014980008651
>>>
>>> # атрибут присутствует
>>> s = """\
... try:
...     int.__bool__
... except AttributeError:
...     pass
... """
>>> timeit.timeit(stmt=s, number=100000)
0.04215312199994514
>>> s = "if hasattr(int, '__bool__'): pass"
>>> timeit.timeit(stmt=s, number=100000)
0.08588060699912603

Чтобы предоставить модулю timeit доступ к определяемым вами функциям, можно передать параметр setup, содержащий инструкцию import:

def test():
    """Глупая тестовая функция"""
    L = [i for i in range(100)]

if __name__ == '__main__':
    import timeit
    print(timeit.timeit("test()", setup="from __main__ import test"))

Другой вариант – передать globals() параметру globals, что приведёт к выполнению кода в текущем глобальном пространстве имён. Это может быть удобнее, чем указывать импорты по отдельности:

def f(x):
    return x**2
def g(x):
    return x**4
def h(x):
    return x**8

import timeit
print(timeit.timeit('[func(42) for func in (f,g,h)]', globals=globals()))