> **Источник:** https://python-all.ru/3/howto/perf_profiling.html > > «Документация Python на русском» – неофициальный перевод официальной документации Python: версии от 2.6 до 3.16, полнотекстовый поиск, английский оригинал рядом с переводом. Эта Markdown-версия страницы предназначена для работы с LLM: вставьте её в ChatGPT, Claude или Cursor. --- # Поддержка профилировщика `perf` в Linux средствами Python **автор:** Pablo Galindo [Профилировщик perf в Linux](https://python-all.ru/3/howto/perf_profiling.html) – это очень мощный инструмент, позволяющий профилировать и получать информацию о производительности вашего приложения. `perf` также обладает очень живой экосистемой инструментов, помогающих анализировать данные, которые он генерирует. Основная проблема использования профилировщика `perf` с приложениями Python заключается в том, что `perf` получает информацию только о нативных символах, то есть именах функций и процедур, написанных на C. Это означает, что имена и имена файлов функций Python в вашем коде не будут отображаться в выводе `perf`. Since Python 3.12, the interpreter can run in a special mode that allows Python functions to appear in the output of the `perf` profiler. When this mode is enabled, the interpreter will interpose a small piece of code compiled on the fly before the execution of every Python function and it will teach `perf` the relationship between this piece of code and the associated Python function using [perf map files](https://python-all.ru/3/c-api/perfmaps.html). > **Примечание** > > Поддержка профилировщика `perf` в настоящее время доступна только для Linux на отдельных архитектурах. Проверьте вывод шага сборки `configure` или вывод `python -m sysconfig | grep HAVE_PERF_TRAMPOLINE`, чтобы узнать, поддерживается ли ваша система. Например, рассмотрим следующий скрипт: ```python def foo(n): result = 0 for _ in range(n): result += 1 return result def bar(n): foo(n) def baz(n): bar(n) if __name__ == "__main__": baz(1000000) ``` Мы можем запустить `perf` для сбора выборок стеков ЦП с частотой 9999 Гц: ```console $ perf record -F 9999 -g -o perf.data python my_script.py ``` Затем мы можем использовать `perf report` для анализа данных: ```console $ perf report --stdio -n -g # Children Self Samples Command Shared Object Symbol # ........ ........ ............ .......... .................. .......................................... # 91.08% 0.00% 0 python.exe python.exe [.] _start | ---_start | --90.71%--__libc_start_main Py_BytesMain | |--56.88%--pymain_run_python.constprop.0 | | | |--56.13%--_PyRun_AnyFileObject | | _PyRun_SimpleFileObject | | | | | |--55.02%--run_mod | | | | | | | --54.65%--PyEval_EvalCode | | | _PyEval_EvalFrameDefault | | | PyObject_Vectorcall | | | _PyEval_Vector | | | _PyEval_EvalFrameDefault | | | PyObject_Vectorcall | | | _PyEval_Vector | | | _PyEval_EvalFrameDefault | | | PyObject_Vectorcall | | | _PyEval_Vector | | | | | | | |--51.67%--_PyEval_EvalFrameDefault | | | | | | | | | |--11.52%--_PyLong_Add | | | | | | | | | | | |--2.97%--_PyObject_Malloc ... ``` Как видите, функции Python не отображаются в выводе, только `_PyEval_EvalFrameDefault` (функция, вычисляющая байт-код Python). К сожалению, это не очень полезно, потому что все функции Python используют одну и ту же функцию C для вычисления байт-кода, поэтому мы не можем узнать, какая функция Python соответствует какой функции вычисления байт-кода. Вместо этого, если мы запустим тот же эксперимент с включённой поддержкой `perf`, мы получим: ```console $ perf report --stdio -n -g # Children Self Samples Command Shared Object Symbol # ........ ........ ............ .......... .................. ..................................................................... # 90.58% 0.36% 1 python.exe python.exe [.] _start | ---_start | --89.86%--__libc_start_main Py_BytesMain | |--55.43%--pymain_run_python.constprop.0 | | | |--54.71%--_PyRun_AnyFileObject | | _PyRun_SimpleFileObject | | | | | |--53.62%--run_mod | | | | | | | --53.26%--PyEval_EvalCode | | | py:::/src/script.py | | | _PyEval_EvalFrameDefault | | | PyObject_Vectorcall | | | _PyEval_Vector | | | py::baz:/src/script.py | | | _PyEval_EvalFrameDefault | | | PyObject_Vectorcall | | | _PyEval_Vector | | | py::bar:/src/script.py | | | _PyEval_EvalFrameDefault | | | PyObject_Vectorcall | | | _PyEval_Vector | | | py::foo:/src/script.py | | | | | | | |--51.81%--_PyEval_EvalFrameDefault | | | | | | | | | |--13.77%--_PyLong_Add | | | | | | | | | | | |--3.26%--_PyObject_Malloc ``` ## Как включить поддержку профилирования `perf` Поддержку профилирования `perf` можно включить либо с самого начала, используя переменную окружения [`PYTHONPERFSUPPORT`](https://python-all.ru/3/using/cmdline.html#envvar-PYTHONPERFSUPPORT) или параметр [`-X perf`](https://python-all.ru/3/using/cmdline.html#cmdoption-X), либо динамически с помощью [`sys.activate_stack_trampoline()`](https://python-all.ru/3/library/sys.html#sys.activate_stack_trampoline) и [`sys.deactivate_stack_trampoline()`](https://python-all.ru/3/library/sys.html#sys.deactivate_stack_trampoline). Функции `sys` имеют приоритет над параметром `-X`, а параметр `-X` имеет приоритет над переменной окружения. Пример с использованием переменной окружения: ```console $ PYTHONPERFSUPPORT=1 perf record -F 9999 -g -o perf.data python my_script.py $ perf report -g -i perf.data ``` Пример с использованием параметра `-X`: ```console $ perf record -F 9999 -g -o perf.data python -X perf my_script.py $ perf report -g -i perf.data ``` Пример с использованием API [`sys`](https://python-all.ru/3/library/sys.html#module-sys) в файле `example.py`: ```python import sys sys.activate_stack_trampoline("perf") do_profiled_stuff() sys.deactivate_stack_trampoline() non_profiled_stuff() ``` …затем: ```console $ perf record -F 9999 -g -o perf.data python ./example.py $ perf report -g -i perf.data ``` ## Как получить наилучшие результаты Для достижения наилучших результатов Python следует компилировать с `CFLAGS="-fno-omit-frame-pointer -mno-omit-leaf-frame-pointer"`, так как это позволяет профилировщикам выполнять размотку стека, используя только указатель кадра, а не отладочную информацию DWARF. Это связано с тем, что код, вставляемый для поддержки `perf`, генерируется динамически и не имеет доступной отладочной информации DWARF. Вы можете проверить, скомпилирована ли ваша система с этим флагом, выполнив: ```console $ python -m sysconfig | grep 'no-omit-frame-pointer' ``` Если вы не видите никакого вывода, это означает, что ваш интерпретатор не был скомпилирован с указателями фреймов, и поэтому он может не отображать функции Python в выводе `perf`. ## Как работать без указателей на фреймы Если работа ведётся с интерпретатором Python, скомпилированным без указателей на фреймы, всё равно можно использовать профилировщик `perf`, но накладные расходы будут немного выше, поскольку Python'у необходимо на лету генерировать информацию для раскрутки стека при каждом вызове функции Python. Кроме того, `perf` потребуется больше времени на обработку данных, так как придётся использовать отладочную информацию DWARF для раскрутки стека, а это медленный процесс. Чтобы включить этот режим, можно использовать переменную окружения [`PYTHON_PERF_JIT_SUPPORT`](https://python-all.ru/3/using/cmdline.html#envvar-PYTHON_PERF_JIT_SUPPORT) или опцию [`-X perf_jit`](https://python-all.ru/3/using/cmdline.html#cmdoption-X), которая включает режим JIT для профилировщика `perf`. > **Примечание** > > Из-за ошибки в инструменте `perf` с режимом JIT работают только версии `perf` выше v6.8. Исправление также было перенесено в версию v6.7.2 этого инструмента. > > Обратите внимание: при проверке версии инструмента `perf` (что можно сделать, запустив `perf version`) необходимо учитывать, что некоторые дистрибутивы добавляют собственные номера версий, включая символ `-`. Это означает, что `perf 6.7-3` не обязательно равно `perf 6.7.3`. При использовании режима perf JIT необходимо выполнить дополнительный шаг перед запуском `perf report`. Нужно вызвать команду `perf inject`, чтобы внедрить информацию JIT в файл `perf.data`: ```console $ perf record -F 9999 -g -k 1 --call-graph dwarf -o perf.data python -Xperf_jit my_script.py $ perf inject -i perf.data --jit --output perf.jit.data $ perf report -g -i perf.jit.data ``` или используя переменную окружения: ```console $ PYTHON_PERF_JIT_SUPPORT=1 perf record -F 9999 -g --call-graph dwarf -o perf.data python my_script.py $ perf inject -i perf.data --jit --output perf.jit.data $ perf report -g -i perf.jit.data ``` Команда `perf inject --jit` прочитает `perf.data`, автоматически подхватит файл дампа perf, создаваемый Python (в `/tmp/perf-$PID.dump`), и затем создаст `perf.jit.data`, в котором объединяется вся информация JIT. Она также должна создать множество файлов `jitted-XXXX-N.so` в текущем каталоге, которые являются ELF-образами для всех трамплинов JIT, созданных Python. > **Предупреждение** > > При использовании `--call-graph dwarf` инструмент `perf` будет делать снимки стека профилируемого процесса и сохранять информацию в файле `perf.data`. По умолчанию размер дампа стека составляет 8192 байта, но его можно изменить, передав размер после запятой, например `--call-graph dwarf,16384`. > > Размер дампа стека важен: если он слишком мал, `perf` не сможет раскрутить стек, и вывод будет неполным. С другой стороны, если размер слишком велик, `perf` не сможет производить выборку процесса так часто, как хотелось бы, поскольку накладные расходы будут выше. > > Размер стека особенно важен при профилировании кода Python, скомпилированного с низким уровнем оптимизации (например, `-O0`), поскольку такие сборки обычно имеют более крупные стековые фреймы. Если при компиляции Python с `-O0` в выводе профилировщика не видно функций Python, попробуйте увеличить размер дампа стека до 65528 байт (максимум): > > ```console > $ perf record -F 9999 -g -k 1 --call-graph dwarf,65528 -o perf.data python -Xperf_jit my_script.py > ``` > > Разные флаги компиляции могут существенно влиять на размер стека: > > - Сборки с `-O0` обычно имеют гораздо более крупные стековые фреймы, чем сборки с `-O1` или выше. > - Добавление оптимизаций (`-O1`, `-O2` и т.д.) обычно уменьшает размер стека. > - Указатели на фреймы (`-fno-omit-frame-pointer`) обычно обеспечивают более надёжную раскрутку стека.