gdb_helpers.md
1> **Источник:** https://python-all.ru/3.11/howto/gdb_helpers.html2>3> «Документация Python на русском» – неофициальный перевод официальной документации Python: версии от 2.6 до 3.16, полнотекстовый поиск, английский оригинал рядом с переводом. Эта Markdown-версия страницы предназначена для работы с LLM: вставьте её в ChatGPT, Claude или Cursor.45---67# Отладка расширений C API и внутренностей CPython с помощью GDB89Этот документ описывает, как расширение GDB для Python, `python-gdb.py`, может использоваться с отладчиком GDB для отладки расширений CPython и самого интерпретатора CPython.1011При отладке низкоуровневых проблем, таких как крахи или взаимоблокировки, низкоуровневый отладчик, например GDB, полезен для диагностики и исправления проблемы. По умолчанию GDB (или любой его фронтенд) не поддерживает высокоуровневую информацию, специфичную для интерпретатора CPython.1213Расширение `python-gdb.py` добавляет информацию об интерпретаторе CPython в GDB. Расширение помогает интроспектировать стек текущих выполняемых функций Python. При наличии объекта Python, представленного указателем [PyObject](https://python-all.ru/3.11/c-api/structures.html#c.PyObject)\*, расширение показывает тип и значение объекта.1415Разработчики, работающие над расширениями CPython или экспериментирующие с частями CPython, написанными на C, могут использовать этот документ, чтобы узнать, как использовать расширение `python-gdb.py` с GDB.1617> **Примечание**18>19> Этот документ предполагает, что вы знакомы с основами GDB и CPython C API. В нем собраны рекомендации из [devguide](https://python-all.ru/3.11/howto/gdb_helpers.html) и [Python wiki](https://python-all.ru/3.11/howto/gdb_helpers.html).2021## Предварительные требования2223Вам потребуется:2425- GDB версии 7 или новее. (Для более ранних версий GDB см. `Misc/gdbinit` в исходниках CPython. Обратите внимание, что этот файл будет удалён в Python 3.12.)26- Отладочная информация, совместимая с GDB, для Python и любых расширений, которые вы отлаживаете.27- Расширение `python-gdb.py`.2829Расширение собирается вместе с Python, но может распространяться отдельно или не распространяться вовсе. Ниже приведены советы для нескольких распространенных систем в качестве примеров. Обратите внимание: даже если инструкции соответствуют вашей системе, они могут быть устаревшими.3031### Настройка для сборки Python из исходного кода3233При сборке CPython из исходного кода отладочная информация должна быть доступна, и сборка должна добавить файл `python-gdb.py` в корневой каталог вашего репозитория.3435Чтобы активировать поддержку, необходимо добавить каталог, содержащий `python-gdb.py`, в «auto-load-safe-path» GDB. Если вы этого не сделали, последние версии GDB выведут предупреждение с инструкциями, как это сделать.3637> **Примечание**38>39> Если вы не видите инструкций для вашей версии GDB, добавьте это в ваш конфигурационный файл (`~/.gdbinit` или `~/.config/gdb/gdbinit`):40>41> ```text42> add-auto-load-safe-path /path/to/cpython43> ```44>45> Также можно добавить несколько путей, разделенных `:`.4647### Настройка для Python из дистрибутива Linux4849Большинство систем Linux предоставляют отладочную информацию для системного Python в пакете с именем `python-debuginfo`, `python-dbg` или подобном. Например:5051- Fedora:5253 > ```shell54 > sudo dnf install gdb55 > sudo dnf debuginfo-install python356 > ```57- Ubuntu:5859 > ```shell60 > sudo apt install gdb python3-dbg61 > ```6263В некоторых современных системах Linux GDB может автоматически загружать отладочные символы с помощью *debuginfod*. Однако это не установит расширение `python-gdb.py`; обычно требуется установить пакет с отладочной информацией отдельно.6465## Использование отладочной сборки и режима разработки6667Для упрощения отладки может быть полезно:6869- Используйте [отладочную сборку](https://python-all.ru/3.11/using/configure.html#debug-build) Python. (При сборке из исходного кода используйте `configure --with-pydebug`. В дистрибутивах Linux установите и запустите пакет наподобие `python-debug` или `python-dbg`, если они доступны.)70- Используйте [режим разработки](https://python-all.ru/3.11/library/devmode.html#devmode) во время выполнения (`-X dev`).7172Оба включают дополнительные проверки и отключают некоторые оптимизации. Иногда это скрывает искомую ошибку, но в большинстве случаев они упрощают процесс.7374## Использование расширения `python-gdb`7576После загрузки расширения оно предоставляет две основные возможности: форматировщики вывода (pretty printers) для значений Python и дополнительные команды.7778### Форматировщики вывода (pretty printers)7980Вот как выглядит обратная трассировка GDB (сокращённая) при включённом расширении:8182```text83#0 0x000000000041a6b1 in PyObject_Malloc (nbytes=Cannot access memory at address 0x7fffff7fefe884) at Objects/obmalloc.c:74885#1 0x000000000041b7c0 in _PyObject_DebugMallocApi (id=111 'o', nbytes=24) at Objects/obmalloc.c:144586#2 0x000000000041b717 in _PyObject_DebugMalloc (nbytes=24) at Objects/obmalloc.c:141287#3 0x000000000044060a in _PyUnicode_New (length=11) at Objects/unicodeobject.c:34688#4 0x00000000004466aa in PyUnicodeUCS2_DecodeUTF8Stateful (s=0x5c2b8d "__lltrace__", size=11, errors=0x0, consumed=89 0x0) at Objects/unicodeobject.c:253190#5 0x0000000000446647 in PyUnicodeUCS2_DecodeUTF8 (s=0x5c2b8d "__lltrace__", size=11, errors=0x0)91 at Objects/unicodeobject.c:249592#6 0x0000000000440d1b in PyUnicodeUCS2_FromStringAndSize (u=0x5c2b8d "__lltrace__", size=11)93 at Objects/unicodeobject.c:55194#7 0x0000000000440d94 in PyUnicodeUCS2_FromString (u=0x5c2b8d "__lltrace__") at Objects/unicodeobject.c:56995#8 0x0000000000584abd in PyDict_GetItemString (v=96 {'Yuck': <type at remote 0xad4730>, '__builtins__': <module at remote 0x7ffff7fd5ee8>, '__file__': 'Lib/test/crashers/nasty_eq_vs_dict.py', '__package__': None, 'y': <Yuck(i=0) at remote 0xaacd80>, 'dict': {0: 0, 1: 1, 2: 2, 3: 3}, '__cached__': None, '__name__': '__main__', 'z': <Yuck(i=0) at remote 0xaace60>, '__doc__': None}, key=97 0x5c2b8d "__lltrace__") at Objects/dictobject.c:217198```99100Обратите внимание, как аргумент-словарь `PyDict_GetItemString` отображается как его `repr()`, а не как непрозрачный указатель `PyObject *`.101102Расширение работает за счёт предоставления собственной процедуры печати для значений типа `PyObject *`. Если нужно получить доступ к низкоуровневым деталям объекта, приведите значение к указателю подходящего типа. Например:103104```text105(gdb) p globals106$1 = {'__builtins__': <module at remote 0x7ffff7fb1868>, '__name__':107'__main__', 'ctypes': <module at remote 0x7ffff7f14360>, '__doc__': None,108'__package__': None}109110(gdb) p *(PyDictObject*)globals111$2 = {ob_refcnt = 3, ob_type = 0x3dbdf85820, ma_fill = 5, ma_used = 5,112ma_mask = 7, ma_table = 0x63d0f8, ma_lookup = 0x3dbdc7ea70113<lookdict_string>, ma_smalltable = {{me_hash = 7065186196740147912,114me_key = '__builtins__', me_value = <module at remote 0x7ffff7fb1868>},115{me_hash = -368181376027291943, me_key = '__name__',116me_value ='__main__'}, {me_hash = 0, me_key = 0x0, me_value = 0x0},117{me_hash = 0, me_key = 0x0, me_value = 0x0},118{me_hash = -9177857982131165996, me_key = 'ctypes',119me_value = <module at remote 0x7ffff7f14360>},120{me_hash = -8518757509529533123, me_key = '__doc__', me_value = None},121{me_hash = 0, me_key = 0x0, me_value = 0x0}, {122 me_hash = 6614918939584953775, me_key = '__package__', me_value = None}}}123```124125Обратите внимание: pretty printers не вызывают `repr()`. Для базовых типов они стараются точно воспроизвести его результат.126127Область, которая может сбивать с толку: пользовательский форматировщик для некоторых типов очень похож на встроенный форматировщик GDB для стандартных типов. Например, pretty-printer для Python `int` ([PyLongObject](https://python-all.ru/3.11/c-api/long.html#c.PyLongObject)\*) выдаёт представление, которое невозможно отличить от представления обычного машинного целого числа:128129```text130(gdb) p some_machine_integer131$3 = 42132133(gdb) p some_python_integer134$4 = 42135```136137Внутреннюю структуру можно увидеть, приведя к [PyLongObject](https://python-all.ru/3.11/c-api/long.html#c.PyLongObject)\*:138139> (gdb) p *(PyLongObject*)some\_python\_integer $5 = {ob\_base = {ob\_base = {ob\_refcnt = 8, ob\_type = 0x3dad39f5e0}, ob\_size = 1}, ob\_digit = {42}}140141Подобная путаница может возникнуть с типом `str`, когда вывод очень похож на встроенный форматировщик GDB для `char *`:142143```text144(gdb) p ptr_to_python_str145$6 = '__builtins__'146```147148Pretty-printer для экземпляров `str` по умолчанию использует одинарные кавычки (как и `repr` Python для строк), тогда как стандартный форматировщик для значений `char *` использует двойные кавычки и содержит шестнадцатеричный адрес:149150```text151(gdb) p ptr_to_char_star152$7 = 0x6d72c0 "hello world"153```154155Опять же, детали реализации можно увидеть, приведя к [PyUnicodeObject](https://python-all.ru/3.11/c-api/unicode.html#c.PyUnicodeObject)\*:156157```text158(gdb) p *(PyUnicodeObject*)$6159$8 = {ob_base = {ob_refcnt = 33, ob_type = 0x3dad3a95a0}, length = 12,160str = 0x7ffff2128500, hash = 7065186196740147912, state = 1, defenc = 0x0}161```162163### `py-list`164165> Расширение добавляет команду `py-list`, которая выводит исходный код Python (если есть) для текущего фрейма в выбранном потоке. Текущая строка помечается символом “\>”:166>167> ```text168> (gdb) py-list169> 901 if options.profile:170> 902 options.profile = False171> 903 profile_me()172> 904 return173> 905174> >906 u = UI()175> 907 if not u.quit:176> 908 try:177> 909 gtk.main()178> 910 except KeyboardInterrupt:179> 911 # properly quit on a keyboard interrupt...180> ```181>182> Используйте `py-list START` для вывода начиная с другой строки в исходном коде Python, а `py-list START,END` для вывода определённого диапазона строк в исходном коде Python.183184### `py-up` и `py-down`185186> Команды `py-up` и `py-down` аналогичны обычным командам GDB `up` и `down`, но пытаются перемещаться на уровне фреймов CPython, а не C-фреймов.187>188> GDB не всегда может прочитать соответствующую информацию о фрейме, в зависимости от уровня оптимизации, с которым был скомпилирован CPython. Внутренне эти команды ищут C-фреймы, в которых выполняется функция вычисления фреймов по умолчанию (то есть основной цикл интерпретатора байткода внутри CPython) и находят значение соответствующего `PyFrameObject *`.189>190> Они выводят номер фрейма (на уровне C) в пределах потока.191>192> Например:193>194> ```text195> (gdb) py-up196> #37 Frame 0x9420b04, for file /usr/lib/python2.6/site-packages/197> gnome_sudoku/main.py, line 906, in start_game ()198> u = UI()199> (gdb) py-up200> #40 Frame 0x948e82c, for file /usr/lib/python2.6/site-packages/201> gnome_sudoku/gnome_sudoku.py, line 22, in start_game(main=<module at remote 0xb771b7f4>)202> main.start_game()203> (gdb) py-up204> Unable to find an older python frame205> ```206>207> итак, мы на вершине стека Python.208>209> Номера фреймов соответствуют тем, что выводятся стандартной командой GDB `backtrace`. Команда пропускает C-фреймы, в которых не выполняется код Python.210>211> Спускаемся обратно:212>213> ```text214> (gdb) py-down215> #37 Frame 0x9420b04, for file /usr/lib/python2.6/site-packages/gnome_sudoku/main.py, line 906, in start_game ()216> u = UI()217> (gdb) py-down218> #34 (unable to read python frame information)219> (gdb) py-down220> #23 (unable to read python frame information)221> (gdb) py-down222> #19 (unable to read python frame information)223> (gdb) py-down224> #14 Frame 0x99262ac, for file /usr/lib/python2.6/site-packages/gnome_sudoku/game_selector.py, line 201, in run_swallowed_dialog (self=<NewOrSavedGameSelector(new_game_model=<gtk.ListStore at remote 0x98fab44>, puzzle=None, saved_games=[{'gsd.auto_fills': 0, 'tracking': {}, 'trackers': {}, 'notes': [], 'saved_at': 1270084485, 'game': '7 8 0 0 0 0 0 5 6 0 0 9 0 8 0 1 0 0 0 4 6 0 0 0 0 7 0 6 5 0 0 0 4 7 9 2 0 0 0 9 0 1 0 0 0 3 9 7 6 0 0 0 1 8 0 6 0 0 0 0 2 8 0 0 0 5 0 4 0 6 0 0 2 1 0 0 0 0 0 4 5\n7 8 0 0 0 0 0 5 6 0 0 9 0 8 0 1 0 0 0 4 6 0 0 0 0 7 0 6 5 1 8 3 4 7 9 2 0 0 0 9 0 1 0 0 0 3 9 7 6 0 0 0 1 8 0 6 0 0 0 0 2 8 0 0 0 5 0 4 0 6 0 0 2 1 0 0 0 0 0 4 5', 'gsd.impossible_hints': 0, 'timer.__absolute_start_time__': <float at remote 0x984b474>, 'gsd.hints': 0, 'timer.active_time': <float at remote 0x984b494>, 'timer.total_time': <float at remote 0x984b464>}], dialog=<gtk.Dialog at remote 0x98faaa4>, saved_game_model=<gtk.ListStore at remote 0x98fad24>, sudoku_maker=<SudokuMaker(terminated=False, played=[], batch_siz...(truncated)225> swallower.run_dialog(self.dialog)226> (gdb) py-down227> #11 Frame 0x9aead74, for file /usr/lib/python2.6/site-packages/gnome_sudoku/dialog_swallower.py, line 48, in run_dialog (self=<SwappableArea(running=<gtk.Dialog at remote 0x98faaa4>, main_page=0) at remote 0x98fa6e4>, d=<gtk.Dialog at remote 0x98faaa4>)228> gtk.main()229> (gdb) py-down230> #8 (unable to read python frame information)231> (gdb) py-down232> Unable to find a newer python frame233> ```234>235> и мы на дне стека Python.236237### `py-bt`238239> Команда `py-bt` пытается показать обратную трассировку на уровне Python текущего потока.240>241> Например:242>243> ```text244> (gdb) py-bt245> #8 (unable to read python frame information)246> #11 Frame 0x9aead74, for file /usr/lib/python2.6/site-packages/gnome_sudoku/dialog_swallower.py, line 48, in run_dialog (self=<SwappableArea(running=<gtk.Dialog at remote 0x98faaa4>, main_page=0) at remote 0x98fa6e4>, d=<gtk.Dialog at remote 0x98faaa4>)247> gtk.main()248> #14 Frame 0x99262ac, for file /usr/lib/python2.6/site-packages/gnome_sudoku/game_selector.py, line 201, in run_swallowed_dialog (self=<NewOrSavedGameSelector(new_game_model=<gtk.ListStore at remote 0x98fab44>, puzzle=None, saved_games=[{'gsd.auto_fills': 0, 'tracking': {}, 'trackers': {}, 'notes': [], 'saved_at': 1270084485, 'game': '7 8 0 0 0 0 0 5 6 0 0 9 0 8 0 1 0 0 0 4 6 0 0 0 0 7 0 6 5 0 0 0 4 7 9 2 0 0 0 9 0 1 0 0 0 3 9 7 6 0 0 0 1 8 0 6 0 0 0 0 2 8 0 0 0 5 0 4 0 6 0 0 2 1 0 0 0 0 0 4 5\n7 8 0 0 0 0 0 5 6 0 0 9 0 8 0 1 0 0 0 4 6 0 0 0 0 7 0 6 5 1 8 3 4 7 9 2 0 0 0 9 0 1 0 0 0 3 9 7 6 0 0 0 1 8 0 6 0 0 0 0 2 8 0 0 0 5 0 4 0 6 0 0 2 1 0 0 0 0 0 4 5', 'gsd.impossible_hints': 0, 'timer.__absolute_start_time__': <float at remote 0x984b474>, 'gsd.hints': 0, 'timer.active_time': <float at remote 0x984b494>, 'timer.total_time': <float at remote 0x984b464>}], dialog=<gtk.Dialog at remote 0x98faaa4>, saved_game_model=<gtk.ListStore at remote 0x98fad24>, sudoku_maker=<SudokuMaker(terminated=False, played=[], batch_siz...(truncated)249> swallower.run_dialog(self.dialog)250> #19 (unable to read python frame information)251> #23 (unable to read python frame information)252> #34 (unable to read python frame information)253> #37 Frame 0x9420b04, for file /usr/lib/python2.6/site-packages/gnome_sudoku/main.py, line 906, in start_game ()254> u = UI()255> #40 Frame 0x948e82c, for file /usr/lib/python2.6/site-packages/gnome_sudoku/gnome_sudoku.py, line 22, in start_game (main=<module at remote 0xb771b7f4>)256> main.start_game()257> ```258>259> Номера фреймов соответствуют тем, что выводятся стандартной командой GDB `backtrace`.260261### `py-print`262263> Команда `py-print` ищет имя Python и пытается его вывести. Поиск производится сначала в локальных переменных текущего потока, затем в глобальных, и наконец во встроенных (builtins):264>265> ```text266> (gdb) py-print self267> local 'self' = <SwappableArea(running=<gtk.Dialog at remote 0x98faaa4>,268> main_page=0) at remote 0x98fa6e4>269> (gdb) py-print __name__270> global '__name__' = 'gnome_sudoku.dialog_swallower'271> (gdb) py-print len272> builtin 'len' = <built-in function len>273> (gdb) py-print scarlet_pimpernel274> 'scarlet_pimpernel' not found275> ```276277### `py-locals`278279> Команда `py-locals` ищет все локальные переменные Python в текущем Python-фрейме в выбранном потоке и выводит их представления:280>281> ```text282> (gdb) py-locals283> self = <SwappableArea(running=<gtk.Dialog at remote 0x98faaa4>,284> main_page=0) at remote 0x98fa6e4>285> d = <gtk.Dialog at remote 0x98faaa4>286> ```287288## Использование с командами GDB289290Команды расширения дополняют встроенные команды GDB. Например, можно использовать номера фреймов из вывода `py-bt` с командой `frame`, чтобы перейти к определенному фрейму в выбранном потоке, вот так:291292```text293(gdb) py-bt294(output snipped)295#68 Frame 0xaa4560, for file Lib/test/regrtest.py, line 1548, in <module> ()296 main()297(gdb) frame 68298#68 0x00000000004cd1e6 in PyEval_EvalFrameEx (f=Frame 0xaa4560, for file Lib/test/regrtest.py, line 1548, in <module> (), throwflag=0) at Python/ceval.c:26652992665 x = call_function(&sp, oparg);300(gdb) py-list3011543 # Run the tests in a context manager that temporary changes the CWD to a3021544 # temporary and writable directory. If it's not possible to create or3031545 # change the CWD, the original CWD will be used. The original CWD is3041546 # available from test_support.SAVEDCWD.3051547 with test_support.temp_cwd(TESTCWD, quiet=True):306>1548 main()307```308309Команда `info threads` выводит список потоков внутри процесса, а командой `thread` можно выбрать другой поток:310311```text312(gdb) info threads313 105 Thread 0x7fffefa18710 (LWP 10260) sem_wait () at ../nptl/sysdeps/unix/sysv/linux/x86_64/sem_wait.S:86314 104 Thread 0x7fffdf5fe710 (LWP 10259) sem_wait () at ../nptl/sysdeps/unix/sysv/linux/x86_64/sem_wait.S:86315* 1 Thread 0x7ffff7fe2700 (LWP 10145) 0x00000038e46d73e3 in select () at ../sysdeps/unix/syscall-template.S:82316```317318Можно использовать `thread apply all COMMAND` (или сокращённо `t a a COMMAND`) для запуска команды на всех потоках. Вместе с `py-bt` это позволяет увидеть, чем занят каждый поток на уровне Python:319320```text321(gdb) t a a py-bt322323Thread 105 (Thread 0x7fffefa18710 (LWP 10260)):324#5 Frame 0x7fffd00019d0, for file /home/david/coding/python-svn/Lib/threading.py, line 155, in _acquire_restore (self=<_RLock(_Verbose__verbose=False, _RLock__owner=140737354016512, _RLock__block=<thread.lock at remote 0x858770>, _RLock__count=1) at remote 0xd7ff40>, count_owner=(1, 140737213728528), count=1, owner=140737213728528)325 self.__block.acquire()326#8 Frame 0x7fffac001640, for file /home/david/coding/python-svn/Lib/threading.py, line 269, in wait (self=<_Condition(_Condition__lock=<_RLock(_Verbose__verbose=False, _RLock__owner=140737354016512, _RLock__block=<thread.lock at remote 0x858770>, _RLock__count=1) at remote 0xd7ff40>, acquire=<instancemethod at remote 0xd80260>, _is_owned=<instancemethod at remote 0xd80160>, _release_save=<instancemethod at remote 0xd803e0>, release=<instancemethod at remote 0xd802e0>, _acquire_restore=<instancemethod at remote 0xd7ee60>, _Verbose__verbose=False, _Condition__waiters=[]) at remote 0xd7fd10>, timeout=None, waiter=<thread.lock at remote 0x858a90>, saved_state=(1, 140737213728528))327 self._acquire_restore(saved_state)328#12 Frame 0x7fffb8001a10, for file /home/david/coding/python-svn/Lib/test/lock_tests.py, line 348, in f ()329 cond.wait()330#16 Frame 0x7fffb8001c40, for file /home/david/coding/python-svn/Lib/test/lock_tests.py, line 37, in task (tid=140737213728528)331 f()332333Thread 104 (Thread 0x7fffdf5fe710 (LWP 10259)):334#5 Frame 0x7fffe4001580, for file /home/david/coding/python-svn/Lib/threading.py, line 155, in _acquire_restore (self=<_RLock(_Verbose__verbose=False, _RLock__owner=140737354016512, _RLock__block=<thread.lock at remote 0x858770>, _RLock__count=1) at remote 0xd7ff40>, count_owner=(1, 140736940992272), count=1, owner=140736940992272)335 self.__block.acquire()336#8 Frame 0x7fffc8002090, for file /home/david/coding/python-svn/Lib/threading.py, line 269, in wait (self=<_Condition(_Condition__lock=<_RLock(_Verbose__verbose=False, _RLock__owner=140737354016512, _RLock__block=<thread.lock at remote 0x858770>, _RLock__count=1) at remote 0xd7ff40>, acquire=<instancemethod at remote 0xd80260>, _is_owned=<instancemethod at remote 0xd80160>, _release_save=<instancemethod at remote 0xd803e0>, release=<instancemethod at remote 0xd802e0>, _acquire_restore=<instancemethod at remote 0xd7ee60>, _Verbose__verbose=False, _Condition__waiters=[]) at remote 0xd7fd10>, timeout=None, waiter=<thread.lock at remote 0x858860>, saved_state=(1, 140736940992272))337 self._acquire_restore(saved_state)338#12 Frame 0x7fffac001c90, for file /home/david/coding/python-svn/Lib/test/lock_tests.py, line 348, in f ()339 cond.wait()340#16 Frame 0x7fffac0011c0, for file /home/david/coding/python-svn/Lib/test/lock_tests.py, line 37, in task (tid=140736940992272)341 f()342343Thread 1 (Thread 0x7ffff7fe2700 (LWP 10145)):344#5 Frame 0xcb5380, for file /home/david/coding/python-svn/Lib/test/lock_tests.py, line 16, in _wait ()345 time.sleep(0.01)346#8 Frame 0x7fffd00024a0, for file /home/david/coding/python-svn/Lib/test/lock_tests.py, line 378, in _check_notify (self=<ConditionTests(_testMethodName='test_notify', _resultForDoCleanups=<TestResult(_original_stdout=<cStringIO.StringO at remote 0xc191e0>, skipped=[], _mirrorOutput=False, testsRun=39, buffer=False, _original_stderr=<file at remote 0x7ffff7fc6340>, _stdout_buffer=<cStringIO.StringO at remote 0xc9c7f8>, _stderr_buffer=<cStringIO.StringO at remote 0xc9c790>, _moduleSetUpFailed=False, expectedFailures=[], errors=[], _previousTestClass=<type at remote 0x928310>, unexpectedSuccesses=[], failures=[], shouldStop=False, failfast=False) at remote 0xc185a0>, _threads=(0,), _cleanups=[], _type_equality_funcs={<type at remote 0x7eba00>: <instancemethod at remote 0xd750e0>, <type at remote 0x7e7820>: <instancemethod at remote 0xd75160>, <type at remote 0x7e30e0>: <instancemethod at remote 0xd75060>, <type at remote 0x7e7d20>: <instancemethod at remote 0xd751e0>, <type at remote 0x7f19e0...(truncated)347 _wait()348```349