Документация Python неофициальный перевод
Содержание страницы

test – пакет регрессионных тестов для Pythontest – Regression tests package for Python

Примечание

Пакет test предназначен только для внутреннего использования Python. Он dокументирован для разработчиков ядра Python. Использование этого пакета за пределами стандартной библиотеки Python не рекомендуется, так как упомянутый здесь код может быть изменён или удалён без уведомления между выпусками Python.

Пакет test содержит все регрессионные тесты для Python, а также модули test.support и test.regrtest. test.support используется для расширения возможностей тестов, а test.regrtest управляет набором тестов.

Каждый модуль в пакете test, имя которого начинается с test_, является набором тестов для конкретного модуля или функции. Все новые тесты следует писать с использованием модулей unittest или doctest. Некоторые старые тесты написаны в «традиционном» стиле тестирования, сравнивающем вывод, направленный в sys.stdout; такой стиль теста считается устаревшим.

См. также

Модуль unittest

Написание регрессионных тестов PyUnit.

Модуль doctest

Тесты, встроенные в строки документации.

Написание модульных тестов для пакета testWriting Unit Tests for the test package

Для тестов, использующих модуль unittest, рекомендуется следовать нескольким правилам. Одно из них – называть модуль тестов, начиная его имя с test_ и заканчивая названием тестируемого модуля. Методы тестов в модуле тестирования должны начинаться с test_ и заканчиваться описанием того, что метод тестирует. Это необходимо, чтобы тестовый драйвер распознавал методы как тестовые. Кроме того, не следует включать строку документации для метода. Вместо этого следует использовать комментарий (например, # Tests function returns only True or False) для документирования тестовых методов. Это связано с тем, что строки документации выводятся на печать, если они существуют, и таким образом не указывается, какой именно тест выполняется.

Часто используется стандартная заготовка:

import unittest
from test import support

class MyTestCase1(unittest.TestCase):

    # Используйте setUp() и tearDown() только при необходимости

    def setUp(self):
        ... code to execute in preparation for tests ...

    def tearDown(self):
        ... code to execute to clean up after tests ...

    def test_feature_one(self):
        # Тест первой возможности.
        ... testing code ...

    def test_feature_two(self):
        # Тест второй возможности.
        ... testing code ...

    ... more test methods ...

class MyTestCase2(unittest.TestCase):
    ... same structure as MyTestCase1 ...

... more test classes ...

if __name__ == '__main__':
    unittest.main()

Этот шаблон кода позволяет запускать набор тестов с помощью test.regrtest, самостоятельно как скрипт, поддерживающий CLI unittest, или через CLI python -m unittest.

Цель регрессионного тестирования – попытаться сломать код. Это приводит к нескольким правилам, которым следует следовать:

  • Набор тестов должен задействовать все классы, функции и константы. Это включает не только внешний API, который будет представлен внешнему миру, но и «приватный» код.

  • Предпочтительно тестирование методом белого ящика (анализ тестируемого кода при написании тестов). Тестирование методом чёрного ящика (тестирование только опубликованного пользовательского интерфейса) недостаточно для проверки всех граничных и крайних случаев.

  • Убедитесь, что все возможные значения протестированы, включая недопустимые. Это гарантирует, что не только все допустимые значения принимаются, но и неправильные значения обрабатываются корректно.

  • Исчерпайте как можно больше путей выполнения кода. Тестируйте места ветвления и соответственно подбирайте входные данные, чтобы гарантировать, что проходит как можно больше различных путей.

  • Добавляйте явные тесты для любых ошибок, обнаруженных в тестируемом коде. Это гарантирует, что ошибка не возникнет снова, если код будет изменён в будущем.

  • Убедитесь, что после тестов выполнена очистка (например, закрыты и удалены все временные файлы).

  • Если тест зависит от конкретного условия операционной системы, то проверьте, что условие уже выполняется, прежде чем запускать тест.

  • Импортируйте как можно меньше модулей и делайте это как можно раньше. Это минимизирует внешние зависимости тестов, а также уменьшает возможные аномальные поведения из-за побочных эффектов импорта модуля.

  • Старайтесь максимально повторно использовать код. Иногда тесты могут различаться такой мелочью, как тип используемых входных данных. Минимизируйте дублирование кода, создавая подкласс базового тестового класса, который определяет входные данные:

    class TestFuncAcceptsSequencesMixin:

    func = mySuperWhammyFunction

    def test_func(self):
        self.func(self.arg)

class AcceptLists(TestFuncAcceptsSequencesMixin, unittest.TestCase):
    arg = [1, 2, 3]

class AcceptStrings(TestFuncAcceptsSequencesMixin, unittest.TestCase):
    arg = 'abc'

class AcceptTuples(TestFuncAcceptsSequencesMixin, unittest.TestCase):
    arg = (1, 2, 3)

    При использовании этого шаблона помните, что все классы, наследующие от unittest.TestCase, запускаются как тесты. Класс Mixin в приведённом выше примере не содержит никаких данных и поэтому не может быть запущен сам по себе, следовательно, он не наследует от unittest.TestCase.

См. также

Разработка через тестирование

Книга Кента Бека о написании тестов до кода.

Запуск тестов с помощью интерфейса командной строкиRunning tests using the command-line interface

Пакет test может быть запущен как скрипт для выполнения набора регрессионных тестов Python благодаря опции -m: python -m test. Под капотом он использует test.regrtest; вызов python -m test.regrtest, использовавшийся в предыдущих версиях Python, по-прежнему работает. При самостоятельном запуске скрипт автоматически начинает выполнение всех регрессионных тестов пакета test. Это делается путём поиска всех модулей в пакете, имена которых начинаются с test_, их импорта и выполнения функции test_main(), если она присутствует, или загрузки тестов через unittest.TestLoader.loadTestsFromModule, если test_main не существует. Также скрипту можно передать имена тестов для выполнения. Указание одного регрессионного теста (python -m test test_spam) минимизирует вывод и будет показано только, прошёл тест или нет.

Запуск test напрямую позволяет задать, какие ресурсы доступны для использования тестами. Для этого используется опция командной строки -u. Указание all в качестве значения опции -u включает все возможные ресурсы: python -m test -uall. Если нужны все ресурсы, кроме одного (более частый случай), после all можно указать разделённый запятыми список ненужных ресурсов. Команда python -m test -uall,-audio,-largefile запустит test со всеми ресурсами, кроме audio и largefile. Список всех ресурсов и дополнительные параметры командной строки можно узнать, выполнив python -m test -h.

Некоторые другие способы выполнения регрессионных тестов зависят от платформы, на которой они выполняются. В Unix можно выполнить make test в корневом каталоге сборки Python. В Windows выполнение rt.bat из каталога PCbuild запустит все регрессионные тесты.

test.support – Утилиты для набора тестов Pythontest.support – Utilities for the Python test suite

Модуль test.support предоставляет поддержку для набора регрессионных тестов Python.

Примечание

test.support не является публичным модулем. Он документирован здесь, чтобы помочь разработчикам Python писать тесты. API этого модуля может измениться без соблюдения обратной совместимости между выпусками.

В этом модуле определены следующие исключения:

exception test.support.TestFailed

Исключение, которое вызывается при неудаче теста. Устарело в пользу тестов на основе unittest и методов утверждений unittest.TestCase.

exception test.support.ResourceDenied

Подкласс unittest.SkipTest. Возбуждается, когда ресурс (например, сетевое соединение) недоступен. Возбуждается функцией requires().

Модуль test.support определяет следующие константы:

test.support.verbose

True, если включен подробный вывод. Следует проверять, когда требуется более детальная информация о выполняющемся тесте. verbose устанавливается test.regrtest.

test.support.is_jython

True, если запущенный интерпретатор – Jython.

test.support.is_android

True если система – Android.

test.support.unix_shell

Путь к оболочке, если не в Windows; иначе None.

test.support.FS_NONASCII

Не-ASCII символ, который может быть закодирован с помощью os.fsencode().

test.support.TESTFN

Устанавливается в имя, безопасное для использования в качестве имени временного файла. Любой созданный временный файл должен быть закрыт и удалён.

test.support.TESTFN_UNICODE

Устанавливается в не-ASCII имя для временного файла.

test.support.TESTFN_ENCODING

Устанавливается в sys.getfilesystemencoding().

test.support.TESTFN_UNENCODABLE

Устанавливается в имя файла (тип str), которое не должно поддаваться кодированию кодировкой файловой системы в строгом режиме. Может быть None, если невозможно сгенерировать такое имя файла.

test.support.TESTFN_UNDECODABLE

Устанавливается в имя файла (тип bytes), которое не должно поддаваться декодированию кодировкой файловой системы в строгом режиме. Может быть None, если невозможно сгенерировать такое имя файла.

test.support.TESTFN_NONASCII

Задаётся имя файла, содержащее символ FS_NONASCII.

test.support.IPV6_ENABLED

Устанавливается в True, если на данном узле включён IPv6, иначе – False.

test.support.SAVEDCWD

Устанавливается в os.getcwd().

test.support.PGO

Устанавливается, когда тесты можно пропускать, если они не полезны для PGO.

test.support.PIPE_MAX_SIZE

Константа, которая, вероятно, больше размера буфера системного канала (pipe), чтобы сделать запись блокирующей.

test.support.SOCK_MAX_SIZE

Константа, которая, вероятно, больше размера буфера сокета операционной системы, чтобы сделать запись блокирующей.

test.support.TEST_SUPPORT_DIR

Устанавливается в корневой каталог, содержащий test.support.

test.support.TEST_HOME_DIR

Устанавливается в корневой каталог тестового пакета.

test.support.TEST_DATA_DIR

Устанавливается в каталог data внутри тестового пакета.

test.support.MAX_Py_ssize_t

Устанавливается в sys.maxsize для тестов с большим потреблением памяти.

test.support.max_memuse

Устанавливается set_memlimit() как ограничение памяти для тестов с большим потреблением памяти. Ограничено MAX_Py_ssize_t.

test.support.real_max_memuse

Устанавливается set_memlimit() как ограничение памяти для тестов с большим потреблением памяти. Не ограничено MAX_Py_ssize_t.

test.support.MISSING_C_DOCSTRINGS

Возвращает True, если выполняется на CPython, не на Windows, и конфигурация не задана через WITH_DOC_STRINGS.

test.support.HAVE_DOCSTRINGS

Проверяет наличие докстрингов.

test.support.TEST_HTTP_URL

Определяет URL выделенного HTTP-сервера для сетевых тестов.

test.support.ALWAYS_EQ

Объект, который равен чему угодно. Используется для проверки сравнения смешанных типов.

test.support.LARGEST

Объект, который больше всего (кроме самого себя). Используется для проверки сравнения смешанных типов.

test.support.SMALLEST

Объект, который меньше всего (кроме самого себя). Используется для проверки сравнения смешанных типов.

Модуль test.support определяет следующие функции:

test.support.forget(module_name)

Удаляет модуль module_name из sys.modules и удаляет все скомпилированные в байт-код файлы этого модуля.

test.support.unload(name)

Удаляет name из sys.modules.

Вызывает os.unlink() для filename. На платформах Windows эта операция обёрнута в цикл ожидания, проверяющий существование файла.

test.support.rmdir(filename)

Вызывает os.rmdir() на filename. На платформах Windows эта операция обёрнута в цикл ожидания, который проверяет существование файла.

test.support.rmtree(path)

Вызывает shutil.rmtree() на path или вызывает os.lstat() и os.rmdir() для удаления пути и его содержимого. На платформах Windows эта операция обёрнута в цикл ожидания, который проверяет существование файлов.

test.support.make_legacy_pyc(source)

Перемещает PEP 3147/PEP 488 pyc-файл в его устаревшее (legacy) расположение pyc и возвращает путь в файловой системе к этому устаревшему pyc-файлу. Значение source – это путь в файловой системе к исходному файлу. Он может отсутствовать, но сам PEP 3147/488 pyc-файл должен существовать.

test.support.is_resource_enabled(resource)

Возвращает True, если resource включён и доступен. Список доступных ресурсов задаётся только при выполнении тестов test.regrtest.

test.support.python_is_optimized()

Возвращает True, если Python был собран без -O0 или -Og.

test.support.with_pymalloc()

Вернуть _testcapi.WITH_PYMALLOC.

test.support.requires(resource, msg=None)

Возбуждает ResourceDenied, если resource недоступен. msg – это аргумент для ResourceDenied, если он возбуждается. Всегда возвращает True, если вызвана из функции, чей __name__ равен '__main__'. Используется при выполнении тестов с помощью test.regrtest.

test.support.system_must_validate_cert(f)

Возбуждает unittest.SkipTest при ошибках проверки сертификата TLS.

test.support.sortdict(dict)

Возвращает repr dict с отсортированными ключами.

test.support.findfile(filename, subdir=None)

Возвращает путь к файлу с именем filename. Если совпадений не найдено, возвращается filename. Это не считается ошибкой, так как оно может быть путём к файлу.

Установка subdir задаёт относительный путь для поиска файла, а не прямой поиск в каталогах пути.

test.support.create_empty_file(filename)

Создаёт пустой файл с именем filename. Если файл уже существует, усекает его.

test.support.fd_count()

Подсчитывает количество открытых файловых дескрипторов.

test.support.match_test(test)

Сопоставляет test с шаблонами, заданными в set_match_tests().

test.support.set_match_tests(patterns)

Определяет тест сопоставления с регулярным выражением patterns.

test.support.run_unittest(*classes)

Выполняет подклассы unittest.TestCase, переданные функции. Функция сканирует классы на наличие методов, начинающихся с префикса test_, и выполняет тесты по отдельности.

Также допускается передавать строки в качестве параметров; они должны быть ключами в sys.modules. Каждый связанный модуль будет просканирован функцией unittest.TestLoader.loadTestsFromModule(). Обычно это встречается в следующей функции test_main():

def test_main():
    support.run_unittest(__name__)

Это запустит все тесты, определенные в указанном модуле.

test.support.run_doctest(module, verbosity=None, optionflags=0)

Запускает doctest.testmod() для указанного module. Возвращает (failure_count, test_count).

Если verbosity равно None, то doctest.testmod() выполняется с уровнем подробности verbose. В противном случае он выполняется с уровнем подробности None. optionflags передается как optionflags в doctest.testmod().

test.support.setswitchinterval(interval)

Устанавливает sys.setswitchinterval() в заданное значение interval. Определяет минимальный интервал для систем Android, чтобы предотвратить зависание.

test.support.check_impl_detail(**guards)

Эта проверка используется для защиты тестов CPython, специфичных для реализации, или для их запуска только на реализациях, защищённых аргументами:

check_impl_detail()               # Только на CPython (по умолчанию).
check_impl_detail(jython=True)    # Только на Jython.
check_impl_detail(cpython=False)  # Везде, кроме CPython.
test.support.check_warnings(*filters, quiet=True)

Удобная обёртка для warnings.catch_warnings(), упрощающая проверку того, что предупреждение было корректно возбуждено. Она примерно эквивалентна вызову warnings.catch_warnings(record=True) с warnings.simplefilter(), установленным в always, и с возможностью автоматической проверки записанных результатов.

check_warnings принимает кортежи из 2 элементов вида ("message regexp", WarningCategory) в качестве позиционных аргументов. Если указан один или несколько filters, или если необязательный ключевой аргумент quiet равен False, он проверяет, что предупреждения соответствуют ожидаемым: каждый указанный фильтр должен совпадать хотя бы с одним предупреждением, вызванным вложенным кодом, иначе тест завершается неудачей; если возникают предупреждения, не совпадающие ни с одним из указанных фильтров, тест также завершается неудачей. Чтобы отключить первую из этих проверок, установите quiet в True.

Если аргументы не указаны, по умолчанию используется:

check_warnings(("", Warning), quiet=True)

В этом случае перехватываются все предупреждения и исключения не возбуждаются.

При входе в менеджер контекста возвращается экземпляр WarningRecorder. Базовый список предупреждений из catch_warnings() доступен через атрибут warnings объекта recorder. Для удобства атрибуты объекта, представляющего последнее предупреждение, также можно получить напрямую через объект recorder (см. пример ниже). Если предупреждений не было, то любой из атрибутов, которые обычно ожидаются у объекта, представляющего предупреждение, вернёт None.

Объект recorder также имеет метод reset(), который очищает список предупреждений.

Менеджер контекста предназначен для использования следующим образом:

with check_warnings(("assertion is always true", SyntaxWarning),
                    ("", UserWarning)):
    exec('assert(False, "Hey!")')
    warnings.warn(UserWarning("Hide me!"))

В этом случае, если какое-либо из предупреждений не было возбуждено, или было возбуждено другое предупреждение, check_warnings() возбудит исключение.

Когда тесту требуется более глубоко изучить предупреждения, а не просто проверить, были ли они, можно использовать такой код:

with check_warnings(quiet=True) as w:
    warnings.warn("foo")
    assert str(w.args[0]) == "foo"
    warnings.warn("bar")
    assert str(w.args[0]) == "bar"
    assert str(w.warnings[0].args[0]) == "foo"
    assert str(w.warnings[1].args[0]) == "bar"
    w.reset()
    assert len(w.warnings) == 0

Здесь будут перехвачены все предупреждения, и тестовый код напрямую проверяет перехваченные предупреждения.

Изменено в версии 3.2: Новые необязательные аргументы filters и quiet.

test.support.check_no_resource_warning(testcase)

Менеджер контекста для проверки, что не было возбуждено ResourceWarning. Необходимо удалить объект, который может испускать ResourceWarning, до завершения менеджера контекста.

test.support.set_memlimit(limit)

Устанавливает значения для max_memuse и real_max_memuse для тестов с большим объёмом памяти.

test.support.record_original_stdout(stdout)

Сохраняет значение из stdout. Предназначено для хранения stdout на момент начала regrtest.

test.support.get_original_stdout()

Возвращает исходный stdout, установленный с помощью record_original_stdout(), или sys.stdout, если он не установлен.

test.support.strip_python_strerr(stderr)

Очищает stderr процесса Python от возможного отладочного вывода, который может быть выдан интерпретатором. Обычно эта функция применяется к результату subprocess.Popen.communicate().

test.support.args_from_interpreter_flags()

Возвращает список аргументов командной строки, воспроизводящих текущие настройки в sys.flags и sys.warnoptions.

test.support.optim_args_from_interpreter_flags()

Возвращает список аргументов командной строки, воспроизводящих текущие настройки оптимизации в sys.flags.

test.support.captured_stdin()
test.support.captured_stdout()
test.support.captured_stderr()

Менеджер контекста, который временно заменяет указанный поток данных объектом io.StringIO.

Пример использования с выходными потоками:

with captured_stdout() as stdout, captured_stderr() as stderr:
    print("hello")
    print("error", file=sys.stderr)
assert stdout.getvalue() == "hello\n"
assert stderr.getvalue() == "error\n"

Пример использования с входным потоком:

with captured_stdin() as stdin:
    stdin.write('hello\n')
    stdin.seek(0)
    # вызвать тестовый код, который читает из sys.stdin
    captured = input()
self.assertEqual(captured, "hello")
test.support.temp_dir(path=None, quiet=False)

Менеджер контекста, который создаёт временную директорию по path и возвращает эту директорию.

Если path равен None, временная директория создаётся с помощью tempfile.mkdtemp(). Если quiet равен False, менеджер контекста вызывает исключение при ошибке. В противном случае, если path указан и не может быть создан, выдаётся только предупреждение.

test.support.change_cwd(path, quiet=False)

Менеджер контекста, который временно изменяет текущую рабочую директорию на path и возвращает эту директорию.

Если quiet равно False, менеджер контекста возбуждает исключение при ошибке. В противном случае он только выводит предупреждение и оставляет текущую рабочую директорию неизменной.

test.support.temp_cwd(name='tempcwd', quiet=False)

Менеджер контекста, который временно создаёт новую директорию и изменяет текущую рабочую директорию (CWD).

Менеджер контекста создаёт временную директорию в текущей директории с именем name, прежде чем временно изменить текущую рабочую директорию. Если name равно None, временная директория создаётся с помощью tempfile.mkdtemp().

Если quiet равен False и не удаётся создать или изменить текущую рабочую директорию (CWD), возникает ошибка. В противном случае выдаётся только предупреждение и используется исходная CWD.

test.support.temp_umask(umask)

Менеджер контекста, который временно устанавливает umask процесса.

test.support.transient_internet(resource_name, *, timeout=30.0, errnos=())

Менеджер контекста, который возбуждает ResourceDenied, когда различные проблемы с подключением к интернету проявляются в виде исключений.

test.support.disable_faulthandler()

Контекстный менеджер, который заменяет sys.stderr на sys.__stderr__.

test.support.gc_collect()

Принудительно собирает как можно больше объектов. Это необходимо, потому что своевременное освобождение памяти не гарантируется сборщиком мусора. Это означает, что методы __del__ могут быть вызваны позже, чем ожидается, и слабые ссылки могут оставаться живыми дольше, чем ожидается.

test.support.disable_gc()

Контекстный менеджер, который отключает сборщик мусора при входе и включает его обратно при выходе.

test.support.swap_attr(obj, attr, new_val)

Менеджер контекста для замены атрибута новым объектом.

Использование:

with swap_attr(obj, "attr", 5):
    ...

Устанавливает obj.attr в 5 на время выполнения блока with, восстанавливая старое значение в конце блока. Если attr не существует в obj, он будет создан, а затем удалён в конце блока.

Старое значение (или None, если его не существует) будет присвоено целевому объекту предложения “as”, если таковой имеется.

test.support.swap_item(obj, attr, new_val)

Менеджер контекста для замены элемента новым объектом.

Использование:

with swap_item(obj, "item", 5):
    ...

Устанавливает obj["item"] в 5 на время выполнения блока with, восстанавливая старое значение в конце блока. Если item не существует в obj, он будет создан, а затем удалён в конце блока.

Старое значение (или None, если его не существует) будет присвоено целевому объекту предложения “as”, если таковой имеется.

test.support.wait_threads_exit(timeout=60.0)

Контекстный менеджер, который ожидает завершения всех потоков, созданных в операторе with.

test.support.start_threads(threads, unlock=None)

Контекстный менеджер для запуска потоков. При выходе он пытается присоединить потоки.

test.support.calcobjsize(fmt)

Возвращает struct.calcsize() для nP{fmt}0n или, если gettotalrefcount не существует, 2PnP{fmt}0P.

test.support.calcvobjsize(fmt)

Возвращает struct.calcsize() для nPn{fmt}0n или, если gettotalrefcount не существует, 2PnPn{fmt}0P.

test.support.checksizeof(test, o, size)

Для тестового случая test утверждать, что sys.getsizeof для o плюс размер заголовка GC равен size.

Возвращает True, если ОС поддерживает символические ссылки, и False в противном случае.

test.support.can_xattr()

Возвращает True, если ОС поддерживает xattr, и False в противном случае.

Декоратор для запуска тестов, требующих поддержки символических ссылок.

@test.support.skip_unless_xattr

Декоратор для запуска тестов, требующих поддержки xattr.

@test.support.skip_unless_bind_unix_socket

Декоратор для запуска тестов, которым требуется рабочая привязка bind() для сокетов Unix.

@test.support.anticipate_failure(condition)

Декоратор для условной пометки тестов с помощью unittest.expectedFailure(). Любое использование этого декоратора должно сопровождаться комментарием с указанием соответствующей проблемы в трекере.

@test.support.run_with_locale(catstr, *locales)

Декоратор для выполнения функции в другой локали, с корректным сбросом локали после завершения. catstr – это категория локали в виде строки (например, "LC_ALL"). Переданные locales будут перебираться последовательно, и будет использована первая подходящая локаль.

@test.support.run_with_tz(tz)

Декоратор для выполнения функции в определённом часовом поясе, с корректным сбросом часового пояса после завершения.

@test.support.requires_freebsd_version(*min_version)

Декоратор для минимальной версии при запуске теста на FreeBSD. Если версия FreeBSD меньше минимальной, возбуждается unittest.SkipTest.

@test.support.requires_linux_version(*min_version)

Декоратор для минимальной версии при запуске теста на Linux. Если версия Linux меньше минимальной, возбуждается unittest.SkipTest.

@test.support.requires_mac_version(*min_version)

Декоратор для минимальной версии при запуске теста на Mac OS X. Если версия Mac OS X меньше минимальной, вызывается unittest.SkipTest.

@test.support.requires_IEEE_754

Декоратор для пропуска тестов на платформах, не поддерживающих IEEE 754.

@test.support.requires_zlib

Декоратор для пропуска тестов, если zlib не существует.

@test.support.requires_gzip

Декоратор для пропуска тестов, если gzip не существует.

@test.support.requires_bz2

Декоратор для пропуска тестов, если bz2 не существует.

@test.support.requires_lzma

Декоратор для пропуска тестов, если lzma не существует.

@test.support.requires_resource(resource)

Декоратор для пропуска тестов, если resource недоступен.

@test.support.requires_docstrings

Декоратор, запускающий тест только если HAVE_DOCSTRINGS.

@test.support.cpython_only(test)

Декоратор для тестов, применимых только к CPython.

@test.support.impl_detail(msg=None, **guards)

Декоратор для вызова check_impl_detail() на guards. Если он возвращает False, то использует msg в качестве причины пропуска теста.

@test.support.no_tracing(func)

Декоратор для временного отключения трассировки на время выполнения теста.

@test.support.refcount_test(test)

Декоратор для тестов, связанных с подсчётом ссылок. Декоратор не запускает тест, если он не выполняется в CPython. Любая функция трассировки отключается на время теста, чтобы предотвратить неожиданные изменения счётчика ссылок, вызванные функцией трассировки.

@test.support.reap_threads(func)

Декоратор для гарантии очистки потоков, даже если тест завершается неудачей.

@test.support.bigmemtest(size, memuse, dry_run=True)

Декоратор для тестов bigmem.

size – это запрошенный размер для теста (в произвольных единицах, интерпретируемых тестом). memuse – это количество байтов на единицу для теста, или хорошая оценка этого. Например, тест, которому нужны два буфера по 4 ГиБ каждый, может быть декорирован с помощью @bigmemtest(size=_4G, memuse=2).

Аргумент size обычно передаётся декорированному методу теста как дополнительный аргумент. Если dry_run равен True, значение, передаваемое методу теста, может быть меньше запрошенного. Если dry_run равен False, это означает, что тест не поддерживает холостые прогоны, когда -M не указан.

@test.support.bigaddrspacetest(f)

Декоратор для тестов, которые заполняют адресное пространство. f – это функция, которую нужно обернуть.

test.support.make_bad_fd()

Создаёт некорректный файловый дескриптор, открывая и закрывая временный файл, и возвращая его дескриптор.

test.support.check_syntax_error(testcase, statement, errtext='', *, lineno=None, offset=None)

Тестирует синтаксические ошибки в statement, пытаясь скомпилировать statement. testcase – это экземпляр unittest для теста. errtext – это регулярное выражение, которое должно соответствовать строковому представлению вызванного SyntaxError. Если lineno не равен None, сравнивается с строкой исключения. Если offset не равен None, сравнивается со смещением исключения.

test.support.check_syntax_warning(testcase, statement, errtext='', *, lineno=1, offset=None)

Проверяет синтаксическое предупреждение в statement, пытаясь скомпилировать statement. Также проверяет, что SyntaxWarning выдаётся только один раз и что оно будет преобразовано в SyntaxError при превращении в ошибку. testcase – это экземпляр unittest для теста. errtext – это регулярное выражение, которое должно соответствовать строковому представлению выданного SyntaxWarning и возбуждённого SyntaxError. Если lineno не равно None, сравнивается со строкой предупреждения и исключения. Если offset не равно None, сравнивается со смещением исключения.

Новое в версии 3.8.

test.support.open_urlresource(url, *args, **kw)

Открывает url. Если открытие не удалось, вызывает TestFailed.

test.support.import_module(name, deprecated=False, *, required_on())

Эта функция импортирует и возвращает указанный модуль. В отличие от обычного импорта, эта функция вызывает unittest.SkipTest, если модуль не удаётся импортировать.

Сообщения об устаревании модулей и пакетов подавляются во время этого импорта, если устарело равен True. Если модуль обязателен на одной платформе, но необязателен на других, задайте required_on как итерируемый объект с префиксами платформ, которые будут сравниваться с sys.platform.

Новое в версии 3.1.

test.support.import_fresh_module(name, fresh=(), blocked=(), deprecated=False)

Эта функция импортирует и возвращает свежую копию указанного модуля Python, удаляя его из sys.modules перед импортом. Обратите внимание, что, в отличие от reload(), оригинальный модуль не затрагивается этой операцией.

fresh – это итерируемый объект с дополнительными именами модулей, которые также удаляются из кеша sys.modules перед импортом.

blocked – это итерируемый объект с именами модулей, которые заменяются на None в кеше модулей во время импорта, чтобы попытки их импортировать вызывали ImportError.

Указанный модуль и все модули, перечисленные в параметрах fresh и blocked, сохраняются перед началом импорта, а затем возвращаются обратно в sys.modules после завершения свежего импорта.

Сообщения об устаревании модулей и пакетов подавляются во время этого импорта, если устарело равен True.

Эта функция вызовет ImportError, если указанный модуль не удаётся импортировать.

Пример использования:

# Получение копий модуля warnings для тестирования без влияния на
# версию, используемую остальной частью тестового набора. Одна копия использует
# реализацию на C, другая принудительно использует запасную реализацию на чистом
# реализация
py_warnings = import_fresh_module('warnings', blocked=['_warnings'])
c_warnings = import_fresh_module('warnings', fresh=['_warnings'])

Новое в версии 3.1.

test.support.modules_setup()

Возвращает копию sys.modules.

test.support.modules_cleanup(oldmodules)

Удаляет модули, за исключением oldmodules и encodings, чтобы сохранить внутренний кеш.

test.support.threading_setup()

Возвращает текущее количество потоков и копию зависших потоков.

test.support.threading_cleanup(*original_values)

Очищает потоки, не указанные в original_values. Предназначено для выдачи предупреждения, если тест оставляет работающие потоки в фоновом режиме.

test.support.join_thread(thread, timeout=30.0)

Ожидает завершения потока thread в течение timeout. Вызывает AssertionError, если поток всё ещё активен спустя timeout секунд.

test.support.reap_children()

Используйте это в конце test_main всякий раз, когда запускаются подпроцессы. Это поможет гарантировать, что лишние дочерние процессы (зомби) не останутся, пожирая ресурсы и создавая проблемы при поиске утечек ссылок.

test.support.get_attribute(obj, name)

Получает атрибут, вызывая unittest.SkipTest, если возникает AttributeError.

test.support.bind_port(sock, host=HOST)

Привязывает сокет к свободному порту и возвращает номер порта. Полагается на временные порты, чтобы гарантировать использование непривязанного порта. Это важно, так как многие тесты могут выполняться одновременно, особенно в среде buildbot. Этот метод вызывает исключение, если sock.family равен AF_INET, sock.type равен SOCK_STREAM, и на сокете установлены SO_REUSEADDR или SO_REUSEPORT. Тесты никогда не должны устанавливать эти параметры сокета для TCP/IP-сокетов. Единственный случай для установки этих параметров – тестирование многоадресной рассылки через несколько UDP-сокетов.

Кроме того, если доступен параметр сокета SO_EXCLUSIVEADDRUSE (например, в Windows), он будет установлен на сокете. Это предотвратит привязку других процессов к нашему узлу/порту на время теста.

test.support.bind_unix_socket(sock, addr)

Привязывает unix-сокет, вызывая unittest.SkipTest, если\nвозникает PermissionError.

test.support.catch_threading_exception()

Контекстный менеджер, перехватывающий исключение threading.Thread с помощью threading.excepthook().

Атрибуты, устанавливаемые при перехвате исключения:

  • exc_type

  • exc_value

  • exc_traceback

  • thread

См. документацию threading.excepthook().

Эти атрибуты удаляются при выходе из контекстного менеджера.

Использование:

with support.catch_threading_exception() as cm:
    # код, порождающий поток, который возбуждает исключение
    ...

    # проверить исключение потока: используйте атрибуты cm:
    # exc_type, exc_value, exc_traceback, поток
    ...

# Атрибуты exc_type, exc_value, exc_traceback и потока объекта cm больше не
# существуют на этом этапе
# (чтобы избежать циклических ссылок)

Новое в версии 3.8.

test.support.catch_unraisable_exception()

Менеджер контекста, перехватывающий неперехватываемое исключение с помощью sys.unraisablehook().

Сохранение значения исключения (cm.unraisable.exc_value) создаёт цикл ссылок. Цикл ссылок явно разрывается при выходе из менеджера контекста.

Сохранение объекта (cm.unraisable.object) может его воскресить, если он установлен на объект, который находится в процессе финализации. Выход из менеджера контекста очищает сохранённый объект.

Использование:

with support.catch_unraisable_exception() as cm:
    # код, создающий «невызываемое исключение»
    ...

    # проверить невызываемое исключение: используйте cm.unraisable
    ...

# атрибут cm.unraisable больше не существует на этом этапе
# (чтобы разорвать цикл ссылок)

Новое в версии 3.8.

test.support.find_unused_port(family=socket.AF_INET, socktype=socket.SOCK_STREAM)

Возвращает неиспользуемый порт, подходящий для привязки. Для этого создаётся временный сокет с тем же семейством и типом, что и у параметра sock (по умолчанию AF_INET, SOCK_STREAM), и выполняется его привязка к указанному адресу узла (по умолчанию 0.0.0.0) с портом, установленным в 0, что заставляет ОС выделить неиспользуемый временный порт. Затем временный сокет закрывается и удаляется, а временный порт возвращается.

Для любых тестов, где серверному сокету требуется привязка к определённому порту на время теста, следует использовать либо этот метод, либо bind_port(). Какой из них выбрать, зависит от того, создаёт ли вызывающий код сокет Python, или же неиспользуемый порт нужно передать в конструктор или внешней программе (например, аргумент -accept для режима s_server в openssl). По возможности всегда отдавайте предпочтение bind_port(), а не find_unused_port(). Использовать жёстко заданный порт не рекомендуется, так как это может помешать одновременному выполнению нескольких экземпляров теста, что создаёт проблемы для buildbot-ов.

test.support.load_package_tests(pkg_dir, loader, standard_tests, pattern)

Общая реализация протокола unittest load_tests для использования в тестовых пакетах. pkg_dir – это корневой каталог пакета; loader, standard_tests и pattern – аргументы, ожидаемые load_tests. В простых случаях __init__.py тестового пакета может быть следующим:

import os
from test.support import load_package_tests

def load_tests(*args):
    return load_package_tests(os.path.dirname(__file__), *args)
test.support.fs_is_case_insensitive(directory)

Возвращает True, если файловая система для directory нечувствительна к регистру.

test.support.detect_api_mismatch(ref_api, other_api, *, ignore=())

Возвращает набор атрибутов, функций или методов ref_api, не найденных в other_api, за исключением определённого списка элементов, которые следует игнорировать в этой проверке, указанного в ignore.

По умолчанию пропускаются закрытые атрибуты, начинающиеся с '_', но включаются все магические методы, то есть начинающиеся и заканчивающиеся на '__'.

Новое в версии 3.5.

test.support.patch(test_instance, object_to_patch, attr_name, new_value)

Переопределяет object_to_patch.attr_name значением new_value. Также добавляет процедуру очистки в test_instance, чтобы восстановить object_to_patch для attr_name. attr_name должен быть допустимым атрибутом для object_to_patch.

test.support.run_in_subinterp(code)

Выполняет code в подынтерпретаторе. Вызывает unittest.SkipTest, если tracemalloc включён.

test.support.check_free_after_iterating(test, iter, cls, args=())

Утверждает, что iter освобождается после итерации.

test.support.missing_compiler_executable(cmd_names=[])

Проверяет существование исполняемых файлов компилятора, имена которых перечислены в cmd_names, или всех исполняемых файлов компилятора, когда cmd_names пуст, и возвращает первый отсутствующий файл или None, если ни один не отсутствует.

test.support.check__all__(test_case, module, name_of_module=None, extra=(), blacklist=())

Утверждает, что переменная __all__ модуля module содержит все публичные имена.

Публичные имена модуля (его API) определяются автоматически на основе того, соответствуют ли они соглашению об именовании публичных имён и были ли определены в module.

Аргумент name_of_module может указывать (в виде строки или кортежа строк), в каком модуле (или модулях) может быть определено API, чтобы оно было распознано как публичное API. Один из примеров – когда module импортирует часть своего публичного API из других модулей, возможно, C-бэкенда (например, csv и его _csv).

Аргумент extra может быть набором имён, которые в противном случае не были бы автоматически распознаны как «публичные», например объекты без соответствующего атрибута __module__. Если он указан, то будет добавлен к автоматически обнаруженным.

Аргумент blacklist может быть набором имён, которые не должны рассматриваться как часть публичного API, даже если их имена говорят об обратном.

Пример использования:

import bar
import foo
import unittest
from test import support

class MiscTestCase(unittest.TestCase):
    def test__all__(self):
        support.check__all__(self, foo)

class OtherTestCase(unittest.TestCase):
    def test__all__(self):
        extra = {'BAR_CONST', 'FOO_CONST'}
        blacklist = {'baz'}  # Недокументированное имя.
        # bar импортирует часть своего API из _bar.
        support.check__all__(self, bar, ('bar', '_bar'),
                             extra=extra, blacklist=blacklist)

Новое в версии 3.6.

test.support.adjust_int_max_str_digits(max_digits)

Эта функция возвращает менеджер контекста, который изменяет глобальную настройку sys.set_int_max_str_digits() на время действия контекста, чтобы разрешить выполнение тестового кода, которому требуется другой предел количества цифр при преобразовании между целым числом и строкой.

Новое в версии 3.8.14.

Модуль test.support определяет следующие классы:

class test.support.TransientResource(exc, **kwargs)

Экземпляры являются контекстным менеджером, который возбуждает ResourceDenied, если возникает указанный тип исключения. Все именованные аргументы трактуются как пары атрибут/значение для сравнения с любым исключением, возникшим внутри оператора with. Только если все пары правильно совпадают с атрибутами исключения, возбуждается ResourceDenied.

class test.support.EnvironmentVarGuard

Класс, используемый для временной установки или отмены переменных окружения. Экземпляры можно использовать как контекстный менеджер, и они имеют полный интерфейс словаря для запроса/изменения базового os.environ. После выхода из контекстного менеджера все изменения переменных окружения, сделанные через этот экземпляр, будут отменены.

Изменено в версии 3.1: Добавлен интерфейс словаря.

EnvironmentVarGuard.set(envvar, value)

Временно устанавливает переменную окружения envvar в значение value.

EnvironmentVarGuard.unset(envvar)

Временно удаляет переменную окружения envvar.

class test.support.SuppressCrashReport

Менеджер контекста, используемый для предотвращения всплывающих диалоговых окон об аварийном завершении в тестах, которые ожидаемо завершаются аварийно в подпроцессе.

В Windows отключает диалоги отчётов об ошибках Windows с помощью SetErrorMode.

В UNIX resource.setrlimit() используется для установки мягкого ограничения resource.RLIMIT_CORE в 0, чтобы предотвратить создание файлов coredump.

На обеих платформах старое значение восстанавливается с помощью __exit__().

class test.support.CleanImport(*module_names)

Контекстный менеджер, принуждающий импорт возвращать новую ссылку на модуль. Это полезно для тестирования поведения на уровне модуля, такого как выдача DeprecationWarning при импорте. Пример использования:

with CleanImport('foo'):
    importlib.import_module('foo')  # Новая ссылка.
class test.support.DirsOnSysPath(*paths)

Менеджер контекста для временного добавления каталогов в sys.path.

Создаёт копию sys.path, добавляет все каталоги, переданные в качестве позиционных аргументов, а затем восстанавливает sys.path до скопированных настроек при завершении контекста.

Обратите внимание, что все изменения sys.path в теле менеджера контекста, включая замену объекта, будут отменены в конце блока.

class test.support.SaveSignals

Класс для сохранения и восстановления обработчиков сигналов, зарегистрированных обработчиком сигналов Python.

class test.support.Matcher
matches(self, d, **kwargs)

Пытается сопоставить один словарь с переданными аргументами.

match_value(self, k, dv, v)

Пытается сопоставить одно сохранённое значение (dv) с переданным значением (v).

class test.support.WarningsRecorder

Класс, используемый для записи предупреждений в модульных тестах. Подробнее см. документацию check_warnings() выше.

class test.support.BasicTestRunner
run(test)

Запустить test и вернуть результат.

class test.support.TestHandler(logging.handlers.BufferingHandler)

Класс для поддержки логирования.

class test.support.FakePath(path)

Простой объект, подобный пути. Он реализует __fspath__() метод, который просто возвращает аргумент path. Если path является исключением, оно будет возбуждено в __fspath__().

test.support.script_helper – Утилиты для тестов выполнения Pythontest.support.script_helper – Utilities for the Python execution tests

Модуль test.support.script_helper предоставляет поддержку для тестов выполнения скриптов Python.

test.support.script_helper.interpreter_requires_environment()

Возвращает True, если sys.executable interpreter для запуска требуются переменные окружения.

Предназначен для использования с @unittest.skipIf() для аннотирования тестов, которым требуется использовать функцию assert_python*() для запуска подпроцесса интерпретатора в изолированном режиме (-I) или в режиме без окружения (-E).

Обычная сборка и тестирование не сталкиваются с этой ситуацией, но это может произойти при попытке запустить набор тестов стандартной библиотеки из интерпретатора, который не имеет очевидного домашнего каталога с точки зрения текущей логики поиска home в Python.

Установка PYTHONHOME – один из способов заставить большую часть тестового набора работать в такой ситуации. PYTHONPATH или PYTHONUSERSITE – другие распространённые переменные окружения, которые могут повлиять на возможность запуска интерпретатора.

test.support.script_helper.run_python_until_end(*args, **env_vars)

Настраивает окружение на основе env_vars для запуска интерпретатора в подпроцессе. Значения могут включать __isolated, __cleanenv, __cwd и TERM.

test.support.script_helper.assert_python_ok(*args, **env_vars)

Проверяет, что запуск интерпретатора с args и необязательными переменными окружения env_vars завершается успешно (rc == 0), и возвращает кортеж (return code, stdout, stderr).

Если задан ключевой аргумент __cleanenv, env_vars используется как свежее\nокружение.

Python запускается в изолированном режиме (параметр командной строки -I),\nкроме случая, когда ключевой аргумент __isolated установлен в False.

test.support.script_helper.assert_python_failure(*args, **env_vars)

Проверяет, что запуск интерпретатора с args и необязательными переменными окружения env_vars завершается неудачей (rc != 0), и возвращает кортеж (return code, stdout, stderr).

Дополнительные параметры см. в assert_python_ok().

test.support.script_helper.spawn_python(*args, stdout=subprocess.PIPE, stderr=subprocess.STDOUT, **kw)

Запускает подпроцесс Python с указанными аргументами.

kw – дополнительные ключевые аргументы для передачи в subprocess.Popen(). Возвращает объект subprocess.Popen.

test.support.script_helper.kill_python(p)

Запускает указанный процесс subprocess.Popen до завершения и возвращает stdout.

test.support.script_helper.make_script(script_dir, script_basename, source, omit_suffix=False)

Создаёт скрипт, содержащий source, по пути script_dir с именем script_basename. Если omit_suffix равно False, к имени добавляется .py. Возвращает полный путь к скрипту.

test.support.script_helper.make_zip_script(zip_dir, zip_basename, script_name, name_in_zip=None)

Создаёт zip-файл по пути zip_dir с именем zip_basename и расширением zip, который содержит файлы из script_name. name_in_zip – это имя внутри архива. Возвращает кортеж, содержащий (full path, full path of archive name).

test.support.script_helper.make_pkg(pkg_dir, init_source='')

Создаёт каталог с именем pkg_dir, содержащий файл __init__ с содержимым init_source.

test.support.script_helper.make_zip_pkg(zip_dir, zip_basename, pkg_name, script_basename, source, depth=1, compiled=False)

Создаёт zip-пакет (каталог) по пути zip_dir с именем zip_basename, содержащий пустой файл __init__ и файл script_basename с исходным кодом source. Если compiled равно True, оба исходных файла будут скомпилированы и добавлены в zip-пакет. Возвращает кортеж с полным путём к zip-файлу и именем внутри архива.