26.3. unittest – Фреймворк для модульного тестирования¶unittest – Unit testing framework

26.3.2.1. Параметры командной строки¶Command-line options

unittest поддерживает следующие параметры командной строки:

-b, --buffer¶

Потоки стандартного вывода и стандартной ошибки буферизируются во время выполнения теста. Вывод при успешном тесте отбрасывается. При ошибке или провале теста вывод выводится обычным образом и добавляется к сообщениям о неудаче.

-c, --catch¶

Control-C во время выполнения теста ожидает завершения текущего теста, а затем сообщает все результаты на данный момент. Второе нажатие Control-C вызывает обычное исключение KeyboardInterrupt.

См. раздел Обработка сигналов с описанием функций, предоставляющих эту возможность.

-f, --failfast¶

Остановить выполнение теста при первой же ошибке или неудаче.

Командная строка также может использоваться для автоматического обнаружения тестов, для запуска всех тестов в проекте или только их части.

26.3.8.1. Тестовые случаи¶Test cases

class unittest.TestCase(methodName='runTest')¶

Экземпляры класса TestCase представляют логические тестовые единицы в вселенной unittest. Этот класс предназначен для использования в качестве базового класса, при этом конкретные тесты реализуются конкретными подклассами. Этот класс реализует интерфейс, необходимый тестовому исполнителю для управления тестами, и методы, которые тестовый код может использовать для проверки и сообщения о различных видах ошибок.

Каждый экземпляр TestCase будет выполнять один базовый метод: метод с именем methodName. В большинстве случаев использования TestCase вам не придётся изменять methodName или переопределять метод по умолчанию runTest().

Изменено в версии 3.2: TestCase может быть успешно создан без предоставления methodName. Это упрощает эксперименты с TestCase из интерактивного интерпретатора.

Экземпляры TestCase предоставляют три группы методов: одна группа используется для запуска теста, другая – реализацией теста для проверки условий и сообщения об ошибках, а также некоторые запрашивающие методы, позволяющие получать информацию о самом тесте.

Методы первой группы (выполнение теста):

setUp()¶

Метод, вызываемый для подготовки тестового оснащения. Он вызывается непосредственно перед вызовом тестового метода; любое исключение, возбуждённое этим методом, кроме AssertionError или SkipTest, будет считаться ошибкой, а не неудачей теста. Реализация по умолчанию ничего не делает.

tearDown()¶

Метод, вызываемый сразу после вызова тестового метода и записи результата. Он вызывается, даже если тестовый метод возбудил исключение, поэтому реализация в подклассах должна быть особенно внимательной при проверке внутреннего состояния. Любое исключение, кроме AssertionError или SkipTest, возбуждённое этим методом, будет считаться ошибкой, а не неудачей теста. Этот метод будет вызван только в случае успеха setUp(), независимо от результата тестового метода. Реализация по умолчанию ничего не делает.

setUpClass()¶

Метод класса, вызываемый перед запуском тестов в отдельном классе. setUpClass вызывается с классом в качестве единственного аргумента и должен быть декорирован как classmethod():

@classmethod
def setUpClass(cls):
    ...

См. Фикстуры классов и модулей для получения дополнительных сведений.

Новое в версии 3.2.

tearDownClass()¶

Метод класса, вызываемый после завершения тестов в отдельном классе. tearDownClass вызывается с классом в качестве единственного аргумента и должен быть декорирован как classmethod():

@classmethod
def tearDownClass(cls):
    ...

См. Фикстуры классов и модулей для получения дополнительных сведений.

Новое в версии 3.2.

run(result=None)¶

Запускает тест, собирая результат в объект TestResult, переданный как result. Если result опущен или равен None, создаётся временный объект результата (путём вызова метода defaultTestResult()) и используется. Объект результата возвращается вызывающему run() вызывающему.

Тот же эффект можно получить, просто вызвав экземпляр TestCase.

Изменено в версии 3.3: Предыдущие версии run не возвращали результат. Не возвращал его и вызов экземпляра.

skipTest(reason)¶

Вызов этого метода во время выполнения тестового метода или setUp() пропускает текущий тест. См. Пропуск тестов и ожидаемые сбои для получения дополнительной информации.

Новое в версии 3.1.

subTest(msg=None, **params)¶

Возвращает менеджер контекста, который выполняет вложенный блок кода как подтест. msg и params – необязательные произвольные значения, отображаемые при сбое подтеста, что позволяет однозначно их идентифицировать.

Тестовый пример может содержать любое количество объявлений подтестов, и они могут быть произвольно вложены.

Подробнее см. Различение итераций тестов с помощью подтестов.

Новое в версии 3.4.

debug()¶

Запускает тест без сбора результата. Это позволяет исключениям, возникшим в тесте, распространяться до вызывающего кода, и может использоваться для поддержки запуска тестов под отладчиком.

Класс TestCase предоставляет ряд методов для проверки и сообщения об ошибках, таких как:

Метод	Проверяет, что	Новое в
assertEqual(a, b)	a == b
assertNotEqual(a, b)	a != b
assertTrue(x)	bool(x) is True
assertFalse(x)	bool(x) is False
assertIs(a, b)	a is b	3.1
assertIsNot(a, b)	a is not b	3.1
assertIsNone(x)	x is None	3.1
assertIsNotNone(x)	x is not None	3.1
assertIn(a, b)	a in b	3.1
assertNotIn(a, b)	a not in b	3.1
assertIsInstance(a, b)	isinstance(a, b)	3.2
assertNotIsInstance(a, b)	not isinstance(a, b)	3.2

Все методы assert принимают аргумент msg, который, если указан, используется в качестве сообщения об ошибке при неудаче (см. также longMessage). Обратите внимание, что аргумент-ключевое слово msg можно передавать в assertRaises(), assertRaisesRegex(), assertWarns(), assertWarnsRegex() только когда они используются как контекстный менеджер.

assertEqual(first, second, msg=None)¶

Проверяет, что first и second равны. Если значения не равны, тест завершится с ошибкой.

Кроме того, если first и second имеют один и тот же тип и являются одним из list, tuple, dict, set, frozenset или str, или любым типом, который подкласс регистрирует с помощью addTypeEqualityFunc(), то будет вызвана функция сравнения, специфичная для этого типа, чтобы сгенерировать более полезное сообщение об ошибке по умолчанию (см. также список методов для конкретных типов).

Изменено в версии 3.1: Добавлен автоматический вызов типовой функции сравнения.

Изменено в версии 3.2: добавлена функция assertMultiLineEqual() как функция сравнения по умолчанию для строк.

assertNotEqual(first, second, msg=None)¶

Проверяет, что first и second не равны. Если значения равны, тест завершится с ошибкой.

assertTrue(expr, msg=None)¶

assertFalse(expr, msg=None)¶

Проверяет, что expr истинно (или ложно).

Обратите внимание, что это эквивалентно bool(expr) is True, а не expr is True (для последнего используйте assertIs(expr, True)). Этого метода также следует избегать, когда доступны более специфичные методы (например, assertEqual(a, b) вместо assertTrue(a == b)), поскольку они предоставляют лучшее сообщение об ошибке в случае неудачи.

assertIs(first, second, msg=None)¶

assertIsNot(first, second, msg=None)¶

Проверяет, что first и second вычисляются (или не вычисляются) в один и тот же объект.

Новое в версии 3.1.

assertIsNone(expr, msg=None)¶

assertIsNotNone(expr, msg=None)¶

Проверяет, что expr равен (или не равен) None.

Новое в версии 3.1.

assertIn(first, second, msg=None)¶

assertNotIn(first, second, msg=None)¶

Проверяет, находится ли first в second (или не находится).

Новое в версии 3.1.

assertIsInstance(obj, cls, msg=None)¶

assertNotIsInstance(obj, cls, msg=None)¶

Проверяет, что obj является (или не является) экземпляром cls (который может быть классом или кортежем классов, как поддерживается функцией isinstance()). Чтобы проверить точный тип, используйте assertIs(type(obj), cls).

Новое в версии 3.2.

Также можно проверять генерацию исключений, предупреждений и сообщений журнала с помощью следующих методов:

Метод	Проверяет, что	Новое в
assertRaises(exc, fun, *args, **kwds)	fun(*args, **kwds) возбуждает exc
assertRaisesRegex(exc, r, fun, *args, **kwds)	fun(*args, **kwds) возбуждает exc и сообщение соответствует регулярному выражению r	3.1
assertWarns(warn, fun, *args, **kwds)	fun(*args, **kwds) возбуждает warn	3.2
assertWarnsRegex(warn, r, fun, *args, **kwds)	fun(*args, **kwds) возбуждает warn и сообщение соответствует регулярному выражению r	3.2
assertLogs(logger, level)	Блок with регистрирует сообщения в logger с минимальным уровнем level	3.4

assertRaises(exception, callable, *args, **kwds)¶

assertRaises(exception, msg=None)

Проверяет, что исключение возбуждается, когда callable вызывается с любыми позиционными или ключевыми аргументами, которые также передаются в assertRaises(). Тест проходит, если возбуждается исключение, является ошибкой, если возбуждается другое исключение, или завершается неудачей, если исключение не возбуждено. Чтобы перехватить любую из группы исключений, можно передать кортеж, содержащий классы исключений, как исключение.

Если переданы только аргументы исключение и, возможно, msg, возвращается менеджер контекста, чтобы проверяемый код можно было написать встроенно, а не в виде функции:

with self.assertRaises(SomeException):
    do_something()

При использовании в качестве менеджера контекста assertRaises() принимает дополнительный ключевой аргумент msg.

Менеджер контекста сохранит перехваченный объект исключения в своем атрибуте исключение. Это может быть полезно, если требуется выполнить дополнительные проверки возбужденного исключения:

with self.assertRaises(SomeException) as cm:
    do_something()

the_exception = cm.exception
self.assertEqual(the_exception.error_code, 3)

Изменено в версии 3.1: Добавлена возможность использовать assertRaises() в качестве менеджера контекста.

Изменено в версии 3.2: Добавлен атрибут исключение.

Изменено в версии 3.3: добавлен ключевой аргумент msg при использовании в качестве менеджера контекста.

assertRaisesRegex(exception, regex, callable, *args, **kwds)¶

assertRaisesRegex(exception, regex, msg=None)

Как и assertRaises(), но также проверяет, что regex соответствует строковому представлению возбужденного исключения. regex может быть объектом регулярного выражения или строкой, содержащей регулярное выражение, подходящей для использования в re.search(). Примеры:

self.assertRaisesRegex(ValueError, "invalid literal for.*XYZ'$",
                       int, 'XYZ')

или:

with self.assertRaisesRegex(ValueError, 'literal'):
   int('XYZ')

Новое в версии 3.1: под именем assertRaisesRegexp.

Изменено в версии 3.2: Переименован в assertRaisesRegex().

Изменено в версии 3.3: добавлен ключевой аргумент msg при использовании в качестве менеджера контекста.

assertWarns(warning, callable, *args, **kwds)¶

assertWarns(warning, msg=None)

Проверяет, что предупреждение генерируется, когда callable вызывается с любыми позиционными или ключевыми аргументами, которые также передаются в assertWarns(). Тест проходит, если генерируется warning, и завершается неудачей, если нет. Любое исключение является ошибкой. Чтобы перехватить любую из группы предупреждений, можно передать кортеж, содержащий классы предупреждений, как warnings.

Если указаны только предупреждение и, возможно, msg, возвращается менеджер контекста, позволяющий писать тестируемый код inline, а не в виде функции:

with self.assertWarns(SomeWarning):
    do_something()

При использовании в качестве менеджера контекста assertWarns() принимает дополнительный именованный аргумент msg.

Менеджер контекста сохраняет перехваченный объект предупреждения в своём атрибуте warning, а исходную строку, вызвавшую предупреждение, в атрибутах filename и lineno. Это может быть полезно, если требуется выполнить дополнительные проверки перехваченного предупреждения:

with self.assertWarns(SomeWarning) as cm:
    do_something()

self.assertIn('myfile.py', cm.filename)
self.assertEqual(320, cm.lineno)

Этот метод работает независимо от фильтров предупреждений, установленных на момент его вызова.

Новое в версии 3.2.

Изменено в версии 3.3: добавлен ключевой аргумент msg при использовании в качестве менеджера контекста.

assertWarnsRegex(warning, regex, callable, *args, **kwds)¶

assertWarnsRegex(warning, regex, msg=None)

Аналогично assertWarns(), но также проверяет, что regex соответствует сообщению перехваченного предупреждения. regex может быть объектом регулярного выражения или строкой, содержащей регулярное выражение, пригодное для использования с re.search(). Пример:

self.assertWarnsRegex(DeprecationWarning,
                      r'legacy_function\(\) is deprecated',
                      legacy_function, 'XYZ')

или:

with self.assertWarnsRegex(RuntimeWarning, 'unsafe frobnicating'):
    frobnicate('/etc/passwd')

Новое в версии 3.2.

Изменено в версии 3.3: добавлен ключевой аргумент msg при использовании в качестве менеджера контекста.

assertLogs(logger=None, level=None)¶

Менеджер контекста для проверки того, что хотя бы одно сообщение зарегистрировано в логгере или одном из его потомков, с уровнем не ниже указанного уровня.

Если указан, logger должен быть объектом logging.Logger или строкой str, задающей имя регистратора. По умолчанию используется корневой регистратор, который перехватывает все сообщения.

Если указан, level должен быть либо числовым уровнем логирования, либо его строковым эквивалентом (например, "ERROR" или logging.ERROR). По умолчанию используется logging.INFO.

Тест проходит, если хотя бы одно сообщение, выпущенное внутри блока with, соответствует условиям logger и level; в противном случае тест не проходит.

Объект, возвращаемый менеджером контекста, представляет собой вспомогательный объект для записи, который отслеживает соответствующие сообщения журнала. Он имеет два атрибута:

records¶

Список объектов logging.LogRecord, соответствующих перехваченным сообщениям журнала.

output¶

Список объектов str с форматированным выводом соответствующих сообщений.

Пример:

with self.assertLogs('foo', level='INFO') as cm:
   logging.getLogger('foo').info('first message')
   logging.getLogger('foo.bar').error('second message')
self.assertEqual(cm.output, ['INFO:foo:first message',
                             'ERROR:foo.bar:second message'])

Новое в версии 3.4.

Существуют также другие методы для выполнения более специфических проверок, например:

Метод	Проверяет, что	Новое в
assertAlmostEqual(a, b)	round(a-b, 7) == 0
assertNotAlmostEqual(a, b)	round(a-b, 7) != 0
assertGreater(a, b)	a > b	3.1
assertGreaterEqual(a, b)	a >= b	3.1
assertLess(a, b)	a < b	3.1
assertLessEqual(a, b)	a <= b	3.1
assertRegex(s, r)	r.search(s)	3.1
assertNotRegex(s, r)	not r.search(s)	3.2
assertCountEqual(a, b)	a и b содержат одни и те же элементы в одинаковом количестве, независимо от их порядка	3.2

assertAlmostEqual(first, second, places=7, msg=None, delta=None)¶

assertNotAlmostEqual(first, second, places=7, msg=None, delta=None)¶

Проверяет, что first и second приблизительно (или не приблизительно) равны, вычисляя разность, округляя до заданного числа десятичных знаков (по умолчанию 7) и сравнивая с нулём. Обратите внимание, что эти методы округляют значения до заданного числа десятичных знаков (т.е. как функция round()), а не до значащих цифр.

Если указан delta вместо places, то разность между first и second должна быть меньше или равна (или больше) delta.

Указание одновременно delta и places вызывает исключение TypeError.

Изменено в версии 3.2: assertAlmostEqual() автоматически считает почти равными объекты, которые сравниваются как равные. assertNotAlmostEqual() автоматически завершается неудачей, если объекты сравниваются как равные. Добавлен именованный аргумент delta.

assertGreater(first, second, msg=None)¶

assertGreaterEqual(first, second, msg=None)¶

assertLess(first, second, msg=None)¶

assertLessEqual(first, second, msg=None)¶

Проверяет, что first соответственно >, >=, < или <= по отношению к second в зависимости от имени метода. Если это не так, тест завершается ошибкой:

>>> self.assertGreaterEqual(3, 4)
AssertionError: "3" unexpectedly not greater than or equal to "4"

Новое в версии 3.1.

assertRegex(text, regex, msg=None)¶

assertNotRegex(text, regex, msg=None)¶

Проверяет, что поиск regex соответствует (или не соответствует) text. В случае неудачи сообщение об ошибке будет содержать шаблон и text (или шаблон и часть text, которая неожиданно совпала). regex может быть объектом регулярного выражения или строкой, содержащей регулярное выражение, пригодной для использования в re.search().

Новое в версии 3.1: под именем assertRegexpMatches.

Изменено в версии 3.2: Метод assertRegexpMatches() переименован в assertRegex().

Новое в версии 3.2: assertNotRegex().

assertCountEqual(first, second, msg=None)¶

Проверяет, что последовательность first содержит те же элементы, что и second, независимо от их порядка. Если нет, генерируется сообщение об ошибке с перечислением различий между последовательностями.

Дублирующиеся элементы не игнорируются при сравнении first и second. Проверяется, что каждый элемент имеет одинаковое количество в обеих последовательностях. Эквивалентно: assertEqual(Counter(list(first)), Counter(list(second))) но также работает с последовательностями нехэшируемых объектов.

Новое в версии 3.2.

Метод assertEqual() направляет проверку равенства для объектов одного типа к различным методам, специфичным для типа. Эти методы уже реализованы для большинства встроенных типов, но также можно зарегистрировать новые методы с помощью addTypeEqualityFunc():

addTypeEqualityFunc(typeobj, function)¶

Регистрирует метод, специфичный для типа, который вызывается assertEqual() для проверки, равны ли два объекта одного и того же typeobj (не подклассы). function должен принимать два позиционных аргумента и третий именованный аргумент msg=None, как и assertEqual(). Он должен вызывать исключение self.failureException(msg) при обнаружении неравенства между первыми двумя параметрами – возможно, предоставляя полезную информацию и подробно объясняя неравенства в сообщении об ошибке.

Новое в версии 3.1.

Список методов, специфичных для типа, автоматически используемых assertEqual(), приведен в следующей таблице. Обратите внимание, что обычно нет необходимости вызывать эти методы напрямую.

Метод	Используется для сравнения	Новое в
assertMultiLineEqual(a, b)	строки	3.1
assertSequenceEqual(a, b)	последовательности	3.1
assertListEqual(a, b)	списки	3.1
assertTupleEqual(a, b)	кортежи	3.1
assertSetEqual(a, b)	множества или неизменяемые множества	3.1
assertDictEqual(a, b)	словари	3.1

assertMultiLineEqual(first, second, msg=None)¶

Проверяет, что многострочная строка first равна строке second. При неравенстве в сообщение об ошибке будет включена разница между двумя строками с выделением отличий. Этот метод используется по умолчанию при сравнении строк с assertEqual().

Новое в версии 3.1.

assertSequenceEqual(first, second, msg=None, seq_type=None)¶

Проверяет, что две последовательности равны. Если передан seq_type, то first и second должны быть экземплярами seq_type, иначе будет вызвана ошибка. Если последовательности различаются, формируется сообщение об ошибке, показывающее разницу между ними.

Этот метод не вызывается напрямую assertEqual(), но используется для реализации assertListEqual() и assertTupleEqual().

Новое в версии 3.1.

assertListEqual(first, second, msg=None)¶

assertTupleEqual(first, second, msg=None)¶

Проверяет, что два списка или кортежа равны. Если нет, формируется сообщение об ошибке, показывающее только различия между ними. Ошибка также возникает, если какой-либо из параметров имеет неправильный тип. Эти методы используются по умолчанию при сравнении списков или кортежей с assertEqual().

Новое в версии 3.1.

assertSetEqual(first, second, msg=None)¶

Проверяет, что два множества равны. Если нет, формируется сообщение об ошибке, в котором перечислены различия между множествами. Этот метод используется по умолчанию при сравнении множеств или frozensets с assertEqual().

Завершается ошибкой, если first или second не имеют метода set.difference() .

Новое в версии 3.1.

assertDictEqual(first, second, msg=None)¶

Проверяет, что два словаря равны. Если нет, формируется сообщение об ошибке, показывающее различия в словарях. Этот метод будет использоваться по умолчанию для сравнения словарей в вызовах assertEqual().

Новое в версии 3.1.

Наконец, TestCase предоставляет следующие методы и атрибуты:

fail(msg=None)¶

Безусловно сообщает о провале теста, с msg или None в качестве сообщения об ошибке.

failureException¶

Этот атрибут класса задаёт исключение, возбуждаемое тестовым методом. Если тестовой платформе нужно использовать специализированное исключение, возможно, для передачи дополнительной информации, она должна создать подкласс этого исключения, чтобы корректно работать с платформой. Начальное значение этого атрибута – AssertionError.

longMessage¶

Если установлено в True, то любое явное сообщение об ошибке, переданное в assert-методы, будет добавлено в конец стандартного сообщения об ошибке. Стандартные сообщения содержат полезную информацию о вовлечённых объектах, например, сообщение от assertEqual показывает repr двух неравных объектов. Установка этого атрибута в True позволяет иметь пользовательское сообщение об ошибке в дополнение к стандартному.

Этот атрибут по умолчанию равен True. Если установлен в False, то пользовательское сообщение, переданное методу assert, подавит стандартное сообщение.

Настройку класса можно переопределить в отдельных тестах, назначив атрибут экземпляра в True или False перед вызовом методов assert.

Новое в версии 3.1.

maxDiff¶

Этот атрибут управляет максимальной длиной вывода различий методами assert, которые сообщают о различиях при неудаче. По умолчанию он равен 80*8 символов. Методы assert, на которые влияет этот атрибут: assertSequenceEqual() (включая все методы сравнения последовательностей, которые делегируют ему), assertDictEqual() и assertMultiLineEqual().

Установка maxDiff в None означает, что нет максимальной длины различий.

Новое в версии 3.2.

Тестовые фреймворки могут использовать следующие методы для сбора информации о тесте:

countTestCases()¶

Возвращает количество тестов, представленных этим тестовым объектом. Для экземпляров TestCase это значение всегда равно 1.

defaultTestResult()¶

Возвращает экземпляр класса результата теста, который следует использовать для этого класса тестового случая (если другой экземпляр результата не предоставлен методу run()).

Для экземпляров TestCase это всегда будет экземпляр TestResult; подклассы TestCase должны переопределять это при необходимости.

id()¶

Возвращает строку, идентифицирующую конкретный тестовый случай. Обычно это полное имя тестового метода, включая имя модуля и класса.

shortDescription()¶

Возвращает описание теста или None, если описание не было предоставлено. Реализация по умолчанию этого метода возвращает первую строку докстринга тестового метода, если она есть, или None.

Изменено в версии 3.1: В версии 3.1 это было изменено так, что имя теста добавляется в краткое описание даже при наличии докстринга. Это вызвало проблемы совместимости с расширениями unittest, и добавление имени теста было перенесено в TextTestResult в Python 3.2.

addCleanup(function, *args, **kwargs)¶

Добавляет функцию, которая будет вызвана после tearDown() для очистки ресурсов, используемых во время теста. Функции будут вызываться в порядке, обратном порядку их добавления (LIFO). Они вызываются с теми аргументами и именованными аргументами, которые были переданы в addCleanup() при их добавлении.

Если setUp() завершается неудачей, так что tearDown() не вызывается, то все добавленные функции очистки всё равно будут вызваны.

Новое в версии 3.1.

doCleanups()¶

Этот метод вызывается безусловно после tearDown(), или после setUp(), если setUp() возбуждает исключение.

Он отвечает за вызов всех функций очистки, добавленных с помощью addCleanup(). Если нужно, чтобы функции очистки вызывались до tearDown(), то можно вызвать doCleanups() самостоятельно.

doCleanups() извлекает методы из стека функций очистки по одному, поэтому его можно вызывать в любое время.

Новое в версии 3.1.

class unittest.FunctionTestCase(testFunc, setUp=None, tearDown=None, description=None)¶

Этот класс реализует часть интерфейса TestCase, которая позволяет тестовому раннеру управлять тестом, но не предоставляет методы, которые тестовый код может использовать для проверки и сообщения об ошибках. Он используется для создания тестовых случаев с использованием устаревшего тестового кода, позволяя интегрировать его в тестовый фреймворк на основе unittest.

26.3.8.2. Группировка тестов¶Grouping tests

class unittest.TestSuite(tests=())¶

Этот класс представляет собой агрегацию отдельных тестовых случаев и тестовых наборов. Он предоставляет интерфейс, необходимый тестовому раннеру, чтобы его можно было запускать как любой другой тестовый случай. Запуск экземпляра TestSuite равносилен итерации по набору с запуском каждого теста по отдельности.

Если задан tests, он должен быть итерабельным объектом, содержащим отдельные тестовые примеры или другие тестовые наборы, которые будут использоваться для первоначального построения набора. Дополнительные методы предоставляются для добавления тестовых примеров и наборов в коллекцию позже.

Объекты TestSuite во многом аналогичны объектам TestCase, за исключением того, что они не реализуют тест напрямую. Вместо этого они служат для объединения тестов в группы, которые должны выполняться совместно. Есть несколько дополнительных методов для добавления тестов в экземпляры TestSuite:

addTest(test)¶

Добавляет объект TestCase или TestSuite в набор.

addTests(tests)¶

Добавляет все тесты из итерируемого объекта, содержащего экземпляры TestCase и TestSuite, в данный тестовый набор.

Это эквивалентно перебору tests с вызовом addTest() для каждого элемента.

TestSuite имеет общие следующие методы с TestCase:

run(result)¶

Запускает тесты, связанные с этим набором, собирая результат в объект результата теста, переданный как result. Обратите внимание, что, в отличие от TestCase.run(), TestSuite.run() требует обязательной передачи объекта результата.

debug()¶

Запускает тесты, связанные с этим набором, без сбора результата. Это позволяет исключениям, возбуждённым тестом, распространяться до вызывающего кода и может использоваться для поддержки запуска тестов под отладчиком.

countTestCases()¶

Возвращает количество тестов, представленных этим тестовым объектом, включая все отдельные тесты и поднаборы.

__iter__()¶

Тесты, сгруппированные объектом TestSuite, всегда извлекаются через итерацию. Подклассы могут предоставлять тесты лениво, переопределяя __iter__(). Учтите, что этот метод может вызываться несколько раз для одного набора (например, при подсчете тестов или сравнении на равенство), поэтому тесты, возвращаемые при повторных итерациях до вызова TestSuite.run(), должны быть одинаковыми при каждом вызове. После TestSuite.run() вызывающий код не должен полагаться на тесты, возвращаемые этим методом, если только он не использует подкласс, переопределяющий TestSuite._removeTestAtIndex() для сохранения ссылок на тесты.

Изменено в версии 3.2: В более ранних версиях TestSuite обращался к тестам напрямую, а не через итерацию, поэтому переопределения __iter__() было недостаточно для предоставления тестов.

Изменено в версии 3.4: В более ранних версиях TestSuite сохранял ссылки на каждый TestCase после вызова TestSuite.run(). Подклассы могут восстановить это поведение, переопределив TestSuite._removeTestAtIndex().

В типичном использовании объекта TestSuite метод run() вызывается TestRunner, а не тестовым стендом конечного пользователя.

Загрузка и запуск тестов¶Loading and running tests

class unittest.TestLoader¶

Класс TestLoader используется для создания тестовых наборов из классов и модулей. Обычно нет необходимости создавать экземпляр этого класса; модуль unittest предоставляет экземпляр, который может использоваться совместно как unittest.defaultTestLoader. Однако использование подкласса или экземпляра позволяет настраивать некоторые конфигурируемые свойства.

Объекты TestLoader имеют следующие методы:

loadTestsFromTestCase(testCaseClass)¶

Возвращает набор всех тестовых случаев, содержащихся в классе testCaseClass, производном от TestCase.

Экземпляр тестового случая создается для каждого метода, указанного getTestCaseNames(). По умолчанию это имена методов, начинающиеся с test. Если getTestCaseNames() не возвращает ни одного метода, но реализован метод runTest(), то вместо этого создается один тестовый случай для этого метода.

loadTestsFromModule(module)¶

Возвращает набор всех тестовых случаев, содержащихся в данном модуле. Этот метод ищет в module классы, производные от TestCase, и создает экземпляр класса для каждого тестового метода, определенного в классе.

Примечание

Хотя использование иерархии классов, производных от TestCase, может быть удобным для совместного использования фикстур и вспомогательных функций, определение тестовых методов в базовых классах, которые не предназначены для прямого инстанцирования, плохо сочетается с этим методом. Однако это может быть полезно, когда фикстуры различаются и определяются в подклассах.

Если модуль предоставляет функцию load_tests, она будет вызвана для загрузки тестов. Это позволяет модулям настраивать загрузку тестов. Это протокол load_tests.

Изменено в версии 3.2: Добавлена поддержка load_tests.

loadTestsFromName(name, module=None)¶

Возвращает набор всех тестовых случаев по строковому спецификатору.

Спецификатор name – это «точечное имя», которое может разрешаться в модуль, класс тестового случая, тестовый метод внутри класса тестового случая, экземпляр TestSuite или вызываемый объект, возвращающий экземпляр TestCase или TestSuite. Эти проверки применяются в указанном порядке; то есть метод в классе возможного тестового случая будет распознан как «тестовый метод внутри класса тестового случая», а не как «вызываемый объект».

Например, если у вас есть модуль SampleTests, содержащий класс SampleTestCase, производный от TestCase, с тремя тестовыми методами (test_one(), test_two() и test_three()), то спецификатор 'SampleTests.SampleTestCase' приведет к тому, что этот метод вернет набор, который запустит все три тестовых метода. Использование спецификатора 'SampleTests.SampleTestCase.test_two' приведет к возврату тестового набора, который запустит только тестовый метод test_two(). Спецификатор может ссылаться на модули и пакеты, которые еще не были импортированы; они будут импортированы как побочный эффект.

Метод опционально разрешает name относительно заданного module.

loadTestsFromNames(names, module=None)¶

Аналогично loadTestsFromName(), но принимает последовательность имён, а не одно имя. Возвращаемое значение – тестовый набор, содержащий все тесты, определённые для каждого имени.

getTestCaseNames(testCaseClass)¶

Возвращает отсортированную последовательность имён методов, найденных в testCaseClass; и он должен быть подклассом TestCase.

discover(start_dir, pattern='test*.py', top_level_dir=None)¶

Находит все тестовые модули, рекурсивно обходя подкаталоги, начиная с указанного каталога, и возвращает объект TestSuite, содержащий их. Будут загружены только тестовые файлы, соответствующие pattern. (Используется сопоставление с образцом в стиле shell.) Будут загружены только имена модулей, которые можно импортировать (т.е. являются допустимыми идентификаторами Python).

Все тестовые модули должны быть импортируемыми из корневого каталога проекта. Если стартовый каталог не является корневым, то корневой каталог необходимо указать отдельно.

Если импорт модуля завершается неудачей, например из-за синтаксической ошибки, это будет зафиксировано как одна ошибка, и поиск продолжится. Если неудача импорта вызвана возбуждением SkipTest, это будет записано как пропуск, а не ошибка.

Если имя тестового пакета (каталог с __init__.py) соответствует шаблону, то в пакете будет проверено наличие функции load_tests. Если она существует, то она будет вызвана с аргументами loader, tests, pattern.

Если load_tests существует, то поиск не рекурсивно обходит пакет, load_tests отвечает за загрузку всех тестов в пакете.

Шаблон намеренно не хранится как атрибут загрузчика, чтобы пакеты могли продолжать поиск самостоятельно. top_level_dir хранится, чтобы load_tests не нужно было передавать этот аргумент в loader.discover().

start_dir может быть как точечным именем модуля, так и каталогом.

Новое в версии 3.2.

Изменено в версии 3.4: Модули, возбуждающие SkipTest при импорте, записываются как пропуски, а не ошибки. Поиск работает для пакетов пространств имён. Пути сортируются перед импортом, чтобы порядок выполнения был одинаковым, даже если порядок в файловой системе не зависит от имени файла.

Следующие атрибуты TestLoader можно настроить либо через создание подкласса, либо присваиванием экземпляру:

testMethodPrefix¶

Строка, задающая префикс имён методов, которые будут интерпретироваться как тестовые методы. Значение по умолчанию – 'test'.

Это влияет на getTestCaseNames() и все методы loadTestsFrom*().

sortTestMethodsUsing¶

Функция, используемая для сравнения имён методов при сортировке в getTestCaseNames() и во всех методах loadTestsFrom*().

suiteClass¶

Вызываемый объект, который создаёт тестовый набор из списка тестов. Никакие методы результирующего объекта не требуются. Значение по умолчанию – класс TestSuite.

Это влияет на все методы loadTestsFrom*().

class unittest.TestResult¶

Этот класс используется для сбора информации о том, какие тесты прошли успешно, а какие завершились неудачей.

Объект TestResult хранит результаты набора тестов. Классы TestCase и TestSuite обеспечивают корректную запись результатов; авторам тестов не нужно заботиться о записи результатов тестов.

Тестовые фреймворки, построенные на основе unittest, могут нуждаться в доступе к объекту TestResult, создаваемому при выполнении набора тестов для целей отчётности; экземпляр TestResult возвращается методом TestRunner.run() для этой цели.

Экземпляры TestResult имеют следующие атрибуты, которые будут интересны при просмотре результатов выполнения набора тестов:

errors¶

Список, содержащий кортежи из двух элементов: экземпляры TestCase и строки с форматированными трассировками. Каждый кортеж представляет тест, вызвавший неожиданное исключение.

failures¶

Список, содержащий кортежи из двух элементов: экземпляры TestCase и строки с форматированными трассировками. Каждый кортеж представляет тест, в котором ошибка была явно зафиксирована с помощью методов TestCase.assert*().

skipped¶

Список, содержащий кортежи из двух элементов: экземпляры TestCase и строки с причиной пропуска теста.

Новое в версии 3.1.

expectedFailures¶

Список, содержащий кортежи из двух элементов: экземпляры TestCase и строки с форматированными трассировками. Каждый кортеж представляет ожидаемую ошибку тестового случая.

unexpectedSuccesses¶

Список, содержащий экземпляры TestCase, которые были отмечены как ожидаемые ошибки, но прошли успешно.

shouldStop¶

Устанавливается в True, когда выполнение тестов должно быть остановлено вызовом stop().

testsRun¶

Общее количество запущенных на данный момент тестов.

buffer¶

Если установлено в true, sys.stdout и sys.stderr будут буферизироваться между вызовами startTest() и stopTest(). Собранный вывод будет выводиться в настоящие sys.stdout и sys.stderr только если тест завершается неудачей или ошибкой. Любой вывод также присоединяется к сообщению об ошибке или сбое.

Новое в версии 3.2.

failfast¶

Если установлено в true, stop() будет вызван при первой неудаче или ошибке, останавливая выполнение тестов.

Новое в версии 3.2.

wasSuccessful()¶

Возвращает True, если все выполненные на данный момент тесты прошли, иначе возвращает False.

Изменено в версии 3.4: Возвращает False, если были какие-либо неожиданные успехи от тестов, помеченных декоратором expectedFailure().

stop()¶

Этот метод может быть вызван, чтобы сигнализировать, что выполняемый набор тестов должен быть прерван установкой атрибута shouldStop в True. Объекты TestRunner должны учитывать этот флаг и возвращаться без выполнения дополнительных тестов.

Например, эта возможность используется классом TextTestRunner для остановки тестового фреймворка, когда пользователь подает сигнал прерывания с клавиатуры. Интерактивные инструменты, предоставляющие реализации TestRunner, могут использовать это аналогичным образом.

Следующие методы класса TestResult используются для поддержки внутренних структур данных и могут быть расширены в подклассах для поддержки дополнительных требований к отчетности. Это особенно полезно при создании инструментов, поддерживающих интерактивную отчетность во время выполнения тестов.

startTest(test)¶

Вызывается перед запуском тестового сценария test.

stopTest(test)¶

Вызывается после выполнения тестового сценария test, независимо от результата.

startTestRun()¶

Вызывается один раз перед выполнением любых тестов.

Новое в версии 3.1.

stopTestRun()¶

Вызывается один раз после выполнения всех тестов.

Новое в версии 3.1.

addError(test, err)¶

Вызывается, когда тестовый пример test вызывает неожиданное исключение. err – это кортеж в формате, возвращаемом sys.exc_info(): (type, value, traceback).

Реализация по умолчанию добавляет кортеж (test, formatted_err) в атрибут errors экземпляра, где formatted_err – это форматированная трассировка, полученная из err.

addFailure(test, err)¶

Вызывается, когда тестовый пример test сигнализирует о неудаче. err – это кортеж в формате, возвращаемом sys.exc_info(): (type, value, traceback).

Реализация по умолчанию добавляет кортеж (test, formatted_err) в атрибут failures экземпляра, где formatted_err – это форматированная трассировка, полученная из err.

addSuccess(test)¶

Вызывается, когда тестовый сценарий test завершается успешно.

Реализация по умолчанию ничего не делает.

addSkip(test, reason)¶

Вызывается, когда тестовый сценарий test пропускается. reason – причина, которую тест указал для пропуска.

Реализация по умолчанию добавляет кортеж (test, reason) в атрибут skipped экземпляра.

addExpectedFailure(test, err)¶

Вызывается, когда тестовый пример test завершается неудачей, но был помечен декоратором expectedFailure().

Реализация по умолчанию добавляет кортеж (test, formatted_err) в атрибут expectedFailures экземпляра, где formatted_err – это форматированная трассировка, полученная из err.

addUnexpectedSuccess(test)¶

Вызывается, когда тестовый пример test был помечен декоратором expectedFailure(), но завершился успешно.

Реализация по умолчанию добавляет тест в атрибут unexpectedSuccesses экземпляра.

addSubTest(test, subtest, outcome)¶

Вызывается, когда завершается подтест. test – это тестовый пример, соответствующий тестовому методу. subtest – это настраиваемый экземпляр TestCase, описывающий подтест.

Если outcome равен None, подтест выполнен успешно. В противном случае он завершился с исключением, где outcome – это кортеж вида, возвращаемого функцией sys.exc_info(): (type, value, traceback).

Реализация по умолчанию ничего не делает, если результат – успех, и записывает сбои подтестов как обычные сбои.

Новое в версии 3.4.

class unittest.TextTestResult(stream, descriptions, verbosity)¶

Конкретная реализация TestResult, используемая TextTestRunner.

Новое в версии 3.2: Ранее этот класс назывался _TextTestResult. Старое имя всё ещё существует как псевдоним, но является устаревшим.

unittest.defaultTestLoader¶

Экземпляр класса TestLoader, предназначенный для совместного использования. Если настройка TestLoader не требуется, можно использовать этот экземпляр вместо многократного создания новых.

class unittest.TextTestRunner(stream=None, descriptions=True, verbosity=1, failfast=False, buffer=False, resultclass=None, warnings=None)¶

Базовая реализация средства запуска тестов, которая выводит результаты в поток данных. Если stream равен None (по умолчанию), в качестве выходного потока данных используется sys.stderr. Этот класс имеет несколько настраиваемых параметров, но в целом очень прост. Графические приложения, которые запускают наборы тестов, должны предоставлять альтернативные реализации.

По умолчанию этот запускатор показывает DeprecationWarning, PendingDeprecationWarning, ResourceWarning и ImportWarning, даже если они игнорируются по умолчанию. Предупреждения об устаревании, вызванные устаревшими методами unittest, также обрабатываются особым образом: когда фильтры предупреждений установлены в 'default' или 'always', они будут появляться только один раз на модуль, чтобы избежать слишком большого количества предупреждений. Это поведение можно переопределить с помощью опций -Wd или -Wa, оставив warnings равным None.

Изменено в версии 3.2: Добавлен аргумент warnings.

Изменено в версии 3.2: Поток по умолчанию устанавливается в sys.stderr во время создания экземпляра, а не во время импорта.

_makeResult()¶

Этот метод возвращает экземпляр TestResult, используемый run(). Он не предназначен для прямого вызова, но может быть переопределён в подклассах для предоставления собственного TestResult.

_makeResult() создаёт экземпляр класса или вызываемого объекта, переданного в конструктор TextTestRunner в качестве аргумента resultclass. По умолчанию используется TextTestResult, если resultclass не предоставлен. Класс результата создаётся со следующими аргументами:

stream, descriptions, verbosity

run(test)¶

Этот метод является основным публичным интерфейсом TextTestRunner. Он принимает экземпляр TestSuite или TestCase. Вызовом _makeResult() создаётся TestResult, тесты выполняются, а результаты выводятся в stdout.

unittest.main(module='__main__', defaultTest=None, argv=None, testRunner=None, testLoader=unittest.defaultTestLoader, exit=True, verbosity=1, failfast=None, catchbreak=None, buffer=None, warnings=None)¶

Программа командной строки, которая загружает набор тестов из module и запускает их; это в первую очередь для удобного выполнения тестовых модулей. Простейший способ использования этой функции – добавить следующую строку в конец тестового скрипта:

if __name__ == '__main__':
    unittest.main()

Можно запускать тесты с более подробной информацией, передав аргумент verbosity:

if __name__ == '__main__':
    unittest.main(verbosity=2)

Аргумент defaultTest – это либо имя одного теста, либо итерируемый объект с именами тестов, которые нужно запустить, если имена не указаны через argv. Если он не указан или равен None, и имена тестов не переданы через argv, запускаются все тесты, найденные в module.

Аргумент argv может быть списком параметров, переданных программе, где первый элемент – имя программы. Если он не указан или равен None, используются значения sys.argv.

Аргумент testRunner может быть либо классом средства запуска тестов, либо уже созданным экземпляром такого класса. По умолчанию main вызывает sys.exit() с кодом возврата, указывающим на успех или неудачу выполнения тестов.

Аргумент testLoader должен быть экземпляром TestLoader, по умолчанию используется defaultTestLoader.

main поддерживает использование из интерактивного интерпретатора путём передачи аргумента exit=False. При этом результат выводится на стандартный вывод без вызова sys.exit():

>>> from unittest import main
>>> main(module='test_module', exit=False)

Параметры failfast, catchbreak и buffer имеют тот же эффект, что и одноимённые параметры командной строки.

Аргумент warning задаёт фильтр предупреждений, который следует использовать во время выполнения тестов. Если он не указан, он останется равным None, если опция -W передана python, в противном случае он будет установлен в 'default'.

Вызов main на самом деле возвращает экземпляр класса TestProgram. Результат выполнения тестов сохраняется в атрибуте result.

Изменено в версии 3.1: Добавлен параметр exit.

Изменено в версии 3.2: Добавлены параметры verbosity, failfast, catchbreak, buffer и warnings.

Изменено в версии 3.4: Параметр defaultTest был изменён: теперь он также принимает итерируемый объект с именами тестов.

load_tests(loader, standard_tests, None)

test_cases = (TestCase1, TestCase2, TestCase3)

def load_tests(loader, tests, pattern):
    suite = TestSuite()
    for test_class in test_cases:
        tests = loader.loadTestsFromTestCase(test_class)
        suite.addTests(tests)
    return suite

load_tests(loader, standard_tests, pattern)

def load_tests(loader, standard_tests, pattern):
    # корневой каталог, кэшированный на экземпляре загрузчика
    this_dir = os.path.dirname(__file__)
    package_tests = loader.discover(start_dir=this_dir, pattern=pattern)
    standard_tests.addTests(package_tests)
    return standard_tests

26.3.9.1. setUpClass и tearDownClass¶setUpClass and tearDownClass

Они должны быть реализованы как методы класса:

import unittest

class Test(unittest.TestCase):
    @classmethod
    def setUpClass(cls):
        cls._connection = createExpensiveConnectionObject()

    @classmethod
    def tearDownClass(cls):
        cls._connection.destroy()

Если нужно, чтобы setUpClass и tearDownClass в базовых классах вызывались, то их необходимо вызывать явно. Реализации в TestCase пусты.

Если во время setUpClass возникает исключение, тесты в классе не выполняются, и tearDownClass не вызывается. Пропущенные классы не будут иметь выполненных setUpClass или tearDownClass. Если исключение – это SkipTest, то класс будет отмечен как пропущенный, а не как ошибочный.

26.3.9.2. setUpModule и tearDownModule¶setUpModule and tearDownModule

Их следует реализовывать как функции:

def setUpModule():
    createConnection()

def tearDownModule():
    closeConnection()

Если в setUpModule возникает исключение, ни один из тестов в модуле не будет выполнен, и tearDownModule не будет вызван. Если исключение – это SkipTest, то модуль будет отмечен как пропущенный, а не как ошибочный.