Содержание страницы

25.3. `unittest` – фреймворк для модульного тестирования¶unittest – Unit testing framework

(Если вы уже знакомы с основными понятиями тестирования, можете перейти к списку методов assert.)

Среда модульного тестирования Python, иногда называемая «PyUnit», является реализацией JUnit на языке Python, созданной Кентом Беком и Эрихом Гаммой. JUnit, в свою очередь, представляет собой Java-версию среды тестирования Smalltalk Кента Бека. Каждая из них является фактическим стандартом модульного тестирования для своего языка.

unittest поддерживает автоматизацию тестирования, совместное использование кода настройки и завершения для тестов, объединение тестов в коллекции и независимость тестов от фреймворка отчетности. Модуль unittest предоставляет классы, которые упрощают поддержку этих качеств для набора тестов.

Для этого unittest поддерживает несколько важных концепций:

тестовая фикстура: Тестовая фикстура представляет собой подготовку, необходимую для выполнения одного или нескольких тестов, и любые сопутствующие действия по очистке. Это может включать, например, создание временных или прокси-баз данных, каталогов или запуск серверного процесса.
тестовый случай: Тестовый пример – это наименьшая единица тестирования. Он проверяет определенную реакцию на конкретный набор входных данных. unittest предоставляет базовый класс TestCase, который можно использовать для создания новых тестовых примеров.
набор тестов: Набор тестов – это совокупность тестовых случаев, наборов тестов или и того, и другого. Он используется для объединения тестов, которые должны выполняться вместе.
исполнитель тестов: Исполнитель тестов – это компонент, который управляет выполнением тестов и предоставляет результат пользователю. Исполнитель может использовать графический интерфейс, текстовый интерфейс или возвращать специальное значение, указывающее на результаты выполнения тестов.

Концепции тестового примера и тестовой фикстуры поддерживаются через классы TestCase и FunctionTestCase; первый следует использовать при создании новых тестов, а второй можно использовать при интеграции существующего тестового кода с фреймворком на основе unittest. При построении тестовых фикстур с помощью TestCase можно переопределить методы setUp() и tearDown() для инициализации и очистки фикстуры. С помощью FunctionTestCase можно передать существующие функции в конструктор для этих целей. Когда тест запускается, сначала выполняется инициализация фикстуры; если она успешна, то после выполнения теста запускается метод очистки, независимо от результата теста. Каждый экземпляр TestCase будет использоваться только для выполнения одного метода теста, поэтому для каждого теста создается новая фикстура.

Тестовые наборы реализуются классом TestSuite. Этот класс позволяет объединять отдельные тесты и тестовые наборы; при выполнении набора запускаются все тесты, добавленные непосредственно в набор и в «дочерние» тестовые наборы.

Исполнитель тестов – это объект, который предоставляет единственный метод run(), принимающий объект TestCase или TestSuite в качестве параметра и возвращающий объект результата. Класс TestResult предоставляется для использования в качестве объекта результата. unittest предоставляет TextTestRunner в качестве примера исполнителя тестов, который по умолчанию выводит результаты тестов в поток стандартных ошибок. Альтернативные исполнители могут быть реализованы для других сред (например, графических) без необходимости наследования от какого-либо конкретного класса.

См. также

Модуль doctest: Ещё один модуль поддержки тестирования с совершенно другим подходом.
unittest2: обратный порт новых возможностей unittest для Python 2.4–2.6: В Python 2.7 в unittest было добавлено много новых возможностей, включая обнаружение тестов. unittest2 позволяет использовать эти возможности в более ранних версиях Python.
Простое тестирование в Smalltalk: с шаблонами: Оригинальная статья Кента Бека о фреймворках тестирования, использующих шаблон, общий с unittest.
Nose и py.test: Сторонние фреймворки unittest с более лёгким синтаксисом для написания тестов. Например, assert func(10) == 42.
Таксономия инструментов тестирования Python: Обширный список инструментов тестирования Python, включая фреймворки функционального тестирования и библиотеки имитационных объектов (mock).
Список рассылки по тестированию в Python: Группа по интересам для обсуждения тестирования и инструментов тестирования в Python.

25.3.1. Простой пример¶Basic example

Модуль unittest предоставляет богатый набор инструментов для создания и запуска тестов. В этом разделе показано, что небольшого подмножества инструментов достаточно для удовлетворения потребностей большинства пользователей.

Вот короткий скрипт для тестирования трёх функций из модуля random:

import random
import unittest

class TestSequenceFunctions(unittest.TestCase):

    def setUp(self):
        self.seq = list(range(10))

    def test_shuffle(self):
        # проверить, что перемешанная последовательность не теряет ни одного элемента
        random.shuffle(self.seq)
        self.seq.sort()
        self.assertEqual(self.seq, list(range(10)))

        # должно вызывать исключение для неизменяемой последовательности
        self.assertRaises(TypeError, random.shuffle, (1,2,3))

    def test_choice(self):
        element = random.choice(self.seq)
        self.assertTrue(element in self.seq)

    def test_sample(self):
        with self.assertRaises(ValueError):
            random.sample(self.seq, 20)
        for element in random.sample(self.seq, 5):
            self.assertTrue(element in self.seq)

if __name__ == '__main__':
    unittest.main()

Тестовый пример создаётся путём создания подкласса unittest.TestCase. Три отдельных теста определяются методами, имена которых начинаются с букв test. Это соглашение об именах сообщает программе запуска тестов, какие методы представляют собой тесты.

Суть каждого теста сводится к вызову assertEqual() для проверки ожидаемого результата; assertTrue() – для проверки условия; или assertRaises() – чтобы убедиться, что возникает ожидаемое исключение. Эти методы используются вместо оператора assert, чтобы средство запуска тестов могло накапливать все результаты и формировать отчёт.

Если определён метод setUp(), средство запуска тестов выполнит его перед каждым тестом. Аналогично, если определён метод tearDown(), средство запуска тестов вызовет его после каждого теста. В примере setUp() использовался для создания новой последовательности для каждого теста.

Последний блок демонстрирует простой способ запуска тестов. unittest.main() предоставляет интерфейс командной строки для тестового скрипта. При запуске из командной строки указанный скрипт выдаёт вывод, который выглядит так:

...
----------------------------------------------------------------------
Ran 3 tests in 0.000s

OK

Вместо unittest.main() существуют другие способы запуска тестов с более точным контролем, менее лаконичным выводом и без необходимости запуска из командной строки. Например, последние две строки можно заменить на:

suite = unittest.TestLoader().loadTestsFromTestCase(TestSequenceFunctions)
unittest.TextTestRunner(verbosity=2).run(suite)

Запуск изменённого скрипта из интерпретатора или другого скрипта приводит к следующему выводу:

test_choice (__main__.TestSequenceFunctions) ... ok
test_sample (__main__.TestSequenceFunctions) ... ok
test_shuffle (__main__.TestSequenceFunctions) ... ok

----------------------------------------------------------------------
Ran 3 tests in 0.110s

OK

Приведенные выше примеры демонстрируют наиболее часто используемые возможности unittest, которых достаточно для многих повседневных задач тестирования. Остальная часть документации исследует полный набор возможностей с нуля.

25.3.2. Интерфейс командной строки¶Command-Line Interface

Модуль unittest можно использовать из командной строки для запуска тестов из модулей, классов или даже отдельных тестовых методов:

python -m unittest test_module1 test_module2
python -m unittest test_module.TestClass
python -m unittest test_module.TestClass.test_method

Можно передать список с любой комбинацией имён модулей, а также полных имён классов или методов.

Можно запускать тесты с большей детализацией (повышенной подробностью), передав флаг -v:

python -m unittest -v test_module

Чтобы получить список всех параметров командной строки:

python -m unittest -h

25.3.3. Организация тестового кода¶Organizing test code

Основными строительными блоками модульного тестирования являются тестовые примеры – отдельные сценарии, которые необходимо настроить и проверить на корректность. В unittest тестовые примеры представлены экземплярами класса unittest::TestCase. Чтобы создать собственные тестовые примеры, нужно написать подклассы TestCase или использовать FunctionTestCase.

Экземпляр класса, производного от TestCase, представляет собой объект, который может полностью выполнить один тестовый метод вместе с необязательным кодом настройки и очистки.

Тестовый код экземпляра TestCase должен быть полностью самодостаточным, чтобы его можно было запускать как изолированно, так и в произвольной комбинации с любым количеством других тестовых сценариев.

Простейший подкласс TestCase просто переопределяет метод runTest(), чтобы выполнить конкретный тестовый код:

import unittest

class DefaultWidgetSizeTestCase(unittest.TestCase):
    def runTest(self):
        widget = Widget('The widget')
        self.assertEqual(widget.size(), (50, 50), 'incorrect default size')

Обратите внимание, что для проверки чего-либо используются методы assert*() из базового класса TestCase. Если тест проваливается, возникает исключение, и unittest идентифицирует тестовый пример как неудачу. Любые другие исключения будут расцениваться как ошибки. Это помогает определить, в чем проблема: неудачи вызваны неверными результатами – например, получено 5 вместо ожидаемой 6. Ошибки вызваны неверным кодом – например, TypeError из-за неправильного вызова функции.

Способ запуска тестового примера будет описан позже. Пока обратите внимание, что для создания экземпляра такого тестового примера мы вызываем его конструктор без аргументов:

testCase = DefaultWidgetSizeTestCase()

Теперь таких тестовых примеров может быть много, и их настройка может повторяться. В приведённом выше случае создание Widget в каждом из 100 подклассов тестовых примеров Widget привело бы к некрасивому дублированию.

К счастью, такой код настройки можно вынести, реализовав метод setUp(), который тестовый фреймворк автоматически вызовет при запуске теста:

import unittest

class SimpleWidgetTestCase(unittest.TestCase):
    def setUp(self):
        self.widget = Widget('The widget')

class DefaultWidgetSizeTestCase(SimpleWidgetTestCase):
    def runTest(self):
        self.assertEqual(self.widget.size(), (50,50),
                         'incorrect default size')

class WidgetResizeTestCase(SimpleWidgetTestCase):
    def runTest(self):
        self.widget.resize(100,150)
        self.assertEqual(self.widget.size(), (100,150),
                         'wrong size after resize')

Если метод setUp() возбуждает исключение во время выполнения теста, фреймворк считает, что в тесте произошла ошибка, и метод runTest() не будет выполнен.

Аналогично можно предоставить метод tearDown(), который выполняет очистку после выполнения метода runTest():

import unittest

class SimpleWidgetTestCase(unittest.TestCase):
    def setUp(self):
        self.widget = Widget('The widget')

    def tearDown(self):
        self.widget.dispose()
        self.widget = None

Если setUp() выполнился успешно, метод tearDown() будет запущен независимо от того, успешно ли выполнился runTest().

Такое рабочее окружение для тестового кода называется фикстурой.

Часто много маленьких тестовых примеров используют одну и ту же фикстуру. В этом случае пришлось бы создавать подклассы SimpleWidgetTestCase для множества маленьких классов с одним методом, таких как DefaultWidgetSizeTestCase. Это отнимает много времени и обескураживает, поэтому, следуя примеру JUnit, unittest предоставляет более простой механизм:

import unittest

class WidgetTestCase(unittest.TestCase):
    def setUp(self):
        self.widget = Widget('The widget')

    def tearDown(self):
        self.widget.dispose()
        self.widget = None

    def test_default_size(self):
        self.assertEqual(self.widget.size(), (50,50),
                         'incorrect default size')

    def test_resize(self):
        self.widget.resize(100,150)
        self.assertEqual(self.widget.size(), (100,150),
                         'wrong size after resize')

Здесь мы не предоставили метод runTest(), а вместо этого предоставили два различных тестовых метода. Теперь каждый экземпляр класса будет запускать один из методов test_*(), причём self.widget создаётся и уничтожается отдельно для каждого экземпляра. При создании экземпляра необходимо указать, какой тестовый метод он будет выполнять. Это делается путём передачи имени метода в конструктор:

defaultSizeTestCase = WidgetTestCase('test_default_size')
resizeTestCase = WidgetTestCase('test_resize')

Экземпляры тестовых примеров группируются вместе в соответствии с тестируемыми возможностями. unittest предоставляет для этого механизм: тестовый набор, представленный классом unittest::TestSuite:

widgetTestSuite = unittest.TestSuite()
widgetTestSuite.addTest(WidgetTestCase('test_default_size'))
widgetTestSuite.addTest(WidgetTestCase('test_resize'))

Для удобства запуска тестов, как мы увидим далее, рекомендуется предоставлять в каждом тестовом модуле вызываемый объект, возвращающий предварительно собранный набор тестов:

def suite():
    suite = unittest.TestSuite()
    suite.addTest(WidgetTestCase('test_default_size'))
    suite.addTest(WidgetTestCase('test_resize'))
    return suite

или даже:

def suite():
    tests = ['test_default_size', 'test_resize']

    return unittest.TestSuite(map(WidgetTestCase, tests))

Поскольку создание подкласса TestCase с множеством однотипно названных тестовых функций является распространенным шаблоном, unittest предоставляет класс TestLoader, который можно использовать для автоматизации процесса создания тестового набора и заполнения его отдельными тестами. Например,

suite = unittest.TestLoader().loadTestsFromTestCase(WidgetTestCase)

создаст набор тестов, который выполнит WidgetTestCase.test_default_size() и WidgetTestCase.test_resize. TestLoader использует префикс имени метода 'test' для автоматического определения тестовых методов.

Обратите внимание, что порядок выполнения различных тестовых случаев определяется сортировкой имён тестовых функций в соответствии со встроенным порядком строк.

Часто желательно группировать наборы тестов вместе, чтобы запускать тесты для всей системы за один раз. Это легко, поскольку экземпляры TestSuite можно добавлять в TestSuite так же, как экземпляры TestCase можно добавлять в TestSuite:

suite1 = module1.TheTestSuite()
suite2 = module2.TheTestSuite()
alltests = unittest.TestSuite([suite1, suite2])

Определения тестовых сценариев и тестовых наборов можно размещать в тех же модулях, что и тестируемый код (например, widget.py), но есть несколько преимуществ в размещении тестового кода в отдельном модуле, например test_widget.py:

Тестовый модуль можно запускать автономно из командной строки.
Тестовый код проще отделить от поставляемого кода.
Меньше соблазна изменять тестовый код, чтобы подогнать его под тестируемый код, без веской причины.
Тестовый код должен изменяться гораздо реже, чем тестируемый код.
Тестируемый код проще поддаётся рефакторингу.
Тесты для модулей, написанных на C, всё равно должны быть в отдельных модулях – так почему бы не придерживаться этого подхода?
Если стратегия тестирования меняется, нет необходимости изменять исходный код.

25.3.4. Повторное использование старого тестового кода¶Re-using old test code

Некоторые пользователи обнаружат, что у них есть существующий тестовый код, который они хотели бы запустить из unittest, без преобразования каждой старой тестовой функции в подкласс TestCase.

По этой причине unittest предоставляет класс FunctionTestCase. Этот подкласс TestCase можно использовать для обертывания существующей тестовой функции. Также можно предоставить функции настройки и завершения.

Рассмотрим следующую тестовую функцию:

def testSomething():
    something = makeSomething()
    assert something.name is not None
    # ...

можно создать эквивалентный экземпляр тестового случая следующим образом:

testcase = unittest.FunctionTestCase(testSomething)

Если есть дополнительные методы настройки и очистки, которые должны вызываться в рамках работы тестового случая, их также можно предоставить следующим образом:

testcase = unittest.FunctionTestCase(testSomething,
                                     setUp=makeSomethingDB,
                                     tearDown=deleteSomethingDB)

Чтобы облегчить миграцию существующих тестовых наборов, unittest поддерживает тесты, вызывающие AssertionError для указания неудачи теста. Однако рекомендуется вместо этого использовать явные методы TestCase.fail*() и TestCase.assert*(), так как будущие версии unittest могут обрабатывать AssertionError иначе.

Примечание

Хотя FunctionTestCase можно использовать для быстрого преобразования существующей тестовой базы в систему на основе unittest, этот подход не рекомендуется. Потратив время на создание правильных подклассов TestCase, можно значительно упростить будущие рефакторинги тестов.

В некоторых случаях существующие тесты могут быть написаны с использованием модуля doctest. Если это так, doctest предоставляет класс DocTestSuite, который может автоматически создавать экземпляры unittest.TestSuite из существующих тестов на основе doctest.

25.3.5. Пропуск тестов и ожидаемые неудачи¶Skipping tests and expected failures

Новое в версии 3.1.

Unittest поддерживает пропуск отдельных тестовых методов и даже целых классов тестов. Кроме того, он поддерживает пометку теста как «ожидаемого сбоя» – теста, который сломан и будет провален, но не должен учитываться как сбой в TestResult.

Пропуск теста – это просто использование skip() декоратора или одного из его условных вариантов.

Базовый пропуск выглядит так:

class MyTestCase(unittest.TestCase):

    @unittest.skip("demonstrating skipping")
    def test_nothing(self):
        self.fail("shouldn't happen")

    @unittest.skipIf(mylib.__version__ < (1, 3),
                     "not supported in this library version")
    def test_format(self):
        # Тесты, которые работают только для определённой версии библиотеки.
        pass

    @unittest.skipUnless(sys.platform.startswith("win"), "requires Windows")
    def test_windows_support(self):
        # код тестирования для Windows
        pass

Это вывод приведённого выше примера в подробном режиме:

test_format (__main__.MyTestCase) ... skipped 'not supported in this library version'
test_nothing (__main__.MyTestCase) ... skipped 'demonstrating skipping'
test_windows_support (__main__.MyTestCase) ... skipped 'requires Windows'

----------------------------------------------------------------------
Ran 3 tests in 0.005s

OK (skipped=3)

Классы можно пропускать так же, как методы:

@skip("showing class skipping")
class MySkippedTestCase(unittest.TestCase):
    def test_not_run(self):
        pass

TestCase.setUp() также может пропустить тест. Это полезно, когда ресурс, который необходимо настроить, недоступен.

Ожидаемые сбои используют декоратор expectedFailure().

class ExpectedFailureTestCase(unittest.TestCase):
    @unittest.expectedFailure
    def test_fail(self):
        self.assertEqual(1, 0, "broken")

Легко создать собственные декораторы пропуска, написав декоратор, который вызывает skip() для теста, когда его нужно пропустить. Этот декоратор пропускает тест, если переданный объект не имеет определённого атрибута:

def skipUnlessHasattr(obj, attr):
    if hasattr(obj, attr):
        return lambda func: func
    return unittest.skip("{0!r} doesn't have {1!r}".format(obj, attr))

Следующие декораторы реализуют пропуск тестов и ожидаемые сбои:

unittest.skip(reason)¶: Безусловно пропускает декорированный тест. Параметр reason должен описывать причину пропуска теста.

unittest.skipIf(condition, reason)¶: Пропустить декорированный тест, если condition истинно.

unittest.skipUnless(condition, reason)¶: Пропустить декорированный тест, если condition не истинно.

unittest.expectedFailure()¶: Помечает тест как ожидаемый сбой. Если тест завершается ошибкой при запуске, он не учитывается как сбой.

25.3.6. Классы и функции¶Classes and functions

В этом разделе подробно описывается API unittest.

25.3.6.1. Тестовые примеры¶Test cases

class unittest.TestCase(methodName='runTest')¶

Экземпляры класса TestCase представляют наименьшие тестируемые единицы во вселенной unittest. Этот класс предназначен для использования в качестве базового класса, при этом конкретные тесты реализуются конкретными подклассами. Этот класс реализует интерфейс, необходимый исполнителю тестов для управления тестом, а также методы, которые тестовый код может использовать для проверки и сообщения о различных типах неудач.

Каждый экземпляр TestCase запускает один тестовый метод: метод с именем methodName. Как упоминалось ранее, был пример, выглядевший следующим образом:

def suite():
    suite = unittest.TestSuite()
    suite.addTest(WidgetTestCase('test_default_size'))
    suite.addTest(WidgetTestCase('test_resize'))
    return suite

Здесь создаются два экземпляра WidgetTestCase, каждый из которых выполняет один тест.

methodName по умолчанию равен runTest().

Экземпляры TestCase предоставляют три группы методов: одна группа используется для запуска теста, другая – реализацией теста для проверки условий и сообщения об ошибках, а также некоторые запрашивающие методы, позволяющие получать информацию о самом тесте.

Методы первой группы (выполнение теста):

setUp()¶: Метод, вызываемый для подготовки тестового окружения (fixture). Он вызывается непосредственно перед вызовом тестового метода; любое исключение, возбуждённое этим методом, будет считаться ошибкой, а не неудачей теста. Реализация по умолчанию ничего не делает.

tearDown()¶: Метод, вызываемый сразу после вызова тестового метода и записи результата. Он вызывается, даже если тестовый метод возбудил исключение, поэтому реализация в подклассах должна быть особенно внимательна при проверке внутреннего состояния. Любое исключение, возбуждённое этим методом, будет считаться ошибкой, а не неудачей теста. Этот метод вызывается только в случае успешного выполнения setUp(), независимо от результата тестового метода. Реализация по умолчанию ничего не делает.

run(result=None)¶

Запускает тест, собирая результат в объект результата теста, переданный как result. Если result опущен или равен None, создаётся временный объект результата (вызовом метода defaultTestResult()) и используется. Объект результата не возвращается вызывающему коду run().

Тот же эффект можно получить, просто вызвав экземпляр TestCase.

skipTest(reason)¶

Вызов этого метода во время выполнения тестового метода или setUp() пропускает текущий тест. См. Пропуск тестов и ожидаемые сбои для получения дополнительной информации.

Новое в версии 3.1.

debug()¶: Запускает тест без сбора результата. Это позволяет исключениям, возникшим в тесте, распространяться до вызывающего кода, и может использоваться для поддержки запуска тестов под отладчиком.

Класс TestCase предоставляет ряд методов для проверки и сообщения об ошибках, таких как:

Метод	Проверяет, что	Новое в
`assertEqual(a, b)`	`a == b`
`assertNotEqual(a, b)`	`a != b`
`assertTrue(x)`	`bool(x) is True`
`assertFalse(x)`	`bool(x) is False`
`assertIs(a, b)`	`a is b`	3.1
`assertIsNot(a, b)`	`a is not b`	3.1
`assertIsNone(x)`	`x is None`	3.1
`assertIsNotNone(x)`	`x is not None`	3.1
`assertIn(a, b)`	`a in b`	3.1
`assertNotIn(a, b)`	`a not in b`	3.1

Все методы assert (за исключением assertRaises(), assertRaisesRegexp(), assertWarns(), assertWarnsRegexp()) принимают аргумент msg, который, если указан, используется как сообщение об ошибке при неудаче (см. также longMessage).

assertEqual(first, second, msg=None)¶

Проверяет, что first и second равны. Если значения не равны, тест завершится неудачей.

Кроме того, если first и second имеют один и тот же тип и являются одним из list, tuple, dict, set, frozenset или str или любым типом, который подкласс регистрирует с помощью addTypeEqualityFunc(), то типовая функция проверки равенства будет вызвана для формирования более полезного сообщения об ошибке по умолчанию (см. также список типовых методов).

Изменено в версии 3.1: Добавлен автоматический вызов типовой функции проверки равенства.

assertNotEqual(first, second, msg=None)¶: Проверяет, что first и second не равны. Если значения равны, тест завершится неудачей.

assertTrue(expr, msg=None)¶

assertFalse(expr, msg=None)¶

Проверяет, что expr истинно (или ложно).

Обратите внимание, что это эквивалентно bool(expr) is True, а не expr is True (для последнего используйте assertIs(expr, True)). Этого метода также следует избегать, когда доступны более специфичные методы (например, assertEqual(a, b) вместо assertTrue(a == b)), поскольку они предоставляют лучшее сообщение об ошибке в случае неудачи.

assertIs(first, second, msg=None)¶

assertIsNot(first, second, msg=None)¶

Проверяет, что first и second являются (или не являются) одним и тем же объектом.

Новое в версии 3.1.

assertIsNone(expr, msg=None)¶

assertIsNotNone(expr, msg=None)¶

Проверяет, что expr равен (или не равен) None.

Новое в версии 3.1.

assertIn(first, second, msg=None)¶

assertNotIn(first, second, msg=None)¶

Проверяет, находится ли first в second (или не находится).

Новое в версии 3.1.

Также можно проверить, что исключения и предупреждения возбуждаются с помощью следующих методов:

Метод	Проверяет, что	Новое в
`assertRaises(exc, fun, args, *kwds)`	`fun(args, *kwds)` возбуждает exc
`assertRaisesRegexp(exc, re, fun, args, *kwds)`	`fun(args, *kwds)` вызывает exc и сообщение соответствует re	3.1

assertRaises(exception, callable, *args, **kwds)¶

assertRaises(exception)

Проверяет, что исключение возбуждается, когда callable вызывается с любыми позиционными или ключевыми аргументами, которые также передаются в assertRaises(). Тест проходит, если возбуждается исключение, является ошибкой, если возбуждается другое исключение, или завершается неудачей, если исключение не возбуждено. Чтобы перехватить любую из группы исключений, можно передать кортеж, содержащий классы исключений, как исключение.

Если указан только аргумент исключение, возвращается контекстный менеджер, так что тестируемый код можно писать встроенно, а не в виде функции:

with self.assertRaises(SomeException):
    do_something()

Изменено в версии 3.1: Добавлена возможность использовать assertRaises() в качестве менеджера контекста.

assertRaisesRegexp(exception, regexp, callable, *args, **kwds)¶

assertRaisesRegexp(exception, regexp)

Подобно assertRaises(), но также проверяет, что regexp соответствует строковому представлению возбуждённого исключения. regexp может быть объектом регулярного выражения или строкой, содержащей регулярное выражение, подходящей для использования в re.search(). Примеры:

self.assertRaisesRegexp(ValueError, 'invalid literal for.*XYZ$',
                        int, 'XYZ')

или:

with self.assertRaisesRegexp(ValueError, 'literal'):
   int('XYZ')

Новое в версии 3.1.

Существуют также другие методы для выполнения более специфических проверок, например:

Метод	Проверяет, что	Новое в
`assertAlmostEqual(a, b)`	`round(a-b, 7) == 0`
`assertNotAlmostEqual(a, b)`	`round(a-b, 7) != 0`
`assertGreater(a, b)`	`a > b`	3.1
`assertGreaterEqual(a, b)`	`a >= b`	3.1
`assertLess(a, b)`	`a < b`	3.1
`assertLessEqual(a, b)`	`a <= b`	3.1
`assertRegexpMatches(s, re)`	`regex.search(s)`	3.1
`assertDictContainsSubset(a, b)`	все пары ключ/значение в a присутствуют в b	3.1

assertAlmostEqual(first, second, places=7, msg=None, delta=None)¶

assertNotAlmostEqual(first, second, places=7, msg=None, delta=None)¶

Проверяет, что first и second приблизительно (или не приблизительно) равны, вычисляя разность, округляя до заданного числа десятичных знаков (по умолчанию 7) и сравнивая с нулём. Обратите внимание, что эти методы округляют значения до заданного числа десятичных знаков (т.е. как функция round()), а не до значащих цифр.

Если указан delta вместо places, то разница между first и second должна быть меньше (или больше) delta.

Указание одновременно delta и places вызывает исключение TypeError.

assertGreater(first, second, msg=None)¶

assertGreaterEqual(first, second, msg=None)¶

assertLess(first, second, msg=None)¶

assertLessEqual(first, second, msg=None)¶

Проверяет, что first соответственно >, >=, < или <= по отношению к second в зависимости от имени метода. Если это не так, тест завершается ошибкой:

>>> self.assertGreaterEqual(3, 4)
AssertionError: "3" unexpectedly not greater than or equal to "4"

Новое в версии 3.1.

assertRegexpMatches(text, regexp, msg=None)¶

Проверяет, что поиск по regexp соответствует text. В случае неудачи сообщение об ошибке будет содержать шаблон и text (или шаблон и часть text, которая неожиданно совпала). regexp может быть объектом регулярного выражения или строкой, содержащей регулярное выражение, пригодное для использования в re.search().

Новое в версии 3.1: assertRegexpMatches()

assertDictContainsSubset(expected, actual, msg=None)¶

Проверяет, являются ли пары ключ/значение в словаре actual надмножеством пар в expected. Если нет, создаётся сообщение об ошибке со списком отсутствующих ключей и несовпадающих значений.

Новое в версии 3.1.

Устарело с версии 3.2.

assertSameElements(actual, expected, msg=None)¶

Проверяет, что последовательность expected содержит те же элементы, что и actual, независимо от их порядка. Если это не так, создаётся сообщение об ошибке со списком различий между последовательностями.

Дублирующиеся элементы игнорируются при сравнении actual и expected. Это эквивалентно assertEqual(set(expected), set(actual)), но работает также с последовательностями нехэшируемых объектов. Поскольку дубликаты игнорируются, этот метод устарел в пользу assertItemsEqual().

Новое в версии 3.1.

Устарело с версии 3.2.

Метод assertEqual() направляет проверку равенства для объектов одного типа к различным методам, специфичным для типа. Эти методы уже реализованы для большинства встроенных типов, но также можно зарегистрировать новые методы с помощью addTypeEqualityFunc():

addTypeEqualityFunc(typeobj, function)¶

Регистрирует метод, специфичный для типа, который вызывается assertEqual() для проверки, равны ли два объекта одного и того же typeobj (не подклассы). function должен принимать два позиционных аргумента и третий именованный аргумент msg=None, как и assertEqual(). Он должен вызывать исключение self.failureException(msg) при обнаружении неравенства между первыми двумя параметрами – возможно, предоставляя полезную информацию и подробно объясняя неравенства в сообщении об ошибке.

Новое в версии 3.1.

Список методов, специфичных для типа, автоматически используемых assertEqual(), приведен в следующей таблице. Обратите внимание, что обычно нет необходимости вызывать эти методы напрямую.

Метод	Используется для сравнения	Новое в
`assertMultiLineEqual(a, b)`	строки	3.1
`assertSequenceEqual(a, b)`	последовательности	3.1
`assertListEqual(a, b)`	списки	3.1
`assertTupleEqual(a, b)`	кортежи	3.1
`assertSetEqual(a, b)`	множества или неизменяемые множества	3.1
`assertDictEqual(a, b)`	словари	3.1

assertMultiLineEqual(first, second, msg=None)¶

Проверяет, что многострочная строка first равна строке second. При неравенстве в сообщение об ошибке будет включена разница между двумя строками с выделением отличий. Этот метод используется по умолчанию при сравнении строк с assertEqual().

Новое в версии 3.1.

assertSequenceEqual(seq1, seq2, msg=None, seq_type=None)¶

Проверяет, что две последовательности равны. Если указан seq_type, то и seq1, и seq2 должны быть экземплярами seq_type, иначе возникнет ошибка. Если последовательности различаются, формируется сообщение об ошибке, показывающее разницу между ними.

Этот метод не вызывается напрямую assertEqual(), но используется для реализации assertListEqual() и assertTupleEqual().

Новое в версии 3.1.

assertListEqual(list1, list2, msg=None)¶

assertTupleEqual(tuple1, tuple2, msg=None)¶

Проверяет, что два списка или кортежа равны. Если нет, формируется сообщение об ошибке, показывающее только различия между ними. Ошибка также возникает, если любой из параметров имеет неверный тип. Эти методы используются по умолчанию при сравнении списков или кортежей с assertEqual().

Новое в версии 3.1.

assertSetEqual(set1, set2, msg=None)¶

Проверяет, что два множества равны. Если нет, формируется сообщение об ошибке, в котором перечислены различия между множествами. Этот метод используется по умолчанию при сравнении множеств или frozensets с assertEqual().

Завершается ошибкой, если set1 или set2 не имеют метода set.difference().

Новое в версии 3.1.

assertDictEqual(expected, actual, msg=None)¶

Проверяет, что два словаря равны. Если нет, формируется сообщение об ошибке, показывающее различия в словарях. Этот метод будет использоваться по умолчанию для сравнения словарей в вызовах assertEqual().

Новое в версии 3.1.

Наконец, TestCase предоставляет следующие методы и атрибуты:

fail(msg=None)¶: Безусловно сообщает о провале теста, с msg или None в качестве сообщения об ошибке.

failureException¶: Этот атрибут класса задаёт исключение, возбуждаемое тестовым методом. Если тестовой платформе нужно использовать специализированное исключение, возможно, для передачи дополнительной информации, она должна создать подкласс этого исключения, чтобы корректно работать с платформой. Начальное значение этого атрибута – AssertionError.

longMessage¶

Если установлено в True, то любое явное сообщение об ошибке, переданное в assert-методы, будет добавлено в конец стандартного сообщения об ошибке. Стандартные сообщения содержат полезную информацию о вовлечённых объектах, например, сообщение от assertEqual показывает repr двух неравных объектов. Установка этого атрибута в True позволяет иметь пользовательское сообщение об ошибке в дополнение к стандартному.

По умолчанию этот атрибут равен False, то есть пользовательское сообщение, переданное методу проверки, подавляет стандартное сообщение.

Настройку класса можно переопределить в отдельных тестах, назначив атрибут экземпляра в True или False перед вызовом методов assert.

Новое в версии 3.1.

Тестовые фреймворки могут использовать следующие методы для сбора информации о тесте:

countTestCases()¶: Возвращает количество тестов, представленных этим тестовым объектом. Для экземпляров TestCase это значение всегда равно 1.

defaultTestResult()¶

Возвращает экземпляр класса результата теста, который следует использовать для этого класса тестового случая (если другой экземпляр результата не предоставлен методу run()).

Для экземпляров TestCase это всегда будет экземпляр TestResult; подклассы TestCase должны переопределять это при необходимости.

id()¶: Возвращает строку, идентифицирующую конкретный тестовый случай. Обычно это полное имя тестового метода, включая имя модуля и класса.

shortDescription()¶

Возвращает описание теста или None, если описание не было указано. Реализация по умолчанию этого метода возвращает первую строку докстринга тестового метода, если он есть, вместе с именем метода.

Изменено в версии 3.1: В предыдущих версиях это возвращало только первую строку докстринга тестового метода, если он был, или None. Это приводило к нежелательному поведению – имя теста не печаталось, когда кто-то был настолько предусмотрителен, что написал докстринг.

addCleanup(function, *args, **kwargs)¶

Добавляет функцию, которая будет вызвана после tearDown() для очистки ресурсов, используемых во время теста. Функции будут вызываться в порядке, обратном порядку их добавления (LIFO). Они вызываются с теми аргументами и именованными аргументами, которые были переданы в addCleanup() при их добавлении.

Если setUp() завершается неудачей, так что tearDown() не вызывается, то все добавленные функции очистки всё равно будут вызваны.

Новое в версии 3.1.

doCleanups()¶

Этот метод вызывается безусловно после tearDown(), или после setUp(), если setUp() возбуждает исключение.

Он отвечает за вызов всех функций очистки, добавленных с помощью addCleanup(). Если нужно, чтобы функции очистки вызывались до tearDown(), то можно вызвать doCleanups() самостоятельно.

doCleanups() извлекает методы из стека функций очистки по одному, поэтому его можно вызывать в любое время.

Новое в версии 3.1.

class unittest.FunctionTestCase(testFunc, setUp=None, tearDown=None, description=None)¶: Этот класс реализует часть интерфейса TestCase, которая позволяет тестовому раннеру запускать тест, но не предоставляет методы, которые тестовый код может использовать для проверки и сообщения об ошибках. Он используется для создания тестовых случаев с использованием устаревшего тестового кода, позволяя интегрировать его в тестовую среду на основе unittest.

25.3.6.1.1. Устаревшие псевдонимы¶Deprecated aliases

По историческим причинам некоторые методы TestCase имели один или несколько псевдонимов, которые теперь устарели. В следующей таблице перечислены правильные имена вместе с их устаревшими псевдонимами:

Имя метода Устаревшие псевдонимы

assertEqual() failUnlessEqual, assertEquals

assertNotEqual() failIfEqual

assertTrue() failUnless, assert_

assertFalse() failIf

assertRaises() failUnlessRaises

assertAlmostEqual() failUnlessAlmostEqual

assertNotAlmostEqual() failIfAlmostEqual

Устарело с версии 3.1: псевдонимы, перечисленные во втором столбце

Имя метода	Устаревшие псевдонимы
`assertEqual()`	failUnlessEqual, assertEquals
`assertNotEqual()`	failIfEqual
`assertTrue()`	failUnless, assert_
`assertFalse()`	failIf
`assertRaises()`	failUnlessRaises
`assertAlmostEqual()`	failUnlessAlmostEqual
`assertNotAlmostEqual()`	failIfAlmostEqual

25.3.6.2. Группировка тестов¶Grouping tests

class unittest.TestSuite(tests=())¶

Этот класс представляет собой агрегацию отдельных тестовых случаев и тестовых наборов. Он предоставляет интерфейс, необходимый тестовому раннеру, чтобы его можно было запускать как любой другой тестовый случай. Запуск экземпляра TestSuite равносилен итерации по набору с запуском каждого теста по отдельности.

Если задан tests, он должен быть итерабельным объектом, содержащим отдельные тестовые примеры или другие тестовые наборы, которые будут использоваться для первоначального построения набора. Дополнительные методы предоставляются для добавления тестовых примеров и наборов в коллекцию позже.

Объекты TestSuite во многом аналогичны объектам TestCase, за исключением того, что они не реализуют тест напрямую. Вместо этого они служат для объединения тестов в группы, которые должны выполняться совместно. Есть несколько дополнительных методов для добавления тестов в экземпляры TestSuite:

addTest(test)¶: Добавляет объект TestCase или TestSuite в набор.

addTests(tests)¶

Добавляет все тесты из итерируемого объекта, содержащего экземпляры TestCase и TestSuite, в данный тестовый набор.

Это эквивалентно перебору tests с вызовом addTest() для каждого элемента.

TestSuite имеет общие следующие методы с TestCase:

run(result)¶: Запускает тесты, связанные с этим набором, собирая результат в объект результата теста, переданный как result. Обратите внимание, что, в отличие от TestCase.run(), TestSuite.run() требует обязательной передачи объекта результата.

debug()¶: Запускает тесты, связанные с этим набором, без сбора результата. Это позволяет исключениям, возбуждённым тестом, распространяться до вызывающего кода и может использоваться для поддержки запуска тестов под отладчиком.

countTestCases()¶: Возвращает количество тестов, представленных этим тестовым объектом, включая все отдельные тесты и поднаборы.

__iter__()¶: Тесты, сгруппированные в TestSuite, всегда извлекаются через итерацию. Подклассы могут предоставлять тесты лениво, переопределяя __iter__(). Обратите внимание, что этот метод может вызываться несколько раз для одного набора (например, при подсчёте тестов или сравнении на равенство) поэтому на всех повторных итерациях должны возвращаться одни и те же тесты.

В типичном использовании объекта TestSuite метод run() вызывается TestRunner, а не тестовым стендом конечного пользователя.

25.3.6.3. Загрузка и запуск тестов¶Loading and running tests

class unittest.TestLoader¶

Класс TestLoader используется для создания наборов тестов из классов и модулей. Обычно нет необходимости создавать экземпляр этого класса; модуль unittest предоставляет экземпляр, который можно использовать как unittest.defaultTestLoader. Однако использование подкласса или экземпляра позволяет настраивать некоторые параметры конфигурации.

Объекты TestLoader имеют следующие методы:

loadTestsFromTestCase(testCaseClass)¶: Возвращает набор всех тестовых случаев, содержащихся в классе testCaseClass, производном от TestCase.

loadTestsFromModule(module)¶: Возвращает набор всех тестовых случаев, содержащихся в данном модуле. Этот метод ищет в module классы, производные от TestCase, и создает экземпляр класса для каждого тестового метода, определенного в классе.

Примечание

Хотя использование иерархии классов, производных от TestCase, может быть удобным для совместного использования фикстур и вспомогательных функций, определение тестовых методов в базовых классах, которые не предназначены для прямого инстанцирования, плохо сочетается с этим методом. Однако это может быть полезно, когда фикстуры различаются и определяются в подклассах.

loadTestsFromName(name, module=None)¶

Возвращает набор всех тестовых случаев по строковому спецификатору.

Спецификатор name – это «точечное имя», которое может разрешаться в модуль, класс тестового случая, тестовый метод внутри класса тестового случая, экземпляр TestSuite или вызываемый объект, возвращающий экземпляр TestCase или TestSuite. Эти проверки применяются в указанном порядке; то есть метод в классе возможного тестового случая будет распознан как «тестовый метод внутри класса тестового случая», а не как «вызываемый объект».

Например, если у вас есть модуль SampleTests, содержащий класс SampleTestCase, производный от TestCase, с тремя тестовыми методами (test_one(), test_two() и test_three()), то спецификатор 'SampleTests.SampleTestCase' приведет к тому, что этот метод вернет набор, который запустит все три тестовых метода. Использование спецификатора 'SampleTests.SampleTestCase.test_two' приведет к возврату тестового набора, который запустит только тестовый метод test_two(). Спецификатор может ссылаться на модули и пакеты, которые еще не были импортированы; они будут импортированы как побочный эффект.

Метод опционально разрешает name относительно заданного module.

loadTestsFromNames(names, module=None)¶: Аналогично loadTestsFromName(), но принимает последовательность имён, а не одно имя. Возвращаемое значение – тестовый набор, содержащий все тесты, определённые для каждого имени.

getTestCaseNames(testCaseClass)¶: Возвращает отсортированную последовательность имён методов, найденных в testCaseClass; и он должен быть подклассом TestCase.

Следующие атрибуты TestLoader можно настроить либо через создание подкласса, либо присваиванием экземпляру:

testMethodPrefix¶

Строка, задающая префикс имён методов, которые будут интерпретироваться как тестовые методы. Значение по умолчанию – 'test'.

Это влияет на getTestCaseNames() и все методы loadTestsFrom*().

sortTestMethodsUsing¶: Функция, используемая для сравнения имён методов при сортировке в getTestCaseNames() и во всех методах loadTestsFrom*().

suiteClass¶

Вызываемый объект, который создаёт тестовый набор из списка тестов. Никакие методы результирующего объекта не требуются. Значение по умолчанию – класс TestSuite.

Это влияет на все методы loadTestsFrom*().

class unittest.TestResult¶

Этот класс используется для сбора информации о том, какие тесты прошли успешно, а какие завершились неудачей.

Объект TestResult хранит результаты набора тестов. Классы TestCase и TestSuite обеспечивают корректную запись результатов; авторам тестов не нужно заботиться о записи результатов тестов.

Фреймворки для тестирования, построенные на основе unittest, могут нуждаться в доступе к объекту TestResult, который создаётся при запуске набора тестов для отчётности; экземпляр TestResult возвращается методом TestRunner.run() для этой цели.

Экземпляры TestResult имеют следующие атрибуты, которые будут интересны при просмотре результатов выполнения набора тестов:

errors¶: Список, содержащий кортежи из двух элементов: экземпляры TestCase и строки с форматированными трассировками. Каждый кортеж представляет тест, вызвавший неожиданное исключение.

failures¶: Список, содержащий кортежи из двух элементов: экземпляров TestCase и строк с отформатированными трассировками. Каждый кортеж представляет тест, в котором сбой был явно зафиксирован с помощью методов TestCase.fail*() или TestCase.assert*().

skipped¶

Список, содержащий кортежи из двух элементов: экземпляры TestCase и строки с причиной пропуска теста.

Новое в версии 3.1.

expectedFailures¶: Список, содержащий кортежи из двух элементов: экземпляры TestCase и строки с форматированными трассировками. Каждый кортеж представляет ожидаемую ошибку тестового случая.

unexpectedSuccesses¶: Список, содержащий экземпляры TestCase, которые были отмечены как ожидаемые ошибки, но прошли успешно.

shouldStop¶: Устанавливается в True, когда выполнение тестов должно быть остановлено вызовом stop().

testsRun¶: Общее количество запущенных на данный момент тестов.

wasSuccessful()¶: Возвращает True, если все выполненные на данный момент тесты прошли, иначе возвращает False.

stop()¶

Этот метод может быть вызван, чтобы сигнализировать, что выполняемый набор тестов должен быть прерван установкой атрибута shouldStop в True. Объекты TestRunner должны учитывать этот флаг и возвращаться без выполнения дополнительных тестов.

Например, эта возможность используется классом TextTestRunner для остановки тестового фреймворка, когда пользователь подает сигнал прерывания с клавиатуры. Интерактивные инструменты, предоставляющие реализации TestRunner, могут использовать это аналогичным образом.

Следующие методы класса TestResult используются для поддержки внутренних структур данных и могут быть расширены в подклассах для поддержки дополнительных требований к отчетности. Это особенно полезно при создании инструментов, поддерживающих интерактивную отчетность во время выполнения тестов.

startTest(test)¶

Вызывается перед запуском тестового сценария test.

Реализация по умолчанию просто увеличивает счётчик testsRun экземпляра.

stopTest(test)¶

Вызывается после выполнения тестового сценария test, независимо от результата.

Реализация по умолчанию ничего не делает.

startTestRun(test)¶

Вызывается один раз перед выполнением любых тестов.

Новое в версии 3.1.

stopTestRun(test)¶

Вызывается один раз после выполнения всех тестов.

Новое в версии 3.1.

addError(test, err)¶

Вызывается, когда тестовый сценарий test вызывает неожиданное исключение. err – это кортеж в формате, возвращаемом sys.exc_info(): (type, value, traceback).

Реализация по умолчанию добавляет кортеж (test, formatted_err) в атрибут errors экземпляра, где formatted_err – это форматированная трассировка, полученная из err.

addFailure(test, err)¶

Вызывается, когда тестовый пример test сигнализирует о неудаче. err – это кортеж в формате, возвращаемом sys.exc_info(): (type, value, traceback).

Реализация по умолчанию добавляет кортеж (test, formatted_err) в атрибут failures экземпляра, где formatted_err – это форматированная трассировка, полученная из err.

addSuccess(test)¶

Вызывается, когда тестовый сценарий test завершается успешно.

Реализация по умолчанию ничего не делает.

addSkip(test, reason)¶

Вызывается, когда тестовый сценарий test пропускается. reason – причина, которую тест указал для пропуска.

Реализация по умолчанию добавляет кортеж (test, reason) в атрибут skipped экземпляра.

addExpectedFailure(test, err)¶

Вызывается, когда тестовый пример test завершается неудачей, но был помечен декоратором expectedFailure().

Реализация по умолчанию добавляет кортеж (test, formatted_err) в атрибут expectedFailures экземпляра, где formatted_err – это форматированная трассировка, полученная из err.

addUnexpectedSuccess(test)¶

Вызывается, когда тестовый пример test был помечен декоратором expectedFailure(), но завершился успешно.

Реализация по умолчанию добавляет тест в атрибут unexpectedSuccesses экземпляра.

unittest.defaultTestLoader¶: Экземпляр класса TestLoader, предназначенный для совместного использования. Если настройка TestLoader не требуется, можно использовать этот экземпляр вместо многократного создания новых.

class unittest.TextTestRunner(stream=sys.stderr, descriptions=True, verbosity=1)¶

Базовая реализация исполнителя тестов, которая выводит результаты в стандартный поток ошибок. Она имеет несколько настраиваемых параметров, но в целом очень проста. Графические приложения, запускающие тестовые наборы, должны предоставлять альтернативные реализации.

_makeResult()¶: Этот метод возвращает экземпляр TestResult, используемый run(). Он не предназначен для прямого вызова, но может быть переопределён в подклассах для предоставления собственного TestResult.

unittest.main(module='__main__', defaultTest=None, argv=None, testRunner=TextTestRunner, testLoader=unittest.defaultTestLoader, exit=True)¶

Командная программа, которая запускает набор тестов; это в первую очередь для того, чтобы сделать tестовые модули удобно исполняемыми. Простейшее использование этой функции – добавить следующую строку в конец тестового скрипта:

if __name__ == '__main__':
    unittest.main()

Аргумент testRunner может быть либо классом средства запуска тестов, либо уже созданным экземпляром такого класса. По умолчанию main вызывает sys.exit() с кодом возврата, указывающим на успех или неудачу выполнения тестов.

main поддерживает использование из интерактивного интерпретатора путём передачи аргумента exit=False. При этом результат выводится на стандартный вывод без вызова sys.exit():

>>> from unittest import main
>>> main(module='test_module', exit=False)

Вызов main на самом деле возвращает экземпляр класса TestProgram. Результат выполнения тестов сохраняется в атрибуте result.

Изменено в версии 3.1: был добавлен параметр exit.

25.3. unittest – фреймворк для модульного тестирования¶unittest – Unit testing framework

25.3.1. Простой пример¶Basic example

25.3.2. Интерфейс командной строки¶Command-Line Interface

25.3.3. Организация тестового кода¶Organizing test code

25.3.4. Повторное использование старого тестового кода¶Re-using old test code

25.3.5. Пропуск тестов и ожидаемые неудачи¶Skipping tests and expected failures

25.3.6. Классы и функции¶Classes and functions

25.3.6.1. Тестовые примеры¶Test cases

25.3.6.1.1. Устаревшие псевдонимы¶Deprecated aliases

25.3.6.2. Группировка тестов¶Grouping tests

25.3.6.3. Загрузка и запуск тестов¶Loading and running tests

25.3. `unittest` – фреймворк для модульного тестирования¶unittest – Unit testing framework