Содержание страницы

25.3. `unittest` – фреймворк для модульного тестирования¶unittest – Unit testing framework

Новое в версии 2.1.

(Если вы уже знакомы с основными понятиями тестирования, можете перейти к списку методов assert.)

Среда модульного тестирования Python, иногда называемая «PyUnit», является реализацией JUnit на языке Python, созданной Кентом Беком и Эрихом Гаммой. JUnit, в свою очередь, представляет собой Java-версию среды тестирования Smalltalk Кента Бека. Каждая из них является фактическим стандартом модульного тестирования для своего языка.

unittest поддерживает автоматизацию тестов, совместное использование кода настройки и завершения для тестов, объединение тестов в наборы и независимость тестов от фреймворка отчётности. Модуль unittest предоставляет классы, упрощающие поддержку этих качеств для набора тестов.

Для этого unittest поддерживает несколько важных концепций:

тестовая фикстура: Тестовая фикстура представляет собой подготовку, необходимую для выполнения одного или нескольких тестов, и любые сопутствующие действия по очистке. Это может включать, например, создание временных или прокси-баз данных, каталогов или запуск серверного процесса.
тестовый случай: тестовый сценарий – это наименьшая единица тестирования. Он проверяет определённую реакцию на конкретный набор входных данных. unittest предоставляет базовый класс TestCase, который можно использовать для создания новых тестовых сценариев.
набор тестов: Набор тестов – это совокупность тестовых случаев, наборов тестов или и того, и другого. Он используется для объединения тестов, которые должны выполняться вместе.
исполнитель тестов: Исполнитель тестов – это компонент, который управляет выполнением тестов и предоставляет результат пользователю. Исполнитель может использовать графический интерфейс, текстовый интерфейс или возвращать специальное значение, указывающее на результаты выполнения тестов.

Концепции тестового сценария и тестового окружения поддерживаются через классы TestCase и FunctionTestCase; первый следует использовать при создании новых тестов, а второй – при интеграции существующего тестового кода с фреймворком, управляемым unittest. При построении тестовых окружений с помощью TestCase методы setUp() и tearDown() можно переопределить для инициализации и очистки окружения. С FunctionTestCase существующие функции можно передавать конструктору для этих целей. При запуске теста сначала выполняется инициализация окружения; если она прошла успешно, метод очистки запускается после выполнения теста, независимо от его результата. Каждый экземпляр TestCase будет использоваться только для запуска одного тестового метода, поэтому для каждого теста создаётся новое окружение.

Тестовые наборы реализуются классом TestSuite. Этот класс позволяет объединять отдельные тесты и тестовые наборы; при выполнении набора запускаются все тесты, добавленные непосредственно в набор и в «дочерние» тестовые наборы.

Тестовый раннер – это объект, предоставляющий единственный метод run(), который принимает объект TestCase или TestSuite в качестве параметра и возвращает объект результата. Класс TestResult предоставляется для использования в качестве объекта результата. unittest предоставляет TextTestRunner в качестве примера тестового раннера, который по умолчанию выводит результаты тестов в стандартный поток ошибок. Альтернативные раннеры могут быть реализованы для других сред (например, графических) без необходимости наследования от какого-либо конкретного класса.

См. также

Модуль doctest: Ещё один модуль поддержки тестирования с совершенно другим подходом.
unittest2: обратный порт новых возможностей unittest для Python 2.4–2.6: В Python 2.7 в unittest было добавлено много новых возможностей, включая обнаружение тестов. unittest2 позволяет использовать эти возможности в более ранних версиях Python.
Простое тестирование в Smalltalk: с шаблонами: Оригинальная статья Кента Бека о фреймворках тестирования, в которых используется тот же шаблон, что и в unittest.
Nose и pytest: Сторонние фреймворки для unittest с более лёгким синтаксисом написания тестов. Например, assert func(10) == 42.
Таксономия инструментов тестирования Python: Обширный список инструментов тестирования Python, включая фреймворки функционального тестирования и библиотеки имитационных объектов (mock).
Список рассылки по тестированию в Python: Группа по интересам для обсуждения тестирования и инструментов тестирования в Python.

25.3.1. Простой пример¶Basic example

Модуль unittest предоставляет богатый набор инструментов для создания и запуска тестов. В этом разделе показано, что небольшого подмножества этих инструментов достаточно для удовлетворения потребностей большинства пользователей.

Вот короткий скрипт для тестирования трёх строковых методов:

import unittest

class TestStringMethods(unittest.TestCase):

    def test_upper(self):
        self.assertEqual('foo'.upper(), 'FOO')

    def test_isupper(self):
        self.assertTrue('FOO'.isupper())
        self.assertFalse('Foo'.isupper())

    def test_split(self):
        s = 'hello world'
        self.assertEqual(s.split(), ['hello', 'world'])
        # проверить, что s.split завершается ошибкой, если разделитель не строка
        with self.assertRaises(TypeError):
            s.split(2)

if __name__ == '__main__':
    unittest.main()

Тестовый случай создаётся созданием подкласса unittest.TestCase. Три отдельных теста определяются методами, имена которых начинаются с букв test. Это соглашение об именовании сообщает тестовому раннеру, какие методы являются тестами.

Суть каждого теста – вызов assertEqual() для проверки ожидаемого результата; assertTrue() или assertFalse() для проверки условия; или assertRaises() для проверки того, что возбуждается определённое исключение. Эти методы используются вместо оператора assert, чтобы исполнитель тестов мог накапливать все результаты тестов и формировать отчёт.

Методы setUp() и tearDown() позволяют определить инструкции, которые будут выполняться до и после каждого метода теста. Они подробнее рассматриваются в разделе Организация тестового кода.

В последнем блоке показан простой способ запуска тестов. unittest.main() предоставляет интерфейс командной строки для тестового скрипта. При запуске из командной строки приведённый выше скрипт выдаёт вывод, который выглядит так:

...
----------------------------------------------------------------------
Ran 3 tests in 0.000s

OK

Вместо unittest.main() существуют другие способы запуска тестов с более тонким контролем, менее кратким выводом и без необходимости запуска из командной строки. Например, последние две строки можно заменить на:

suite = unittest.TestLoader().loadTestsFromTestCase(TestStringMethods)
unittest.TextTestRunner(verbosity=2).run(suite)

Запуск изменённого скрипта из интерпретатора или другого скрипта приводит к следующему выводу:

test_isupper (__main__.TestStringMethods) ... ok
test_split (__main__.TestStringMethods) ... ok
test_upper (__main__.TestStringMethods) ... ok

----------------------------------------------------------------------
Ran 3 tests in 0.001s

OK

Представленные выше примеры демонстрируют наиболее часто используемые возможности unittest, которых достаточно для многих повседневных задач тестирования. Оставшаяся часть документации рассматривает полный набор функций с самого начала.

25.3.2. Интерфейс командной строки¶Command-Line Interface

Модуль unittest можно использовать из командной строки для запуска тестов из модулей, классов или даже отдельных тестовых методов:

python -m unittest test_module1 test_module2
python -m unittest test_module.TestClass
python -m unittest test_module.TestClass.test_method

Можно передать список с любой комбинацией имён модулей, а также полных имён классов или методов.

Можно запускать тесты с большей детализацией (повышенной подробностью), передав флаг -v:

python -m unittest -v test_module

Чтобы получить список всех параметров командной строки:

python -m unittest -h

Изменено в версии 2.7: В более ранних версиях можно было запускать только отдельные тестовые методы, а не модули или классы.

25.3.2.1. Параметры командной строки¶Command-line options

unittest поддерживает следующие параметры командной строки:

-b, --buffer¶: Потоки стандартного вывода и стандартной ошибки буферизируются во время выполнения теста. Вывод при успешном тесте отбрасывается. При ошибке или провале теста вывод выводится обычным образом и добавляется к сообщениям о неудаче.

-c, --catch¶

Control-C во время выполнения теста ожидает завершения текущего теста, а затем выводит все результаты, полученные на данный момент. Повторное нажатие Control-C вызывает обычное исключение KeyboardInterrupt.

См. раздел Обработка сигналов с описанием функций, предоставляющих эту возможность.

-f, --failfast¶: Остановить выполнение теста при первой же ошибке или неудаче.

Новое в версии 2.7: Были добавлены параметры командной строки -b, -c и -f.

Командная строка также может использоваться для автоматического обнаружения тестов, для запуска всех тестов в проекте или только их части.

25.3.3. Обнаружение тестов¶Test Discovery

Новое в версии 2.7.

Unittest поддерживает простое обнаружение тестов. Чтобы быть совместимыми с обнаружением тестов, все тестовые файлы должны быть модулями или пакетами, импортируемыми из корневого каталога проекта (это означает, что их имена файлов должны быть валидными идентификаторами).

Обнаружение тестов реализовано в TestLoader.discover(), но также может использоваться из командной строки. Основное использование командной строки:

cd project_directory
python -m unittest discover

Подкоманда discover имеет следующие опции:

-v, --verbose¶: Подробный вывод

-s, --start-directory directory¶: Каталог для начала обнаружения (по умолчанию .)

-p, --pattern pattern¶: Шаблон для сопоставления тестовых файлов (по умолчанию test*.py)

-t, --top-level-directory directory¶: Корневой каталог проекта (по умолчанию – каталог начала поиска)

Параметры -s, -p и -t можно передавать в качестве позиционных аргументов в указанном порядке. Следующие две командные строки эквивалентны:

python -m unittest discover -s project_directory -p "*_test.py"
python -m unittest discover project_directory "*_test.py"

Помимо пути, в качестве начального каталога можно передать имя пакета, например myproject.subpackage.test. Указанное имя пакета будет импортировано, и его расположение в файловой системе будет использоваться в качестве начального каталога.

Внимание

Обнаружение тестов загружает тесты путём их импорта. После того как обнаружение тестов находит все тестовые файлы из указанного начального каталога, оно преобразует пути в имена пакетов для импорта. Например, foo/bar/baz.py будет импортирован как foo.bar.baz.

Если пакет установлен глобально, и предпринимается попытка обнаружения тестов в другой копии пакета, то импорт может произойти из неправильного места. Если это произойдет, обнаружение тестов выдаст предупреждение и завершится.

Если указать начальный каталог как имя пакета, а не путь к каталогу, то discover считает, что местоположение, из которого он импортирует, и есть то, которое вы имели в виду, поэтому предупреждение не появится.

Тестовые модули и пакеты могут настраивать загрузку и обнаружение тестов с помощью протокола load_tests.

25.3.4. Организация тестового кода¶Organizing test code

Основными строительными блоками модульного тестирования являются тестовые сценарии – отдельные сценарии, которые необходимо настроить и проверить на корректность. В unittest тестовые сценарии представлены экземплярами класса TestCase из модуля unittest. Чтобы создать собственные тестовые сценарии, необходимо написать подклассы TestCase или использовать FunctionTestCase.

Экземпляр класса, производного от TestCase, – это объект, который может полностью выполнить один тестовый метод вместе с необязательным кодом настройки и завершения.

Тестовый код экземпляра TestCase должен быть полностью самодостаточным, чтобы его можно было запускать как изолированно, так и в произвольной комбинации с любым количеством других тестовых случаев.

Простейший подкласс TestCase просто переопределяет метод runTest() для выполнения конкретного тестового кода:

import unittest

class DefaultWidgetSizeTestCase(unittest.TestCase):
    def runTest(self):
        widget = Widget('The widget')
        self.assertEqual(widget.size(), (50, 50), 'incorrect default size')

Обратите внимание: для проверки чего-либо используется один из методов assert*(), предоставляемых базовым классом TestCase. Если тест не пройден, будет возбуждено исключение, и unittest идентифицирует тестовый сценарий как неудачу. Любые другие исключения будут расценены как ошибки. Это помогает определить, в чём проблема: неудачи вызваны неверными результатами – например, получено 5 вместо ожидаемых 6. Ошибки вызваны неверным кодом – например, TypeError из-за неправильного вызова функции.

Способ запуска тестового примера будет описан позже. Пока обратите внимание, что для создания экземпляра такого тестового примера мы вызываем его конструктор без аргументов:

testCase = DefaultWidgetSizeTestCase()

Таких тестовых сценариев может быть много, и их настройка может повторяться. В приведённом выше случае создание Widget в каждом из 100 подклассов тестовых сценариев Widget означало бы неприглядное дублирование.

К счастью, мы можем вынести такой код настройки, реализовав метод setUp(), который тестовый фреймворк автоматически вызовет при запуске теста:

import unittest

class SimpleWidgetTestCase(unittest.TestCase):
    def setUp(self):
        self.widget = Widget('The widget')

class DefaultWidgetSizeTestCase(SimpleWidgetTestCase):
    def runTest(self):
        self.assertEqual(self.widget.size(), (50,50),
                         'incorrect default size')

class WidgetResizeTestCase(SimpleWidgetTestCase):
    def runTest(self):
        self.widget.resize(100,150)
        self.assertEqual(self.widget.size(), (100,150),
                         'wrong size after resize')

Если метод setUp() возбуждает исключение во время выполнения теста, фреймворк сочтёт, что в тесте произошла ошибка, и метод runTest() не будет выполнен.

Аналогично, мы можем предоставить метод tearDown(), который выполняет завершающие действия после выполнения метода runTest():

import unittest

class SimpleWidgetTestCase(unittest.TestCase):
    def setUp(self):
        self.widget = Widget('The widget')

    def tearDown(self):
        self.widget.dispose()
        self.widget = None

Если setUp() выполнился успешно, метод tearDown() будет запущен независимо от того, успешно ли выполнился runTest().

Такое рабочее окружение для тестового кода называется фикстурой.

Часто множество небольших тестовых сценариев используют одно и то же окружение. В этом случае нам пришлось бы создавать подклассы SimpleWidgetTestCase во множество мелких классов с одним методом, таких как DefaultWidgetSizeTestCase. Это отнимает много времени и демотивирует, поэтому, в духе JUnit, unittest предоставляет более простой механизм:

import unittest

class WidgetTestCase(unittest.TestCase):
    def setUp(self):
        self.widget = Widget('The widget')

    def tearDown(self):
        self.widget.dispose()
        self.widget = None

    def test_default_size(self):
        self.assertEqual(self.widget.size(), (50,50),
                         'incorrect default size')

    def test_resize(self):
        self.widget.resize(100,150)
        self.assertEqual(self.widget.size(), (100,150),
                         'wrong size after resize')

Здесь мы не предоставили метод runTest(), а вместо этого предоставили два разных тестовых метода. Теперь каждый экземпляр класса будет запускать один из методов test_*(), при этом self.widget создаётся и уничтожается отдельно для каждого экземпляра. При создании экземпляра необходимо указать тестовый метод, который он будет запускать. Это делается путём передачи имени метода в конструктор:

defaultSizeTestCase = WidgetTestCase('test_default_size')
resizeTestCase = WidgetTestCase('test_resize')

Экземпляры тестовых сценариев группируются вместе в соответствии с тестируемыми функциями. unittest предоставляет для этого механизм: тестовый набор, представленный классом TestSuite модуля unittest:

widgetTestSuite = unittest.TestSuite()
widgetTestSuite.addTest(WidgetTestCase('test_default_size'))
widgetTestSuite.addTest(WidgetTestCase('test_resize'))

Для удобства запуска тестов, как мы увидим далее, рекомендуется предоставлять в каждом тестовом модуле вызываемый объект, возвращающий предварительно собранный набор тестов:

def suite():
    suite = unittest.TestSuite()
    suite.addTest(WidgetTestCase('test_default_size'))
    suite.addTest(WidgetTestCase('test_resize'))
    return suite

или даже:

def suite():
    tests = ['test_default_size', 'test_resize']

    return unittest.TestSuite(map(WidgetTestCase, tests))

Поскольку распространённым паттерном является создание подкласса TestCase со множеством однотипно названных тестовых функций, unittest предоставляет класс TestLoader, который можно использовать для автоматизации процесса создания тестового набора и заполнения его отдельными тестами. Например,

suite = unittest.TestLoader().loadTestsFromTestCase(WidgetTestCase)

создаст тестовый набор, который запустит WidgetTestCase.test_default_size() и WidgetTestCase.test_resize. TestLoader использует префикс имени метода 'test' для автоматической идентификации тестовых методов.

Обратите внимание, что порядок выполнения различных тестовых случаев определяется сортировкой имён тестовых функций в соответствии со встроенным порядком строк.

Часто требуется группировать наборы тестовых сценариев вместе, чтобы запускать тесты для всей системы сразу. Это легко, поскольку экземпляры TestSuite можно добавлять в TestSuite так же, как экземпляры TestCase можно добавлять в TestSuite:

suite1 = module1.TheTestSuite()
suite2 = module2.TheTestSuite()
alltests = unittest.TestSuite([suite1, suite2])

Определения тестовых случаев и наборов тестов можно размещать в тех же модулях, что и тестируемый код (например, widget.py), но есть несколько преимуществ в размещении тестового кода в отдельном модуле, например, test_widget.py:

Тестовый модуль можно запускать автономно из командной строки.
Тестовый код проще отделить от поставляемого кода.
Меньше соблазна изменять тестовый код, чтобы подогнать его под тестируемый код, без веской причины.
Тестовый код должен изменяться гораздо реже, чем тестируемый код.
Тестируемый код проще поддаётся рефакторингу.
Тесты для модулей, написанных на C, всё равно должны быть в отдельных модулях – так почему бы не придерживаться этого подхода?
Если стратегия тестирования меняется, нет необходимости изменять исходный код.

25.3.5. Повторное использование старого тестового кода¶Re-using old test code

Некоторые пользователи могут иметь существующий тестовый код, который они хотели бы запускать из unittest, не преобразовывая каждую старую тестовую функцию в подкласс TestCase.

По этой причине unittest предоставляет класс FunctionTestCase. Этот подкласс TestCase можно использовать для обёртывания существующей тестовой функции. Также можно предоставить функции настройки (set-up) и завершения (tear-down).

Рассмотрим следующую тестовую функцию:

def testSomething():
    something = makeSomething()
    assert something.name is not None
    # ...

можно создать эквивалентный экземпляр тестового случая следующим образом:

testcase = unittest.FunctionTestCase(testSomething)

Если есть дополнительные методы настройки и очистки, которые должны вызываться в рамках работы тестового случая, их также можно предоставить следующим образом:

testcase = unittest.FunctionTestCase(testSomething,
                                     setUp=makeSomethingDB,
                                     tearDown=deleteSomethingDB)

Чтобы упростить миграцию существующих тестовых наборов, unittest поддерживает тесты, возбуждающие AssertionError для указания неудачи теста. Однако рекомендуется вместо этого использовать явные методы TestCase.fail*() и TestCase.assert*(), поскольку будущие версии unittest могут обрабатывать AssertionError иначе.

Примечание

Хотя FunctionTestCase можно использовать для быстрого преобразования существующей тестовой базы в систему на основе unittest, этот подход не рекомендуется. Затрата времени на создание правильных подклассов TestCase значительно упростит будущий рефакторинг тестов.

В некоторых случаях существующие тесты могли быть написаны с использованием модуля doctest. В этом случае doctest предоставляет класс DocTestSuite, который может автоматически создавать экземпляры unittest.TestSuite из существующих тестов на основе doctest.

25.3.6. Пропуск тестов и ожидаемые сбои¶Skipping tests and expected failures

Новое в версии 2.7.

Unittest поддерживает пропуск отдельных тестовых методов и даже целых классов тестов. Кроме того, он поддерживает пометку теста как «ожидаемый сбой» – тест, который сломан и завершится неудачей, но не должен засчитываться как сбой в TestResult.

Пропустить тест можно просто с помощью skip() декоратора или одного из его условных вариантов.

Базовый пропуск выглядит так:

class MyTestCase(unittest.TestCase):

    @unittest.skip("demonstrating skipping")
    def test_nothing(self):
        self.fail("shouldn't happen")

    @unittest.skipIf(mylib.__version__ < (1, 3),
                     "not supported in this library version")
    def test_format(self):
        # Тесты, которые работают только для определённой версии библиотеки.
        pass

    @unittest.skipUnless(sys.platform.startswith("win"), "requires Windows")
    def test_windows_support(self):
        # код тестирования для Windows
        pass

Это вывод приведённого выше примера в подробном режиме:

test_format (__main__.MyTestCase) ... skipped 'not supported in this library version'
test_nothing (__main__.MyTestCase) ... skipped 'demonstrating skipping'
test_windows_support (__main__.MyTestCase) ... skipped 'requires Windows'

----------------------------------------------------------------------
Ran 3 tests in 0.005s

OK (skipped=3)

Классы можно пропускать так же, как методы:

@unittest.skip("showing class skipping")
class MySkippedTestCase(unittest.TestCase):
    def test_not_run(self):
        pass

TestCase.setUp() также может пропустить тест. Это полезно, когда ресурс, который необходимо настроить, недоступен.

Для ожидаемых сбоев используется декоратор expectedFailure().

class ExpectedFailureTestCase(unittest.TestCase):
    @unittest.expectedFailure
    def test_fail(self):
        self.assertEqual(1, 0, "broken")

Легко создать собственные декораторы пропуска, создав декоратор, который вызывает skip() для теста, когда нужно его пропустить. Этот декоратор пропускает тест, если только переданный объект не имеет определённого атрибута:

def skipUnlessHasattr(obj, attr):
    if hasattr(obj, attr):
        return lambda func: func
    return unittest.skip("{!r} doesn't have {!r}".format(obj, attr))

Следующие декораторы реализуют пропуск тестов и ожидаемые сбои:

unittest.skip(reason)¶: Безусловно пропускает декорированный тест. Параметр reason должен описывать причину пропуска теста.

unittest.skipIf(condition, reason)¶: Пропустить декорированный тест, если condition истинно.

unittest.skipUnless(condition, reason)¶: Пропустить декорированный тест, если condition не истинно.

unittest.expectedFailure()¶: Помечает тест как ожидаемый сбой. Если тест завершается ошибкой при запуске, он не учитывается как сбой.

exception unittest.SkipTest(reason)¶

Это исключение возбуждается для пропуска теста.

Обычно можно использовать TestCase.skipTest() или один из декораторов пропуска, вместо того чтобы возбуждать его напрямую.

Пропущенные тесты не будут иметь запуска setUp() или tearDown() вокруг них. Пропущенные классы не будут иметь запуска setUpClass() или tearDownClass().

25.3.7. Классы и функции¶Classes and functions

В этом разделе подробно описывается API unittest.

25.3.7.1. Тестовые случаи¶Test cases

class unittest.TestCase(methodName='runTest')¶

Экземпляры класса TestCase представляют наименьшие тестируемые единицы во вселенной unittest. Этот класс предназначен для использования в качестве базового класса, при этом конкретные тесты реализуются конкретными подклассами. Класс реализует интерфейс, необходимый тестовому раннеру для управления тестом, а также методы, которые тестовый код может использовать для проверки и сообщения о различных видах неудач.

Каждый экземпляр TestCase выполняет один тестовый метод – метод с именем methodName. Ранее был пример, который выглядел примерно так:

def suite():
    suite = unittest.TestSuite()
    suite.addTest(WidgetTestCase('test_default_size'))
    suite.addTest(WidgetTestCase('test_resize'))
    return suite

Здесь создаются два экземпляра WidgetTestCase, каждый из которых выполняет один тест.

methodName по умолчанию равен runTest().

Экземпляры TestCase предоставляют три группы методов: одна группа используется для выполнения теста, другая – реализацией теста для проверки условий и сообщения о сбоях, и несколько запросных методов, позволяющих собирать информацию о самом тесте.

Методы первой группы (выполнение теста):

setUp()¶: Метод, вызываемый для подготовки тестовой фикстуры. Он вызывается непосредственно перед вызовом тестового метода; за исключением AssertionError или SkipTest, любое исключение, возбуждённое этим методом, будет считаться ошибкой, а не сбоем теста. Реализация по умолчанию ничего не делает.

tearDown()¶: Метод, вызываемый сразу после вызова тестового метода и записи результата. Он вызывается, даже если тестовый метод возбудил исключение, поэтому реализация в подклассах должна быть особенно осторожна при проверке внутреннего состояния. Любое исключение, кроме AssertionError или SkipTest, возбуждённое этим методом, будет считаться дополнительной ошибкой, а не сбоем теста (таким образом увеличивая общее количество сообщённых ошибок). Этот метод будет вызван только если setUp() выполнится успешно, независимо от результата тестового метода. Реализация по умолчанию ничего не делает.

setUpClass()¶

Метод класса, вызываемый перед выполнением тестов в отдельном классе. setUpClass вызывается с классом в качестве единственного аргумента и должен быть декорирован как classmethod():

@classmethod
def setUpClass(cls):
    ...

См. Фикстуры классов и модулей для получения дополнительных сведений.

Новое в версии 2.7.

tearDownClass()¶

Метод класса, вызываемый после выполнения тестов в отдельном классе. tearDownClass вызывается с классом в качестве единственного аргумента и должен быть декорирован как classmethod():

@classmethod
def tearDownClass(cls):
    ...

См. Фикстуры классов и модулей для получения дополнительных сведений.

Новое в версии 2.7.

run(result=None)¶

Запускает тест, собирая результат в объект результата теста, переданный как result. Если result опущен или равен None, создаётся временный объект результата (вызовом метода defaultTestResult()) и используется. Объект результата не возвращается вызвавшему run().

Того же эффекта можно добиться простым вызовом экземпляра TestCase.

skipTest(reason)¶: Вызов этого метода внутри тестового метода или setUp() пропускает текущий тест. Подробнее см. Пропуск тестов и ожидаемые сбои.

Новое в версии 2.7.

debug()¶: Запускает тест без сбора результата. Это позволяет исключениям, возникшим в тесте, распространяться до вызывающего кода, и может использоваться для поддержки запуска тестов под отладчиком.

Класс TestCase предоставляет несколько методов assert для проверки и сообщения об ошибках. В следующей таблице перечислены наиболее часто используемые методы (см. таблицы ниже для получения дополнительных методов assert):

Метод	Проверяет, что	Новое в
`assertEqual(a, b)`	`a == b`
`assertNotEqual(a, b)`	`a != b`
`assertTrue(x)`	`bool(x) is True`
`assertFalse(x)`	`bool(x) is False`
`assertIs(a, b)`	`a is b`	2.7
`assertIsNot(a, b)`	`a is not b`	2.7
`assertIsNone(x)`	`x is None`	2.7
`assertIsNotNone(x)`	`x is not None`	2.7
`assertIn(a, b)`	`a in b`	2.7
`assertNotIn(a, b)`	`a not in b`	2.7
`assertIsInstance(a, b)`	`isinstance(a, b)`	2.7
`assertNotIsInstance(a, b)`	`not isinstance(a, b)`	2.7

Все assert-методы (кроме assertRaises(), assertRaisesRegexp()) принимают аргумент msg, который, если указан, используется как сообщение об ошибке в случае неудачи (см. также longMessage).

assertEqual(first, second, msg=None)¶

Проверяет, что first и second равны. Если значения не равны, тест завершится неудачей.

Кроме того, если first и second одного и того же типа и этот тип – list, tuple, dict, set, frozenset, unicode или любой тип, который подкласс регистрирует с помощью addTypeEqualityFunc(), то будет вызвана типозависимая функция сравнения, чтобы сформировать более полезное сообщение об ошибке по умолчанию (см. также список типозависимых методов).

Изменено в версии 2.7: Добавлен автоматический вызов типозависимой функции сравнения.

assertNotEqual(first, second, msg=None)¶: Проверяет, что first и second не равны. Если значения равны, тест завершится неудачей.

assertTrue(expr, msg=None)¶

assertFalse(expr, msg=None)¶

Проверяет, что expr истинно (или ложно).

Обратите внимание, что это эквивалентно bool(expr) is True, а не expr is True (для последнего используйте assertIs(expr, True)). Этот метод также следует избегать, если доступны более специфические методы (например, assertEqual(a, b) вместо assertTrue(a == b)), потому что они предоставляют более информативное сообщение об ошибке в случае сбоя.

assertIs(first, second, msg=None)¶
assertIsNot(first, second, msg=None)¶: Проверяет, что first и second являются (или не являются) одним и тем же объектом.

Новое в версии 2.7.

assertIsNone(expr, msg=None)¶
assertIsNotNone(expr, msg=None)¶: Проверяет, что expr является (или не является) None.

Новое в версии 2.7.

assertIn(first, second, msg=None)¶
assertNotIn(first, second, msg=None)¶: Проверяет, находится ли first в second (или не находится).

Новое в версии 2.7.

assertIsInstance(obj, cls, msg=None)¶
assertNotIsInstance(obj, cls, msg=None)¶: Проверяет, что obj является (или не является) экземпляром cls (который может быть классом или кортежем классов, как поддерживается isinstance()). Для проверки точного типа используйте assertIs(type(obj), cls).

Новое в версии 2.7.

Также можно проверить, что исключения и предупреждения возбуждаются с помощью следующих методов:

Метод	Проверяет, что	Новое в
`assertRaises(exc, fun, args, *kwds)`	`fun(args, kwds)` возбуждает exc*
`assertRaisesRegexp(exc, r, fun, args, *kwds)`	`fun(args, kwds)` возбуждает exc* и сообщение соответствует регулярному выражению r	2.7

assertRaises(exception, callable, *args, **kwds)¶

assertRaises(exception)

Проверяет, что исключение возбуждается, когда callable вызывается с любыми позиционными или именованными аргументами, которые также передаются в assertRaises(). Тест проходит, если возбуждается исключение, считается ошибкой, если возбуждается другое исключение, или не проходит, если исключение не возбуждается. Чтобы перехватить любое из группы исключений, можно передать кортеж, содержащий классы исключений, как исключение.

Если указан только аргумент исключение, возвращается контекстный менеджер, так что тестируемый код можно писать встроенно, а не в виде функции:

with self.assertRaises(SomeException):
    do_something()

Менеджер контекста сохраняет перехваченный объект исключения в своём атрибуте exception. Это может быть полезно, если нужно выполнить дополнительные проверки возникшего исключения:

with self.assertRaises(SomeException) as cm:
    do_something()

the_exception = cm.exception
self.assertEqual(the_exception.error_code, 3)

Изменено в версии 2.7: Добавлена возможность использовать assertRaises() в качестве менеджера контекста.

assertRaisesRegexp(exception, regexp, callable, *args, **kwds)¶

assertRaisesRegexp(exception, regexp)

Как assertRaises(), но также проверяет, что regexp соответствует строковому представлению возбуждённого исключения. regexp может быть объектом регулярного выражения или строкой, содержащей регулярное выражение, подходящей для использования с re.search(). Примеры:

self.assertRaisesRegexp(ValueError, "invalid literal for.*XYZ'$",
                        int, 'XYZ')

или:

with self.assertRaisesRegexp(ValueError, 'literal'):
   int('XYZ')

Новое в версии 2.7.

Существуют также другие методы для выполнения более специфических проверок, например:

Метод	Проверяет, что	Новое в
`assertAlmostEqual(a, b)`	`round(a-b, 7) == 0`
`assertNotAlmostEqual(a, b)`	`round(a-b, 7) != 0`
`assertGreater(a, b)`	`a > b`	2.7
`assertGreaterEqual(a, b)`	`a >= b`	2.7
`assertLess(a, b)`	`a < b`	2.7
`assertLessEqual(a, b)`	`a <= b`	2.7
`assertRegexpMatches(s, r)`	`r.search(s)`	2.7
`assertNotRegexpMatches(s, r)`	`not r.search(s)`	2.7
`assertItemsEqual(a, b)`	sorted(a) == sorted(b) и работает с нехешируемыми объектами	2.7
`assertDictContainsSubset(a, b)`	все пары ключ/значение в a присутствуют в b	2.7

assertAlmostEqual(first, second, places=7, msg=None, delta=None)¶

assertNotAlmostEqual(first, second, places=7, msg=None, delta=None)¶

Проверяет, что first и second приблизительно равны (или не равны), вычисляя разность, округляя до заданного числа десятичных знаков places (по умолчанию 7) и сравнивая с нулём. Обратите внимание, что эти методы округляют значения до заданного числа десятичных знаков (т.е. как функция round()), а не до значащих цифр.

Если указан delta вместо places, то разность между first и second должна быть меньше или равна (или больше) delta.

Одновременная передача delta и places вызывает TypeError.

Изменено в версии 2.7: assertAlmostEqual() автоматически считает почти равными объекты, которые сравниваются как равные. assertNotAlmostEqual() автоматически завершается неудачей, если объекты сравниваются как равные. Добавлен именованный аргумент delta.

assertGreater(first, second, msg=None)¶

assertGreaterEqual(first, second, msg=None)¶

assertLess(first, second, msg=None)¶

assertLessEqual(first, second, msg=None)¶

Проверяет, что first соответственно >, >=, < или <= по отношению к second в зависимости от имени метода. Если это не так, тест завершается ошибкой:

>>> self.assertGreaterEqual(3, 4)
AssertionError: "3" unexpectedly not greater than or equal to "4"

Новое в версии 2.7.

assertRegexpMatches(text, regexp, msg=None)¶: Проверяет, что поиск по regexp соответствует text. В случае неудачи сообщение об ошибке будет содержать шаблон и text (или шаблон и ту часть text, которая неожиданно совпала). regexp может быть объектом регулярного выражения или строкой, содержащей регулярное выражение, пригодное для использования с re.search().

Новое в версии 2.7.

assertNotRegexpMatches(text, regexp, msg=None)¶: Проверяет, что поиск по regexp не соответствует text. Завершается с ошибкой, сообщение которой содержит шаблон и ту часть text, которая совпала. regexp может быть объектом регулярного выражения или строкой, содержащей регулярное выражение, пригодное для использования с re.search().

Новое в версии 2.7.

assertItemsEqual(actual, expected, msg=None)¶

Проверяет, что последовательность expected содержит те же элементы, что и actual, независимо от их порядка. Если это не так, будет сгенерировано сообщение об ошибке, перечисляющее различия между последовательностями.

Дублирующиеся элементы не игнорируются при сравнении actual и expected. Проверяется, что каждый элемент встречается одинаковое количество раз в обеих последовательностях. Это эквивалент assertEqual(sorted(expected), sorted(actual)), но работает также с последовательностями нехешируемых объектов.

В Python 3 этот метод называется assertCountEqual.

Новое в версии 2.7.

assertDictContainsSubset(expected, actual, msg=None)¶: Проверяет, являются ли пары ключ/значение в словаре actual надмножеством пар в expected. Если нет, создаётся сообщение об ошибке со списком отсутствующих ключей и несовпадающих значений.

Новое в версии 2.7.

Устарело с версии 3.2.

Метод assertEqual() направляет проверку равенства для объектов одного типа к различным методам, специфичным для типа. Эти методы уже реализованы для большинства встроенных типов, но также можно зарегистрировать новые методы с помощью addTypeEqualityFunc():

addTypeEqualityFunc(typeobj, function)¶: Регистрирует метод, специфичный для типа, вызываемый с помощью assertEqual() для проверки, равны ли два объекта одного и того же typeobj (не подклассы). function должен принимать два позиционных аргумента и третий именованный аргумент msg=None, как и assertEqual(). Он должен вызывать self.failureException(msg) при обнаружении неравенства между первыми двумя параметрами – возможно, предоставляя полезную информацию и подробно объясняя неравенства в сообщении об ошибке.

Новое в версии 2.7.

Список типовых методов, автоматически используемых assertEqual(), приведён в следующей таблице. Обратите внимание, что обычно нет необходимости вызывать эти методы напрямую.

Метод	Используется для сравнения	Новое в
`assertMultiLineEqual(a, b)`	строки	2.7
`assertSequenceEqual(a, b)`	последовательности	2.7
`assertListEqual(a, b)`	списки	2.7
`assertTupleEqual(a, b)`	кортежи	2.7
`assertSetEqual(a, b)`	множества или неизменяемые множества	2.7
`assertDictEqual(a, b)`	словари	2.7

assertMultiLineEqual(first, second, msg=None)¶: Проверяет, что многострочная строка first равна строке second. Если строки не равны, в сообщение об ошибке будет включена разница между двумя строками с подсветкой различий. Этот метод используется по умолчанию при сравнении строк Unicode с assertEqual().

Новое в версии 2.7.

assertSequenceEqual(seq1, seq2, msg=None, seq_type=None)¶

Проверяет, что две последовательности равны. Если указан seq_type, то и seq1, и seq2 должны быть экземплярами seq_type, иначе возникнет ошибка. Если последовательности различаются, формируется сообщение об ошибке, показывающее разницу между ними.

Этот метод не вызывается напрямую методом assertEqual(), но используется для реализации assertListEqual() и assertTupleEqual().

Новое в версии 2.7.

assertListEqual(list1, list2, msg=None)¶
assertTupleEqual(tuple1, tuple2, msg=None)¶: Проверяет, что два списка или кортежа равны. Если нет, формируется сообщение об ошибке, показывающее только различия между ними. Ошибка также возникает, если один из параметров имеет неверный тип. Эти методы используются по умолчанию при сравнении списков или кортежей с помощью assertEqual().

Новое в версии 2.7.

assertSetEqual(set1, set2, msg=None)¶

Проверяет, что два множества равны. Если нет, формируется сообщение об ошибке, перечисляющее различия между множествами. Этот метод используется по умолчанию при сравнении множеств или неизменяемых множеств с помощью assertEqual().

Завершается ошибкой, если хотя бы одно из set1 или set2 не имеет метода set.difference().

Новое в версии 2.7.

assertDictEqual(expected, actual, msg=None)¶: Проверяет, что два словаря равны. Если нет, формируется сообщение об ошибке, показывающее различия в словарях. Этот метод будет использоваться по умолчанию для сравнения словарей в вызовах assertEqual().

Новое в версии 2.7.

Наконец, TestCase предоставляет следующие методы и атрибуты:

fail(msg=None)¶: Безусловно сигнализирует о сбое теста, используя msg или None в качестве сообщения об ошибке.

failureException¶: Этот атрибут класса задаёт исключение, которое вызывается тестовым методом. Если тестовому фреймворку требуется использовать специализированное исключение, возможно, для передачи дополнительной информации, он должен создать подкласс этого исключения, чтобы «честно играть» с фреймворком. Начальное значение этого атрибута – AssertionError.

longMessage¶

Если установлено в True, то любое явное сообщение об ошибке, переданное в методы assert, будет добавлено в конец обычного сообщения об ошибке. Обычные сообщения содержат полезную информацию об объектах, например, сообщение от assertEqual показывает repr двух неравных объектов. Установка этого атрибута в True позволяет иметь собственное сообщение об ошибке в дополнение к обычному.

По умолчанию этот атрибут равен False, что означает, что собственное сообщение, переданное в метод assert, подавляет обычное сообщение.

Настройку класса можно переопределить в отдельных тестах, присвоив атрибуту экземпляра значение True или False перед вызовом методов assert.

Новое в версии 2.7.

maxDiff¶

Этот атрибут управляет максимальной длиной вывода различий, выводимых методами утверждения, которые сообщают о различиях при неудаче. По умолчанию – 80*8 символов. Методы утверждения, на которые влияет этот атрибут: assertSequenceEqual() (включая все методы сравнения последовательностей, которые делегируют ему), assertDictEqual() и assertMultiLineEqual().

Установка maxDiff в None означает, что максимальная длина различий не ограничена.

Новое в версии 2.7.

Тестовые фреймворки могут использовать следующие методы для сбора информации о тесте:

countTestCases()¶: Возвращает количество тестов, представленных этим тестовым объектом. Для экземпляров TestCase это всегда будет 1.

defaultTestResult()¶

Возвращает экземпляр класса результата теста, который следует использовать для данного класса тестового случая (если ни один другой экземпляр результата не был передан методу run()).

Для экземпляров TestCase это всегда будет экземпляр TestResult; подклассы TestCase должны при необходимости переопределять это.

id()¶: Возвращает строку, идентифицирующую конкретный тестовый случай. Обычно это полное имя тестового метода, включая имя модуля и класса.

shortDescription()¶: Возвращает описание теста или None, если описание не было предоставлено. Реализация по умолчанию этого метода возвращает первую строку докстринга тестового метода, если он доступен, или None.

addCleanup(function, *args, **kwargs)¶

Добавляет функцию, которая будет вызвана после tearDown() для освобождения ресурсов, используемых во время теста. Функции вызываются в порядке, обратном порядку их добавления (LIFO). Они вызываются с теми аргументами и именованными аргументами, которые были переданы в addCleanup() при добавлении.

Если setUp() завершается неудачей, то есть tearDown() не вызывается, любые добавленные функции очистки всё равно будут вызваны.

Новое в версии 2.7.

doCleanups()¶

Этот метод вызывается безусловно после tearDown() или после setUp(), если setUp() вызывает исключение.

Он отвечает за вызов всех функций очистки, добавленных с помощью addCleanup(). Если необходимо, чтобы функции очистки вызывались до tearDown(), то можно вызвать doCleanups() самостоятельно.

doCleanups() извлекает методы из стека функций очистки по одному, поэтому его можно вызывать в любой момент.

Новое в версии 2.7.

class unittest.FunctionTestCase(testFunc, setUp=None, tearDown=None, description=None)¶: Этот класс реализует ту часть интерфейса TestCase, которая позволяет исполнителю тестов управлять тестом, но не предоставляет методов, которые тестовый код может использовать для проверки и сообщения об ошибках. Это используется для создания тестовых примеров с использованием устаревшего тестового кода, что позволяет интегрировать его в тестовую среду на основе unittest.

25.3.7.1.1. Устаревшие псевдонимы¶Deprecated aliases

По историческим причинам некоторые методы TestCase имели один или несколько псевдонимов, которые сейчас устарели. В следующей таблице приведены корректные названия вместе с их устаревшими псевдонимами:

Имя метода

Устаревшие псевдонимы

assertEqual()

failUnlessEqual, assertEquals

assertNotEqual()

failIfEqual

assertTrue()

failUnless, assert_

assertFalse()

failIf

assertRaises()

failUnlessRaises

assertAlmostEqual()

failUnlessAlmostEqual

assertNotAlmostEqual()

failIfAlmostEqual

Устарело с версии 2.7: псевдонимы, перечисленные во втором столбце

Имя метода	Устаревшие псевдонимы
`assertEqual()`	failUnlessEqual, assertEquals
`assertNotEqual()`	failIfEqual
`assertTrue()`	failUnless, assert_
`assertFalse()`	failIf
`assertRaises()`	failUnlessRaises
`assertAlmostEqual()`	failUnlessAlmostEqual
`assertNotAlmostEqual()`	failIfAlmostEqual

25.3.7.2. Группировка тестов¶Grouping tests

class unittest.TestSuite(tests=())¶

Этот класс представляет собой агрегацию отдельных тестовых примеров и тестовых наборов. Класс предоставляет интерфейс, необходимый исполнителю тестов, чтобы его можно было запускать как любой другой тестовый пример. Запуск экземпляра TestSuite равносилен итерации по набору с запуском каждого теста по отдельности.

Если задан tests, он должен быть итерабельным объектом, содержащим отдельные тестовые примеры или другие тестовые наборы, которые будут использоваться для первоначального построения набора. Дополнительные методы предоставляются для добавления тестовых примеров и наборов в коллекцию позже.

Объекты TestSuite ведут себя во многом как объекты TestCase, за исключением того, что они не реализуют фактический тест. Вместо этого они используются для объединения тестов в группы, которые должны запускаться вместе. Некоторые дополнительные методы доступны для добавления тестов в экземпляры TestSuite:

addTest(test)¶: Добавляет TestCase или TestSuite в набор.

addTests(tests)¶

Добавляет все тесты из итерабельного объекта, содержащего экземпляры TestCase и TestSuite, в этот тестовый набор.

Это эквивалентно итерации по tests с вызовом addTest() для каждого элемента.

TestSuite разделяет следующие методы с TestCase:

run(result)¶: Запускает тесты, связанные с этим набором, собирая результат в объект результата теста, переданный как result. Обратите внимание, что, в отличие от TestCase.run(), TestSuite.run() требует, чтобы объект результата был передан.

debug()¶: Запускает тесты, связанные с этим набором, без сбора результата. Это позволяет исключениям, возбуждённым тестом, распространяться до вызывающего кода и может использоваться для поддержки запуска тестов под отладчиком.

countTestCases()¶: Возвращает количество тестов, представленных этим тестовым объектом, включая все отдельные тесты и поднаборы.

__iter__()¶: Тесты, сгруппированные с помощью TestSuite, всегда доступны через итерацию. Подклассы могут лениво предоставлять тесты, переопределяя __iter__(). Обратите внимание, что этот метод может быть вызван несколько раз для одного набора тестов (например, при подсчёте тестов или сравнении на равенство), поэтому возвращаемые тесты должны быть одинаковыми при повторных итерациях.

Изменено в версии 2.7: В более ранних версиях TestSuite обращался к тестам напрямую, а не через итерацию, поэтому переопределения __iter__() было недостаточно для предоставления тестов.

При типичном использовании объекта TestSuite метод run() вызывается с помощью TestRunner, а не через тестовую оболочку конечного пользователя.

25.3.7.3. Загрузка и запуск тестов¶Loading and running tests

class unittest.TestLoader¶

Класс TestLoader используется для создания тестовых наборов из классов и модулей. Обычно нет необходимости создавать экземпляр этого класса; модуль unittest предоставляет экземпляр, который можно использовать совместно как unittest.defaultTestLoader. Однако использование подкласса или экземпляра позволяет настраивать некоторые конфигурируемые свойства.

Объекты TestLoader имеют следующие методы:

loadTestsFromTestCase(testCaseClass)¶: Возвращает набор всех тестов, содержащихся в testCaseClass, производном от TestCase.

loadTestsFromModule(module)¶

Возвращает набор всех тестовых случаев, содержащихся в данном модуле. Этот метод ищет в module классы, производные от TestCase, и создаёт экземпляр класса для каждого тестового метода, определённого для этого класса.

Примечание

Хотя использование иерархии классов, производных от TestCase, может быть удобным для совместного использования фикстур и вспомогательных функций, определение тестовых методов в базовых классах, которые не предназначены для прямого создания экземпляров, плохо сочетается с этим методом. Однако это может быть полезно, когда фикстуры различаются и определены в подклассах.

Если модуль предоставляет функцию load_tests, она будет вызвана для загрузки тестов. Это позволяет модулям настраивать загрузку тестов. Это протокол load_tests.

Изменено в версии 2.7: Добавлена поддержка load_tests.

loadTestsFromName(name, module=None)¶

Возвращает набор всех тестовых случаев по заданному строковому спецификатору.

Спецификатор name – это «точечное имя», которое может указывать на модуль, класс тестового случая, тестовый метод внутри класса тестового случая, экземпляр TestSuite или вызываемый объект, возвращающий экземпляр TestCase или TestSuite. Эти проверки применяются в указанном порядке; то есть метод в возможном классе тестового случая будет распознан как «тестовый метод внутри класса тестового случая», а не как «вызываемый объект».

Например, если у вас есть модуль SampleTests, содержащий класс SampleTestCase, производный от TestCase, с тремя тестовыми методами (test_one(), test_two() и test_three()), спецификатор 'SampleTests.SampleTestCase' заставит этот метод вернуть набор, который выполнит все три тестовых метода. Использование спецификатора 'SampleTests.SampleTestCase.test_two' приведёт к возврату тестового набора, который выполнит только тестовый метод test_two(). Спецификатор может ссылаться на модули и пакеты, которые не были импортированы; они будут импортированы как побочный эффект.

Метод опционально разрешает name относительно заданного module.

loadTestsFromNames(names, module=None)¶: Аналогичен loadTestsFromName(), но принимает последовательность имён, а не одно имя. Возвращаемое значение – тестовый набор, который включает все тесты, определённые для каждого имени.

getTestCaseNames(testCaseClass)¶: Возвращает отсортированную последовательность имён методов, найденных в testCaseClass; это должен быть подкласс TestCase.

discover(start_dir, pattern='test*.py', top_level_dir=None)¶

Находит все тестовые модули, рекурсивно обходя подкаталоги, начиная с указанного каталога, и возвращает объект TestSuite, содержащий их. Будут загружены только тестовые файлы, соответствующие pattern. (Используется сопоставление с образцом в стиле shell.) Будут загружены только имена модулей, которые можно импортировать (т.е. являются допустимыми идентификаторами Python).

Все тестовые модули должны быть импортируемыми из корневого каталога проекта. Если стартовый каталог не является корневым, то корневой каталог необходимо указать отдельно.

Если импорт модуля завершается неудачей, например из-за синтаксической ошибки, то это будет записано как одна ошибка, и обнаружение продолжится.

Если имя тестового пакета (каталог с __init__.py) соответствует шаблону, то пакет проверяется на наличие функции load_tests. Если она существует, то она вызывается с loader, tests, pattern.

Если load_tests существует, то обнаружение не рекурсивно обходит пакет, load_tests отвечает за загрузку всех тестов в пакете.

Шаблон намеренно не хранится как атрибут загрузчика, чтобы пакеты могли продолжать самостоятельное обнаружение. top_level_dir сохраняется, поэтому load_tests не нужно передавать этот аргумент в loader.discover().

start_dir может быть как точечным именем модуля, так и каталогом.

Новое в версии 2.7.

Следующие атрибуты TestLoader можно настроить либо через наследование, либо через присваивание экземпляру:

testMethodPrefix¶

Строка, задающая префикс имён методов, которые будут интерпретироваться как тестовые методы. Значение по умолчанию – 'test'.

Это влияет на getTestCaseNames() и все методы loadTestsFrom*().

sortTestMethodsUsing¶: Функция для сравнения имён методов при их сортировке в getTestCaseNames() и во всех методах loadTestsFrom*(). Значение по умолчанию – встроенная функция cmp(); атрибут также может быть установлен в None для отключения сортировки.

suiteClass¶

Вызываемый объект, который создаёт тестовый набор из списка тестов. Никакие методы результирующего объекта не требуются. Значение по умолчанию – класс TestSuite.

Это влияет на все методы loadTestsFrom*().

class unittest.TestResult¶

Этот класс используется для сбора информации о том, какие тесты прошли успешно, а какие завершились неудачей.

Объект TestResult хранит результаты набора тестов. Классы TestCase и TestSuite обеспечивают правильную запись результатов; авторам тестов не нужно беспокоиться о записи результатов тестов.

Тестовые фреймворки, построенные на базе unittest, могут нуждаться в доступе к объекту TestResult, созданному при запуске набора тестов для целей отчетности; для этого метод TestRunner.run() возвращает экземпляр TestResult.

Экземпляры TestResult имеют следующие атрибуты, которые будут интересны при проверке результатов запуска набора тестов:

errors¶: Список, содержащий 2-кортежи экземпляров TestCase и строк с форматированными трассировками. Каждый кортеж представляет тест, вызвавший неожиданное исключение.

Изменено в версии 2.2: Содержит форматированные трассировки стека вместо результатов sys.exc_info().

failures¶: Список, содержащий кортежи из двух элементов: экземпляры TestCase и строки с форматированными трассировками стека. Каждый кортеж соответствует тесту, в котором сбой был явно зафиксирован с помощью методов TestCase.assert*().

Изменено в версии 2.2: Содержит форматированные трассировки стека вместо результатов sys.exc_info().

skipped¶: Список, содержащий 2-кортежи экземпляров TestCase и строк с причиной пропуска теста.

Новое в версии 2.7.

expectedFailures¶: Список, содержащий кортежи из двух элементов: экземпляров TestCase и строк с форматированными трассировками. Каждый кортеж представляет ожидаемый сбой тестового случая.

unexpectedSuccesses¶: Список, содержащий экземпляры TestCase, которые были помечены как ожидаемые сбои, но завершились успешно.

shouldStop¶: Устанавливается в True, когда выполнение тестов должно быть остановлено с помощью stop().

testsRun¶: Общее количество запущенных на данный момент тестов.

buffer¶: Если установлено в true, sys.stdout и sys.stderr будут буферизироваться между вызовами startTest() и stopTest(). Собранный вывод будет передаваться на реальные sys.stdout и sys.stderr только в случае сбоя или ошибки теста. Любой вывод также прикрепляется к сообщению о сбое/ошибке.

Новое в версии 2.7.

failfast¶: Если установлено в true, stop() будет вызван при первой ошибке или сбое, останавливая выполнение теста.

Новое в версии 2.7.

wasSuccessful()¶: Возвращает True, если все запущенные на данный момент тесты пройдены, в противном случае возвращает False.

stop()¶

Этот метод может быть вызван, чтобы указать, что выполняемый набор тестов должен быть прерван установкой атрибута shouldStop в True. Объекты TestRunner должны учитывать этот флаг и возвращаться без запуска дополнительных тестов.

Например, эта возможность используется классом TextTestRunner для остановки тестового фреймворка, когда пользователь подает сигнал прерывания с клавиатуры. Интерактивные инструменты, предоставляющие реализации TestRunner, могут использовать это аналогичным образом.

Следующие методы класса TestResult используются для поддержки внутренних структур данных и могут быть расширены в подклассах для поддержки дополнительных требований к отчетности. Это особенно полезно при создании инструментов, поддерживающих интерактивную отчетность во время выполнения тестов.

startTest(test)¶: Вызывается перед запуском тестового сценария test.

stopTest(test)¶: Вызывается после выполнения тестового сценария test, независимо от результата.

startTestRun()¶: Вызывается один раз перед выполнением любых тестов.

Новое в версии 2.7.

stopTestRun()¶: Вызывается один раз после выполнения всех тестов.

Новое в версии 2.7.

addError(test, err)¶

Вызывается, когда тестовый сценарий test порождает неожиданное исключение. err – кортеж вида, возвращаемого sys.exc_info(): (type, value, traceback).

Реализация по умолчанию добавляет кортеж (test, formatted_err) к атрибуту errors экземпляра, где formatted_err – форматированная трассировка, полученная из err.

addFailure(test, err)¶

Вызывается, когда тестовый сценарий test сигнализирует о сбое. err – кортеж вида, возвращаемого sys.exc_info(): (type, value, traceback).

Реализация по умолчанию добавляет кортеж (test, formatted_err) к атрибуту failures экземпляра, где formatted_err – форматированная трассировка, полученная из err.

addSuccess(test)¶

Вызывается, когда тестовый сценарий test завершается успешно.

Реализация по умолчанию ничего не делает.

addSkip(test, reason)¶

Вызывается, когда тестовый сценарий test пропускается. reason – причина, которую тест указал для пропуска.

Реализация по умолчанию добавляет кортеж (test, reason) к атрибуту skipped экземпляра.

addExpectedFailure(test, err)¶

Вызывается, когда тестовый случай test завершается ошибкой, но был помечен декоратором expectedFailure().

Реализация по умолчанию добавляет кортеж (test, formatted_err) к атрибуту expectedFailures экземпляра, где formatted_err – форматированная трассировка, полученная из err.

addUnexpectedSuccess(test)¶

Вызывается, когда тестовый сценарий test был помечен декоратором expectedFailure(), но завершился успешно.

Реализация по умолчанию добавляет тест к атрибуту unexpectedSuccesses экземпляра.

class unittest.TextTestResult(stream, descriptions, verbosity)¶: Конкретная реализация TestResult, используемая TextTestRunner.

Новое в версии 2.7: Ранее этот класс назывался _TextTestResult. Старое имя всё ещё существует как псевдоним, но является устаревшим.

unittest.defaultTestLoader¶: Экземпляр класса TestLoader, предназначенный для совместного использования. Если настройка TestLoader не требуется, можно использовать этот экземпляр вместо повторного создания новых.

class unittest.TextTestRunner(stream=sys.stderr, descriptions=True, verbosity=1, failfast=False, buffer=False, resultclass=None)¶

Базовая реализация средства запуска тестов, которая выводит результаты в стандартный поток ошибок. У неё есть несколько настраиваемых параметров, но в целом она очень проста. Графические приложения, запускающие тестовые наборы, должны предоставлять альтернативные реализации.

_makeResult()¶

Этот метод возвращает экземпляр TestResult, используемый run(). Он не предназначен для прямого вызова, но может быть переопределён в подклассах для предоставления собственного TestResult.

_makeResult() создаёт экземпляр класса или вызываемого объекта, переданного в конструктор TextTestRunner как аргумент resultclass. По умолчанию используется TextTestResult, если resultclass не предоставлен. Класс результата создаётся со следующими аргументами:

stream, descriptions, verbosity

unittest.main([module[, defaultTest[, argv[, testRunner[, testLoader[, exit[, verbosity[, failfast[, catchbreak[, buffer]]]]]]]]]])¶

Программа командной строки, которая загружает набор тестов из module и запускает их; это в первую очередь для удобного выполнения тестовых модулей. Простейший способ использования этой функции – добавить следующую строку в конец тестового скрипта:

if __name__ == '__main__':
    unittest.main()

Можно запускать тесты с более подробной информацией, передав аргумент verbosity:

if __name__ == '__main__':
    unittest.main(verbosity=2)

Аргумент defaultTest – это имя теста, который будет запущен, если имена тестов не указаны через argv. Если он не указан или равен None и имена тестов не переданы через argv, то запускаются все тесты, найденные в module.

Аргумент argv может быть списком параметров, переданных программе, где первый элемент – имя программы. Если он не задан или равен None, используются значения sys.argv.

Аргумент testRunner может быть либо классом исполнителя тестов, либо уже созданным экземпляром этого класса. По умолчанию main вызывает sys.exit() с кодом возврата, указывающим на успех или неудачу выполнения тестов.

Аргумент testLoader должен быть экземпляром TestLoader и по умолчанию равен defaultTestLoader.

main поддерживает использование из интерактивного интерпретатора при передаче аргумента exit=False. При этом результат выводится в стандартный вывод без вызова sys.exit():

>>> from unittest import main
>>> main(module='test_module', exit=False)

Параметры failfast, catchbreak и buffer имеют тот же эффект, что и одноимённые параметры командной строки.

Вызов main на самом деле возвращает экземпляр класса TestProgram. Этот экземпляр сохраняет результат выполнения тестов в атрибуте result.

Изменено в версии 2.7: Были добавлены параметры exit, verbosity, failfast, catchbreak и buffer.

25.3.7.3.1. load_tests Протокол¶load_tests Protocol

Новое в версии 2.7.

Модули или пакеты могут настраивать загрузку тестов из себя во время обычного запуска тестов или их обнаружения, реализуя функцию с именем load_tests.

Если тестовый модуль определяет load_tests, то он будет вызван функцией TestLoader.loadTestsFromModule() со следующими аргументами:

load_tests(loader, standard_tests, None)

Она должна возвращать объект TestSuite.

loader – это экземпляр TestLoader, выполняющий загрузку. standard_tests – это тесты, которые будут загружены по умолчанию из модуля. Часто тестовые модули хотят только добавить или удалить тесты из стандартного набора. Третий аргумент используется при загрузке пакетов в рамках обнаружения тестов.

Типичная функция load_tests, загружающая тесты из определённого набора классов TestCase, может выглядеть так:

test_cases = (TestCase1, TestCase2, TestCase3)

def load_tests(loader, tests, pattern):
    suite = TestSuite()
    for test_class in test_cases:
        tests = loader.loadTestsFromTestCase(test_class)
        suite.addTests(tests)
    return suite

Если обнаружение запускается из командной строки или вызовом TestLoader.discover() с шаблоном, соответствующим имени пакета, то пакет __init__.py проверяется на load_tests.

Примечание

Шаблон по умолчанию – 'test*.py'. Он соответствует всем файлам Python, которые начинаются с 'test', но не соответствует тестовым каталогам.

Шаблон вида 'test*' будет соответствовать как тестовым пакетам, так и модулям.

Если пакет __init__.py определяет load_tests, то она будет вызвана, и обнаружение не продолжается внутрь пакета. load_tests вызывается со следующими аргументами:

load_tests(loader, standard_tests, pattern)

Она должна возвращать объект TestSuite, представляющий все тесты из пакета. (standard_tests будет содержать только тесты, собранные из __init__.py.)

Поскольку шаблон передаётся в load_tests, пакет может продолжить (и, возможно, изменить) обнаружение тестов. Функция load_tests, которая ничего не делает, для тестового пакета может выглядеть так:

def load_tests(loader, standard_tests, pattern):
    # корневой каталог, кэшированный на экземпляре загрузчика
    this_dir = os.path.dirname(__file__)
    package_tests = loader.discover(start_dir=this_dir, pattern=pattern)
    standard_tests.addTests(package_tests)
    return standard_tests

25.3.8. Фикстуры классов и модулей¶Class and Module Fixtures

Фикстуры уровня класса и модуля реализуются в TestSuite. Когда набор тестов встречает тест из нового класса, вызывается tearDownClass() из предыдущего класса (если он есть), а затем setUpClass() из нового класса.

Аналогично, если тест из другого модуля, отличного от предыдущего, то запускается tearDownModule предыдущего модуля, а затем setUpModule нового модуля.

После выполнения всех тестов запускаются финальные tearDownClass и tearDownModule.

Обратите внимание, что общие фикстуры плохо совместимы с такими возможностями, как параллельное выполнение тестов, и нарушают изоляцию тестов. Их следует использовать с осторожностью.

Упорядочивание тестов по умолчанию, создаваемое загрузчиками тестов unittest, группирует все тесты из одних и тех же модулей и классов вместе. Это приводит к тому, что setUpClass / setUpModule (и т.д.) вызываются ровно один раз на класс и модуль. Если изменить порядок случайным образом, так что тесты из разных модулей и классов будут соседствовать друг с другом, то эти общие фикстуры могут вызываться несколько раз за один прогон тестов.

Общие фикстуры не предназначены для работы с наборами тестов, имеющими нестандартный порядок. BaseTestSuite всё ещё существует для фреймворков, которые не хотят поддерживать общие фикстуры.

Если во время выполнения одной из общих фикстур возникает исключение, тест помечается как ошибочный. Поскольку нет соответствующего экземпляра теста, создаётся объект _ErrorHolder (имеющий тот же интерфейс, что и TestCase) для представления ошибки. Если вы просто используете стандартный исполнитель тестов unittest, эта деталь не имеет значения, но если вы разработчик фреймворка, это может быть актуально.

25.3.8.1. setUpClass и tearDownClass¶setUpClass and tearDownClass

Они должны быть реализованы как методы класса:

import unittest

class Test(unittest.TestCase):
    @classmethod
    def setUpClass(cls):
        cls._connection = createExpensiveConnectionObject()

    @classmethod
    def tearDownClass(cls):
        cls._connection.destroy()

Если нужно, чтобы setUpClass и tearDownClass базовых классов вызывались, необходимо вызвать их самостоятельно. Реализации в TestCase пусты.

Если во время выполнения setUpClass возникает исключение, тесты в классе не запускаются, и tearDownClass не выполняется. Пропущенные классы не будут выполнять setUpClass или tearDownClass. Если исключением является SkipTest, то класс будет помечен как пропущенный, а не как ошибочный.

25.3.8.2. setUpModule и tearDownModule¶setUpModule and tearDownModule

Их следует реализовывать как функции:

def setUpModule():
    createConnection()

def tearDownModule():
    closeConnection()

Если в setUpModule возникает исключение, то ни один тест в модуле не будет запущен, и tearDownModule не будет выполнен. Если исключением является SkipTest, то модуль будет помечен как пропущенный, а не как ошибочный.

25.3.9. Обработка сигналов¶Signal Handling

Параметр командной строки -c/--catch для unittest вместе с параметром catchbreak для unittest.main() обеспечивают более удобную обработку control-C во время выполнения тестов. Когда поведение catch-break включено, control-C позволяет завершить текущий тест, после чего выполнение тестов завершается и выводятся все результаты на данный момент. Повторное нажатие control-C вызовет исключение KeyboardInterrupt обычным образом.

Обработчик сигнала control-c старается оставаться совместимым с кодом или тестами, которые устанавливают собственный обработчик signal.SIGINT. Если обработчик unittest вызывается, но не является установленным обработчиком signal.SIGINT, то есть был заменён тестируемой системой и делегирован, то он вызывает стандартный обработчик. Обычно это ожидаемое поведение для кода, который заменяет установленный обработчик и делегирует ему. Для отдельных тестов, где требуется unittest отключить обработку control-c, можно использовать декоратор removeHandler().

Существует несколько вспомогательных функций для разработчиков фреймворков, позволяющих включить обработку control-c в тестовых фреймворках.

unittest.installHandler()¶: Устанавливает обработчик control-c. Когда получен сигнал signal.SIGINT (обычно в ответ на нажатие пользователем control-c), у всех зарегистрированных результатов вызывается stop().

Новое в версии 2.7.

unittest.registerResult(result)¶

Регистрирует объект TestResult для обработки control-c. При регистрации результата сохраняется слабая ссылка на него, поэтому это не препятствует сборке мусора объекта результата.

Регистрация объекта TestResult не имеет побочных эффектов, если обработка control-c не включена, поэтому тестовые фреймворки могут безусловно регистрировать все создаваемые ими результаты, независимо от того, включена обработка или нет.

Новое в версии 2.7.

unittest.removeResult(result)¶: Удаляет зарегистрированный результат. После удаления результата stop() больше не будет вызываться для этого объекта результата в ответ на control-c.

Новое в версии 2.7.

unittest.removeHandler(function=None)¶

При вызове без аргументов эта функция удаляет обработчик control-c, если он был установлен. Эту функцию также можно использовать как тестовый декоратор для временного удаления обработчика на время выполнения теста:

@unittest.removeHandler
def test_signal_handling(self):
    ...

Новое в версии 2.7.

25.3. unittest – фреймворк для модульного тестирования¶unittest – Unit testing framework

25.3.1. Простой пример¶Basic example

25.3.2. Интерфейс командной строки¶Command-Line Interface

25.3.2.1. Параметры командной строки¶Command-line options

25.3.3. Обнаружение тестов¶Test Discovery

25.3.4. Организация тестового кода¶Organizing test code

25.3.5. Повторное использование старого тестового кода¶Re-using old test code

25.3.6. Пропуск тестов и ожидаемые сбои¶Skipping tests and expected failures

25.3.7. Классы и функции¶Classes and functions

25.3.7.1. Тестовые случаи¶Test cases

25.3.7.1.1. Устаревшие псевдонимы¶Deprecated aliases

25.3.7.2. Группировка тестов¶Grouping tests

25.3.7.3. Загрузка и запуск тестов¶Loading and running tests

25.3.7.3.1. load_tests Протокол¶load_tests Protocol

25.3.8. Фикстуры классов и модулей¶Class and Module Fixtures

25.3.8.1. setUpClass и tearDownClass¶setUpClass and tearDownClass

25.3.8.2. setUpModule и tearDownModule¶setUpModule and tearDownModule

25.3.9. Обработка сигналов¶Signal Handling

25.3. `unittest` – фреймворк для модульного тестирования¶unittest – Unit testing framework