Учебное пособие по автоматическому тестированию на основе свойств

Я большой сторонник автоматизированного тестирования и выяснения того, что ваш код не работает на вашем компьютере через 30 секунд после его написания, а не в производстве после того, как он привел к денежным убыткам и выполнению некоторых ремонтных работ. Это относится ко многим различным видам тестирования, от уровня подразделения (который также имеет преимущества для внутреннего качества и обратной связи при проектировании) до уровня приемлемости (который обеспечивает заинтересованные стороны тем, что им нужно, и документирует это на будущее). Тестируемая система может быть отдельным классом, проектом или даже совместной (микро) службой, доступ к которой осуществляется через HTTP из другого процесса или машины. 

Однако классические тестовые наборы, написанные с использованием стилей xUnit и BDD, имеют некоторые проблемы с масштабированием, с которыми они сталкиваются, когда вы хотите использовать больше, чем просто удачные пути:  

• Это  трудно охватить множество различных входов с  помощью ручного написания тестов, поэтому мы придерживаться не более десятка случаев для конкретного метода.
• Для каждого нового входа, который мы хотим протестировать, существуют  затраты на обслуживание  : каждому необходимо  написать некоторые  утверждения и обновить их в будущем, если тестируемая система изменит свой API.
• Мы  склонны не проверять внешние зависимости,  такие как язык или библиотеки, поскольку доверяем им, чтобы они хорошо справлялись с работой, даже если мы несем ответственность за их ошибки. Мы выбрали их и разворачиваем наш проект, а не авторов, которые предоставили код  «как есть», без гарантии.

Обратите внимание, что здесь я определяю  входные данные  как существующее состояние системы плюс новые входные данные, предоставленные тестом (данные сценария «Когда» и «Когда»), и  выводим  не только фактический ответ, создаваемый тестируемой системой, но и новый Государство это приняло.

Сортировать()

Давайте возьмем в качестве примера функцию sort (), которую сегодня никто не реализует, за исключением собеседований и заданий.

Предполагая массив (или список, в зависимости от вашего языка), мы можем создать несколько входных данных для функции, как мы это сделали бы в ката:

• [1, 2, 3]
• [3, 1]
• [3, 6, 5, 1, 4]

и так далее. Когда мы остановимся? Может быть, нам также нужно немного сложного ввода:

• []
• [1]
• [1, 1]
• [2, 3, 5, 6, 8, 9, 1, 3, 6, 7, 8, 9]

После того, как мы собрали все входные данные, нам нужно определить, что мы ожидаем от каждого из них:

• [1, 2, 3] => [1, 2, 3]
• [3, 1] => [1, 3 [
• [3, 6, 5, 1, 4] => [1, 3, 4, 5, 6]
• [] => []
• [1] => [1]
• [1, 1] => [1, 1]
• [2, 3, 5, 6, 8, 9, 1, 3, 6, 7, 8, 9] => [1, 2, 3, 3, 5, 6, 6, 7, 8, 8, 9, 9]

Вы можете делать это постепенно, увеличивая код по одному новому тесту за раз, но вам все равно придется это делать. Учитывая, что это может стать скучным и подверженным ошибкам в этом игрушечном примере, вы задаетесь вопросом, что делать, когда вместо sort () у вас есть класс RangeOfMoney, который является ключевым для вашего бизнеса и управляет точечными и произвольными интервалами денежных сумм (правдивая история) ).

Тестирование на основе свойств в двух словах

Тестирование на основе свойств в подходе к тестированию из мира функционального программирования. Чтобы решить вышеупомянутые проблемы (и получить новые, более интересные), необходимо выполнить следующие шаги:

1. Генерация  случайной выборки возможных входных данных.
2. Упражнение  SUT с каждым из них.
3. Проверяйте свойства,  которые должны быть истинными для каждого вывода, вместо того, чтобы делать точные сравнения.
4. (Необязательно), если проверка свойств не удалась, возможно, сожмите, чтобы найти минимальный ввод, который все еще вызывает сбой.

Как это работает для функции sort ()?

Мы можем использовать rand () для генерации входного массива: 

Generator\seq(
    Generator\nat(),
    Generator\pos(100)
)

sort($array);
for ($i = 0; $i < count($array) - 1; $i++) {
    $this->assertTrue(
        $array[$i] <= $array[$i+1],
        "Array is not sorted: " . var_export($array, true)
    );
}

function fromZeroBasedDayOfYear($year, $dayOfYear)
{
    return DateTime::createFromFormat(
        'z Y H i s',
        $dayOfYear . ' '. $year . ' 00 00 00',
        new DateTimeZone("UTC")
    ); 
}

$this->forAll(
    Generator\int(2000, 2020),
    Generator\int(0, 364),
    Generator\int(0, 364)
)
->then(function($year, $dayOfYear, $anotherDayOfYear) {
    $day = fromZeroBasedDayOfYear($year, $dayOfYear);
    $anotherDay = fromZeroBasedDayOfYear($year, $anotherDayOfYear);
    $this->assertEquals(
        abs($dayOfYear - $anotherDayOfYear) * 86400,
        abs($day->getTimestamp() - $anotherDay->getTimestamp()),
        "Days of the year $year: $dayOfYear, $anotherDayOfYear" . PHP_EOL
        . "{$day->format(DateTime::ISO8601)}, {$anotherDay->format(DateTime::ISO8601)}"
    );
});

Time: 95 ms, Memory: 6.00Mb

There was 1 failure:

1) DateTest::testFromDayOfYearFactoryMethodRespectsDistanceBetweenDays
Days of the year 2016: 59, 0
2016-03-01T00:00:00+0000, 2016-01-01T00:00:00+0000
Failed asserting that 5184000 matches expected 5097600.

/home/giorgio/code/eris/examples/DateTest.php:53
/home/giorgio/code/eris/src/Eris/Quantifier/Evaluation.php:46
/home/giorgio/code/eris/src/Eris/Shrinker/Random.php:67
/home/giorgio/code/eris/src/Eris/Quantifier/ForAll.php:82
/home/giorgio/code/eris/src/Eris/Quantifier/Evaluation.php:48
/home/giorgio/code/eris/src/Eris/Quantifier/ForAll.php:84
/home/giorgio/code/eris/src/Eris/Quantifier/ForAll.php:123
/home/giorgio/code/eris/examples/DateTest.php:54
/home/giorgio/code/eris/examples/DateTest.php:54
                                       
FAILURES!                              
Tests: 1, Assertions: 346, Failures: 1.