Тестирование ваших тестов? Кто смотрит на сторожей?

Независимо от того, работаете ли вы в большой корпорации, стартапе или просто для себя, модульное тестирование не только полезно, но и часто необходимо. Мы используем модульные тесты для тестирования нашего кода, но что произойдет, если наши тесты будут неправильными или неполными? Что мы можем использовать для тестирования наших тестов? Кто смотрит на сторожей?

Введите тестирование мутации

Нет, нет, ничего такого. Mutation Testing (или Mutant Analysis ) — это метод, используемый для создания и оценки качества тестов программного обеспечения. Он состоит из модификации тестов очень маленькими способами. Каждая измененная версия называется мутантом, и тесты обнаруживают и отклоняют мутанты, заставляя поведение исходной версии отличаться от мутанта. Мутации — это ошибки в нашем исходном коде, и анализ проверяет, обнаруживают ли наши тесты эти ошибки. Короче говоря, если тест все еще работает после того, как он мутировал, это не очень хороший тест.

Тестирование мутаций с помощью Humbug

Humbug — это среда тестирования мутаций для PHP.

Чтобы Humbug мог генерировать покрытие кода, нам нужно будет установить и включить XDebug на нашем компьютере. Затем мы можем установить его как глобальный инструмент.

composer global require 'humbug/humbug'

После этого, если мы запустим

 humbug

команда, мы должны быть в состоянии увидеть некоторую информацию об установке Humbug и ошибку, указывающую на то, что у нас нет файла humbug.json

Бутстрапирование

Перед настройкой и использованием Humbug нам нужен проект, который мы можем протестировать. Мы создадим небольшой пакет калькулятора PHP, в котором будем запускать наши юнит-тесты и мутационные тесты.

Давайте создадим папку /Calculator Внутри него давайте создадим наши папки /src/tests Внутри нашей папки /src папка /tests Нам также нужно будет использовать PHPUnit в нашем пакете. Лучший способ сделать это — использовать Composer . Давайте установим PHPUnit с помощью следующей команды:

 composer global require phpunit/phpunit

Давайте создадим наш калькулятор. Внутри папки /srcCalculator.php

 <?php

namespace package\Calculator;

class Calculator {

    /**
     * BASIC OPERATIONS
     */
    public function add($a1, $a2) {
        return $a1 + $a2;
    }

    public function subtract($a1, $a2) {
        return $a1 - $a2;
    }

    public function multiply($a1, $a2) {
        return $a1 * $a2;
    }

    public function divide($a1, $a2) {

        if ($a2 === 0) {
            return false;
        }

        return $a1 / $a2;
    }

    /*
     * PERCENTAGE
     */

    //This will return $a1 percent of $a2
    public function percentage($a1, $a2) {
        return ( $a1 / $a2 ) * 100;
    }

    /*
     * PI
     */

    //Returns the value of pi
    public function pi() {
        return pi();
    }

    /*
     * LOGARITHMIC
     */

    //Returns the basic logarithm in base 10
    public function log($a) {
        return log10($a);
    }

}

Это довольно простая программа. Простой калькулятор, с основными арифметическими, процентными и логарифмическими операциями и функцией для возврата значения pi . Далее, внутри нашей папки /tests Если вам нужна помощь с модульным тестированием в PHP, ознакомьтесь с этим руководством .

Создайте файл CalculatorTest.php и добавьте следующее:

 <?php

use package\Calculator\Calculator;

class CalculatorTest extends PHPUnit_Framework_TestCase {

    public function testAdd() {
        $calculator = new Calculator();
        $result = $calculator->add(2, 3);
        $this->assertEquals($result, 5);
    }

    public function testSubtract() {
        $calculator = new Calculator();
        $result = $calculator->subtract(6, 3);
        $this->assertEquals($result, 3);
    }

    public function testMultiply() {
        $calculator = new Calculator();
        $result = $calculator->multiply(6, 3);
        $this->assertEquals($result, 18);
    }

    public function testDivide() {
        $calculator = new Calculator();
        $result = $calculator->divide(6, 3);
        $this->assertEquals($result, 2);
    }

}

Это будет наш начальный тестовый стек. Если мы запустим команду phpunit Важно, чтобы все наши тесты прошли, иначе Humbug потерпит неудачу.

 humbug configure

    humbug

     public function testDivideByZero() {
        $calculator = new Calculator();
        $result = $calculator->divide(6, 0);
        $this->assertFalse($result);
    }

    public function testPercentage() {
        $calculator = new Calculator();
        $result = $calculator->percentage(2, 50);
        $this->assertEquals($result, 4);
    }

    public function testPi() {
        $calculator = new Calculator();
        $result = $calculator->pi();
        $this->assertEquals($result, pi());
    }

    public function testLog() {
        $calculator = new Calculator();
        $result = $calculator->log(10);
        $this->assertEquals($result, 1);
    }