Разделение интеграции и модульных тестов с Maven, Sonar, Failsafe и JaCoCo

Цель : выполнить медленные интеграционные тесты отдельно от модульных тестов и показать как можно больше информации о них в Sonar.

Первая часть — выполнение IT и UT по отдельности — достигается с помощью maven-failsafe-plugin и именования интеграционных тестов * IT (чтобы модульный тест, запускаемый surefire-maven-plugin, игнорировал их, а failsafe будет выполнять их в  этап интеграционных испытаний и сбор результатов на этапе проверки ).

Вторая часть — показ информации об интеграционных тестах в Sonar — немного сложнее. Метрики интеграционных тестов не будут включены в виджет Тестовое покрытие + Успешные тесты. Вы можете добавить виджет Интеграционное тестовое покрытие (IT-покрытие), если вы включили JaCoCo, но альтернативы для показателей успешности тестирования нет. Но не отчаивайтесь, читайте дальше!

Важное замечание: интеграция Sonar, JaCoCo и Failsafe развивается довольно быстро, поэтому эта информация может легко устареть в следующих выпусках Sonar

Версии : Sonar 2.12, Maven 3.0.3

Условие: как работает сонар

Важно понимать, как работает Sonar и как он интегрирован в процесс сборки. Кратко:

• Sonar запускается после сборки проекта (и, таким образом, различные артефакты уже созданы): либо как действие в Jenkins, либо после выполнения mvn install вручную.
• Sonar поставляется в комплекте с различными интегрированными плагинами для анализа качества, такими как PMD, Checkstyle, Findbugs (в зависимости от выбранного профиля качества). Вам не нужно добавлять их вручную в POM (но вы можете, если вам нужно их настроить). Однако, если вам нужно что-то, чего еще нет, например, сбор покрытия для интеграционных тестов, вы должны сделать это вручную.
• Sonar может либо повторно использовать существующие отчеты (checkstyle,…), либо создавать свои собственные.
• F.ex. если вы выберете JaCoCo в качестве поставщика покрытия кода по умолчанию, Sonar автоматически перезапустит модульные тесты с включенным JaCoCo для сбора метрик покрытия. Вы можете увидеть файл target / sonar / sonar-pom.xml, который он генерирует, чтобы увидеть, что он делает.

Обманывая сонар для демонстрации успеха в ИТ-тестировании

Выполнение модульных тестов через Surefire и интеграционных тестов через Failsafe приводит к невозможности увидеть, когда интеграционные тесты не пройдены. (Поскольку это показано в виджете об успешном выполнении модульного теста, который не поддерживает Failsafe.) Однако можно обмануть Sonar, чтобы показать успешное тестирование как для модульных, так и для интеграционных тестов, указав Failsafe хранить свои отчеты о тестах в том же каталоге, что и Surefire вместо defaultsafe-report по умолчанию, и вот что мы делаем:

<!-- pom.xml, the build/plugins section -->
<plugin>
    <groupId>org.apache.maven.plugins</groupId>
    <artifactId>maven-failsafe-plugin</artifactId>
    <configuration>
        <reportsDirectory>${project.build.directory}/surefire-reports</reportsDirectory>
    </configuration>
</plugin>

<!-- pom.xml fragment: -->
<build>
 ...
     <!-- Run integration tests (*IT) -->
    <plugin>
        <groupId>org.apache.maven.plugins</groupId>
        <artifactId>maven-failsafe-plugin</artifactId>
        <configuration>
            <reportsDirectory>${project.build.directory}/surefire-reports</reportsDirectory>
            <argLine>${jacoco.agent.argLine}</argLine>
        </configuration>
    </plugin>
    <!--
        Compute integration test coverage for Sonar
        BEWARE: Sonar doesn't run the verify phase, it has to be forced by setting -Dsonar.phase=verify
    -->
    <plugin>
        <groupId>org.jacoco</groupId>
        <artifactId>jacoco-maven-plugin</artifactId>
        <configuration>
            <propertyName>jacoco.agent.argLine</propertyName> <!-- default: argLine -->
            <includes>
                <include>com/comoyo/**</include>
            </includes>
            <destFile>${project.build.directory}/jacoco-integration.exec</destFile> <!-- agent -->
            <dataFile>${project.build.directory}/jacoco-integration.exec</dataFile> <!-- report -->
        </configuration>
        <executions>
            <execution>
                <id>agent</id>
                <goals><goal>prepare-agent</goal></goals>
            </execution>
        </executions>
    </plugin>
</build>

payment$ mvn clean install -Dtest=false -DfailIfNoTests=false
payment$ mvn sonar:sonar

payment$ mvn -Dsonar.phase=verify sonar:sonar

...
JaCoCo agent (version 0.5.3.201107060350) extracted: /var/folders/k0/2842tm752zv1dh4q77_gmgdr0000gn/T/jacocoagent2548420105762793132.jar
JVM options: -javaagent:/var/folders/k0/2842tm752zv1dh4q77_gmgdr0000gn/T/jacocoagent2548420105762793132.jar=destfile=target/jacoco.exec,excludes=*_javassist_*
Initializer FindbugsMavenInitializer...
Initializer FindbugsMavenInitializer done: 4 ms
Execute maven plugin maven-surefire-plugin...
Execute org.apache.maven.plugins:maven-surefire-plugin:2.8.1:test...
...
Execute maven plugin maven-surefire-plugin done: 9856 ms
Initializer JacocoMavenInitializer...
..
Sensor SquidSensor done: 2207 ms
Sensor JaCoCoSensor...
Analysing /myproject/target/jacoco.exec
Sensor JaCoCoSensor done: 559 ms
Sensor JaCoCoItSensor...
Analysing /myproject/target/jacoco-integration.exec
Sensor JaCoCoItSensor done: 89 ms
Sensor SurefireSensor...

<!-- pom.xml build/plugins fragment -->
<plugin>
    <groupId>org.jacoco</groupId>
    <artifactId>jacoco-maven-plugin</artifactId>
    <executions>
        <execution>
            <id>agent</id>
            <phase>pre-integration-test</phase>
            <goals><goal>prepare-agent</goal></goals>
        </execution>
        <execution>
            <id>report</id>
            <phase>site</phase>
            <goals><goal>report</goal></goals>
        </execution>
    </executions>
</plugin>

mvn help:describe -Dplugin=org.jacoco:jacoco-maven-plugin -Ddetail