Как добавить allure плагин java

Allure — это инструмент для создания красивых отчетов о тестировании, который можно использовать с фреймворками тестирования, такими как JUnit , TestNG и другими. Для подключения Allure к проекту Java необходимо выполнить несколько шагов:

Добавить зависимость Allure в файл build.gradle или pom.xml в зависимости от того, какую систему сборки вы используете. Например, для Gradle добавьте следующую строку в раздел dependencies :

testImplementation 'io.qameta.allure:allure-junit5:3.0.0'

Добавить аннотацию @Epic , @Feature , @Story к тестовым методам, чтобы разбить тесты на логические группы.

@Epic("My Epic") @Feature("My Feature") @Story("My Story") @Test public void testSomething()  // . >

Запустить тесты с помощью системы сборки или из среды разработки.
После выполнения тестов сгенерировать отчет с помощью команды:

где — путь к директории, в которой хранятся результаты тестирования.

После выполнения этой команды будет запущен веб-сервер, на котором будет доступен красивый отчет о тестировании с графиками, диаграммами и другими полезными инструментами для анализа результатов тестов.

Помогите настроить allure

[ERROR] Failed to execute goal org.apache.maven.plugins:maven-site-plugin:3.3:site (default-site) on project CnB: Error during page generation: Error rendering Maven report: Could not generate the report: Can’t resolve one or more given artifacts [ru.yandex.qat ools.allure:allure-bundle:jar:2.6]: Failure to find ru.yandex.qatools.allure:allure-bundle:jar:2.6 in http://repo1.maven.org/maven2/ was cached in the local repository, resolution will not be reattempted until the update interval of central has elapsed or updat es are forced -> [Help 1] [ERROR] [ERROR] To see the full stack trace of the errors, re-run Maven with the -e switch. [ERROR] Re-run Maven using the -X switch to enable full debug logging. [ERROR] [ERROR] For more information about the errors and possible solutions, please read the following articles: [ERROR] [Help 1] http://cwiki.apache.org/confluence/display/MAVEN/MojoExecutionException

если зайти на site, там есть файлик allure-maven-plugin.html и если его открыть в браузере — он пустой

Инфраструктура Selenium-тестов: как создать связную систему Allure-отчётов без Allure-сервера

Как часто вы формируете Allure-отчёты во время проведения автотестов? Наверняка, чтобы отслеживать изменения от отчёта к отчёту, вы также используете Allure-server. А что делать, если нет возможности содержать отдельный сервер для отчетов или он не отвечает всем вашим запросам? Я SDET-специалист SimbirSoft Дмитрий, и в этой статье расскажу о плагине, который мы придумали в качестве альтернативы Allure-server. Он обладает необходимыми возможностями для обработки отчётов и позволит сэкономить бизнесу на стоимости использования сервера.

Возможности Allure

Allure Framework – популярный инструмент формирования отчетности по результатам работы автотестов, упрощающий их анализ. Это гибкий и легкий инструмент, который позволяет всем участникам производственного процесса не только получить сведения о ходе выполнения тестов, но и предоставляет максимум полезной информации из повседневного выполнения автоматизированных тестов.

Но web-отчет, который генерирует Allure, содержит подробную информацию только о последнем прогоне тестов.

В этом случае приходится сохранять все отчеты отдельно. С этим отлично справляется Allure-server — он даже связывает новый отчёт со старыми, добавляя ссылки на графики запусков и в историю тестов.

Мы уже писали статью про Allure-server — это отдельный сервер, который позволяет хранить и генерировать Allure-отчёты.

Бывают ситуации, когда держать отдельный сервер для отчётов нет возможности, но есть необходимость хранить полную историю отчётов и иметь возможность связывать их, как это делают Allure-server и jenkins plugin. Такая возможность есть, но она плохо задокументирована.

Анализ существующих решений

Анализируя файлы связанных отчётов Allure-server, мы заметили, что ссылка на предыдущий отчёт сохраняется в файлах .json (в отчётах присутствует множество графиков, в каждом из них есть этот параметр) в свойстве reportUrl, например:

Изучая исходные файлы плагина Allure jenkins, мы выяснили, что можно добавлять ссылку на предыдущий отчёт в executor.json к файлам прогона перед генерацией нового отчёта. Тогда в новом отчёте будет возможность перейти к предыдущему.

Решение

На одном из наших проектов была задача хранить подробную историю отчётов и раздавать её через nginx.

Для выполнения этой задачи мы изучили и перепробовали несколько уже существующих плагинов, но ни один нам не подошёл. В результаты мы приняли решение написать свой плагин для Maven, который связывает отчёты, генерируемые плагином Allure Maven.

Расширенную документацию и исходный код проекта можно найти в нашем GitHub.

Как настроить

Скачайте папку allure-utils-plugin из репозитория.
Добавьте его в зависимости вашего проекта:

   com.simbirsoft allure-utils-plugin 1.0

3. Измените путь отчета allure-maven-plugin:

 true  io.qameta.allure allure-maven 2.10.0 $/results/last

4. Установите его перед использованием:

mvn -f .\allure-utils-plugin clean install

5. Запустите свои тесты:

mvn test

6. Подготовьте историю:

mvn allure-utils:prepare-history

7. Создайте отчет:

mvn site

8. Удалите старые отчеты:

mvn allure-utils:remove-old

Как публиковать отчёты

По результатам тестирования создаётся папка allure-results, в которой хранятся .json файлы, необходимые для создания отчётов.
Запускаем таску (prepare-history) нашего плагина, которая:
a) перемещает папку с последним отчётом в новую папку со случайным названием (/results/last) -> (/results/aaa13438-8f79-4367-a8d1-e08b9cc7c11d);
b) изменяет в /results/aaa13438-8f79-4367-a8d1-e08b9cc7c11d/history) файлы, указанные ниже, добавляя к ним информацию, что текущий отчёт теперь доступен по адресу (../aaa13438-8f79-4367-a8d1- e08b9cc7c11d) — history-trend.json — history.json — categories-trend.json — duration-trend.json — retry-trend.json;
с) копирует (/results/aaa13438-8f79-4367-a8d1-e08b9cc7c11d/history) в allure-results.
Запускаем генерацию нового отчёта Allure Maven плагином в папку /results/last .
Запускаем другую таску (remove-old) нашего плагина, которая удаляет старые отчёты, оставляя только последние 20 (это число можно настраивать).

Таким образом, последний отчёт всегда будет доступен в nginx по адресу: /last . Этот плагин очень удобен даже при локальных запусках тестов:

Запускаем тесты.
Запускаем плагином подготовку истории.
Генерируем отчёт.
Раздаём содержимое папки results, где хранятся отчёты, при помощи любого веб-сервера, для этого удобно использовать Allure cli:

allure open .

python -m http.server

Повторять эти шаги можно сколько угодно раз, главное не забывать очищать папку allure-results перед запуском прогона тестов.

Итоги

Мы создали удобный инструмент, который позволяет публиковать отчёты Allure, сохраняя историю предыдущих запусков и связывая отчёты между собой. Этот плагин удобно использовать как для локальных запусков тестов, так и для публикации отчётов в CI при помощи nginx.

Спасибо за внимание! Полезные материалы о frontend-разработке мы также публикуем в наших соцсетях – ВКонтакте и Telegram.

Блог компании SimbirSoft
Тестирование IT-систем
Программирование
Java
Тестирование веб-сервисов

Allure-framework. Часть 1

На просторах интернета не так много исчерпывающей русскоязычной информации по второй версии Allure, не говоря уже о проблемах с официальной документацией. Мы решили заполнить данный пробел и написать серию статей, которая поможет читателям детальнее разобраться с богатым функционалом фреймворка.

Allure-framework успешно применяется в работе автоматизатора функционального тестирования в программе ЕФС и значительно упрощает разбор результатов тестовых прогонов.

В нашей первой статье мы расскажем, что такое Allure, для чего он нужен и как его подключить к вашему проекту. Также мы рассмотрим сборку самого отчета – как на локальной машине, так и с помощью Jenkins. И проведем обзор всех страниц отчета.
Поехали!

Немного общего

Каждый ИТ-специалист, который сталкивался с автоматизацией тестирования, скорее всего разбирал результаты тестовых прогонов. Чем больше вы автоматизируете регрессионную модель, тем больше автотестов появляется в вашем проекте, следовательно, вы или ваш коллега из функционального тестирования тратите больше времени на анализ отчетов.

Allure Framework – популярный инструмент построения отчётов автотестов, упрощающий их анализ. Это гибкий и легкий инструмент, который позволяет получить не только краткую информацию о ходе выполнения тестов, но и предоставляет всем участникам производственного процесса максимум полезной информации из повседневного выполнения автоматизированных тестов.

Разработчикам и тестировщикам использование отчетов Allure позволяет сократить жизненный цикл дефекта: падения тестов могут быть разделены на дефекты продукта и дефекты самого теста, что сокращает затраты времени на анализ дефекта и его устранение. Также к отчету могут быть прикреплены логи, обозначены тестовые шаги, добавлены вложения с разнообразным контентом, получена информация о таймингах и времени выполнения тестов. Кроме того, Allure-отчеты поддерживают взаимодействие с системами непрерывной интеграции и баг-трекинговыми системами, что позволяет всегда держать под рукой нужную информацию о прохождении тестов и дефектах.

Тест-менеджерам Allure дает общее представление о работоспособности проекта, позволяет понять, какие фичи проекта покрыты тестами, как сгруппированы дефекты, каков общий тренд качества проекта.

После формирования Allure-отчет представляет собой удобочитаемый интерактивный HTML–документ, который может быть сохранен либо отправлен по почте. Образец отчета вы можете посмотреть по ссылке.

Подключение Allure к Maven-проекту

Для того чтобы получить информацию о выполнении автотеста, из которой потом будет сформирован информативный Allure–отчет, необходимо к проекту с автотестами подключить адаптер. Во время выполнения тестов адаптер соберет всю необходимую информацию: время начала теста, время его окончания, с какой ошибкой тест упал и т.д. После прохождения каждого теста адаптер соберет все данные и агрегирует их в .json файлы и файлы ресурсов. Из множества таких файлов в дальнейшем и будет сформирован сам отчет.

Для разных тестовых фреймворков вам потребуются разные адаптеры. Рассмотрим некоторые из них.

Allure-Junit4

Данный адаптер позволяет собирать информацию из тестов, разработанных с использованием фреймворка Junit4. Для подключения адаптера необходимо модифицировать pom.xml вашего проекта. В секцию properties добавляем:

 . 2.20.1 1.8.10 2.6.0 .

В секцию dependencies добавляем:

 . io.qameta.allure allure-junit4 $ .

Также необходимо модифицировать (или создать) секцию build следующим образом:

  . org.apache.maven.plugins maven-surefire-plugin $ false -javaagent:"$/org/aspectj/aspectjweaver/$/aspectjweaver-$.jar"  listener io.qameta.allure.junit4.AllureJunit4    allure.results.directory $/allure-results     org.aspectj aspectjweaver $   .

Allure-Junit5

Данный адаптер позволяет собирать информацию из тестов, разработанных на Junit5. Для подключения адаптера необходимо модифицировать pom.xml вашего проекта. В секцию properties добавляем:

 . 2.21.0 1.1.0 1.8.10 2.6.0 .

В секцию dependencies добавляем:

 . io.qameta.allure allure-junit5 $ .

Также необходимо модифицировать (или создать) секцию build следующим образом:

  . maven-surefire-plugin $ false -javaagent:"$/org/aspectj/aspectjweaver/$/aspectjweaver-$.jar"  junit.jupiter.extensions.autodetection.enabled true  allure.results.directory $/allure-results     org.junit.platform junit-platform-surefire-provider $ org.aspectj aspectjweaver $   .

Примечание
Из-за утечки памяти в Surefire 2.20 и проблем запуска на Java 9 разработчики Junit5 рекомендуют использовать Surefire версии 2.21.0

Allure-Testng

Данный адаптер позволяет собирать информацию из тестов разработанных на TestNG. Для подключения адаптера необходимо модифицировать pom.xml вашего проекта. В секцию properties добавляем:

 . 2.20.1 1.8.10 2.6.0 .

В секцию dependencies добавляем:

 . io.qameta.allure allure-testng $ .

Также необходимо модифицировать (или создать) секцию build следующим образом:

  . org.apache.maven.plugins maven-surefire-plugin $ -javaagent:"$/org/aspectj/aspectjweaver/$/aspectjweaver-$.jar"  allure.results.directory $/allure-results     org.aspectj aspectjweaver $   .

Получение исходных файлов для сборки html-отчета

Исходные файлы представляют собой множество JSON-файлов с результатами тестов, а также файлов некоторых других типов (файлы вложений с разнообразными расширениями, .properties и др). Данные файлы будут автоматически генерироваться после прогона ваших автотестов (в нашем примере в директории target/allure-results). Затем из этих файлов необходимо собрать удобный для чтения html-отчет.

Сборка html-отчета на локальной машине

Для сборки html–отчета необходима утилита, которая называется allure–commandline. Получить отчет можно несколькими способами:

Способ 1:
1. Скачать последнюю версию allure–commandline по ссылке;

2. Распаковать архив;

3. Добавить путь до директории bin из распакованного архива в системную переменную окружения.

Чтобы убедиться в корректности установки, выполните в командной строке команду

Должно появиться сообщение вида:

$ allure —version
2.6.0

После установки allure–commandline откройте в проводнике папку с исходными для построения отчета файлами (в нашем примере target/allure-results) и в окне команд (терминале) выполните команду

После этого должен сформироваться сам html–отчет, который откроется в браузере по умолчанию автоматически.

Способ 2 (рекомендуемый):
1. Добавить в pom.xml вашего проекта allure-maven плагин. Для этого модифицируем секцию build следующим образом:

  . io.qameta.allure allure-maven 2.9 2.6.0   .

2. Убедиться, что автотесты, по которым вы хотите получить отчет, уже выполнены (прогнать тесты можно командой mvn clean test) и в папке «target» вашего проекта присутствует «allure-results» с исходными для построения отчета файлами.

3. Выполнить команду

mvn allure:serve

После этого должен сформироваться сам html–отчет, который автоматически откроется в браузере.

Сборка html-отчета на Jenkins

Для сборки html–отчета на Jenkins необходимо установить Allure Plugin для вашего Jenkins (на данном этапе Jenkins должен быть уже развернут, настроен Job, прогоняющий ваши тесты, а результаты прогонов должны складываться в Workspace вашего Job).

Установка Allure plugin:

1. Перейти в Manage Jenkins → Manage Plugins
2. Перейти на вкладку Available
3. В поле filter набрать Allure plugin
4. Отметить чекбокс найденного Allure plugin и нажать Install without restart

Установка Allure Commandline:

Рассмотрим вариант установки Allure Commandline на машине, имеющей доступ к Maven central.
1. Перейти в Manage Jenkins → Global Tool Configuration
2. В блоке Allure Commandline нажать кнопку Add Allure Commandline
3. В поле Name вписать наименование Allure Commandline, например, Allure 2.6.0
4. Выбрать версию библиотеки, которая будет выкачана из Maven central, например, 2.6.0
5. Нажать кнопку Save

Конфигурация Job для сборки отчета:

1. Перейти в конфигурацию своей Job
2. В разделе Post-build Actions нажать кнопку Add post-build action → Allure Report
3. В поле Results указать путь до директории «allure-results» с исходными для построения отчета файлами: target/allure-results
4. Нажать кнопку Save

После выполнения всех настроек запустите свою джобу. После ее выполнения в блоке Build History напротив номера сборки появится значок Allure, кликнув по которому, вы увидите сформированный html-отчет:

Краткий обзор страниц отчета

1. Страница «Overview».

Overview является главной страницей Allure-отчета. Она имеет блочную структуру. Рассмотрим блоки, присутствующие на главной странице по умолчанию:

1. Блок ALLURE REPORT. Включает в себя дату и время прохождения теста, общее количество прогнанных кейсов, а также диаграмму с указанием процента и количества успешных, упавших и сломавшихся в процессе выполнения тестов.

2. Блок TREND. Показывает тренд прохождения тестов от сборки к сборке.

3. Блок SUITES. Показывает распределение результатов тестов по тестовым наборам. В данном случае тесты были распределены по пакетам.

4. Блок ENVIRONMENT. Показывает тестовое окружение, на котором запускались тесты. Данная информация попадает в отчет из специального файла, расположенного в проекте.

5. Блок CATEGORIES. Показывает распределение неуспешно прошедших тестов по видам дефектов.

6. Блок FEATURES BY STORIES. Показывает распределение тестов по функционалу, который они проверяют.

7. Блок EXECUTORS. Показывает исполнителя текущей сборки. Если выполнение производилось на инструменте CI (например, на Jenkins), то будет предоставлена информация о джобе и номере сборки.

2. Страница «Categories».

Данная страница предоставляет информацио о распределении дефектов по их видам.

3. Страница «Suites».

На данной странице представляется стандартное распределение выполнявшихся тестов по тестовым наборам или классам, в которых находятся тестовые методы.

4. Страница «Graphs».

На этой странице можно получить информацию о тестовом прогоне в графическом виде: статус прогона, распределение тестов по их критичности, длительности прохождения, перезапусках, категориях дефектах и так далее.

5. Страница «Timeline».

В случае запуска тестов в параллельном режиме:

Данная страница визуализирует временные рамки прохождения каждого теста.

6. Страница «Behaviors».

На данной странице тесты сгруппированы по проверяемому функционалу (Epic, Feature, Story).

7. Страница «Packages».

На этой странице тесты сгруппированы по пакетам, в которых лежат тестовые классы.

Заключение

Подводя итоги первой статьи, отметим, что мы познакомились с основными возможностями Allure, рассмотрели его подключение к некоторым тестовым фреймворкам, узнали, как собрать отчет по результатам тестового прогона, а также провели обзор всех типовых страниц отчета.

Примечание
Пример кода представлен по ссылке.

allure
allure first steps
allure framework
allure 2.0
allure 2
allure jenkins plugin

Блог компании Сбер
Программирование
Тестирование веб-сервисов
Профессиональная литература
Учебный процесс в IT

Читать:

Как добавить плагины на сервер майнкрафт