CheckcraftОтчёт о тестировании API в HTML, TXT и JUnit
Коллега видит сообщение «тест упал», но не понимает, какие данные расходятся. Отчёт должен сохранять правило и результат, который можно воспроизвести.
Прочитать результат правила
Учебный тест ожидает status OK, а ошибочный ответ содержит ERROR. В текстовых отчётах ниже сравните успешный и неуспешный прогон. Важны ожидаемое и фактическое значения, а не только общий цвет результата.
Сохранить отчёт из приложения
После HTTP-прогона откройте анализ результатов и сохраните отчёт в HTML или TXT. Название действия зависит от окна прогона. Отчёт сравнения истории Pro сохраняется отдельно через «Экспорт HTML». Перед передачей проверьте файл на персональные данные и секреты, включая тело ответа.
Получить JUnit XML в командной строке
Раннер поддерживает --report-junit, --report-json и --report-html. Для команды ниже checkcraft-cli должен быть установлен и доступен из оболочки. Также нужны действующий доступ раннера и bundle, экспортированный через панель CI/CD. Команда сама не создаёт тест-кейсы.
checkcraft-cli --bundle checks.ccbundle.json --report-junit report-junit.xml --report-json report.json --report-html report.htmlСохранить артефакты при ошибке
В CI включите публикацию отчётов для неуспешных заданий. JUnit XML используется для представления тестов в CI, HTML удобно читать отдельно, JSON подходит для обработки. Сохраняйте ненулевой код завершения раннера при ошибке. Готовая конфигурация есть в руководстве по Jenkins и GitLab CI.
Повторить на готовых данных
Быстрый опыт ниже выполняется в редакторе тест-кейса. На снимках показан подробный отчёт из HTTP-прогона или Log-прогона. Для HTTP-прогона верните учебный JSON или XML из локального мока, выполните импортированный тест-кейс и откройте «Анализ результатов», «Детально», «Со структурами». Для Log-прогона загрузите учебные данные в источник логов, включите «Без запроса», выполните проверку и откройте «Детально», «Подробно».
Это существующие учебные данные и полученные при подготовке примеров текстовые отчёты. Они не являются кейсом внедрения у клиента.
Начните с примера по ссылкам и сопоставьте результат с требованием своей проверки.