CheckcraftРегрессионное тестирование и сравнение ответов API
После обновления API ответ изменился. Нужно понять, сломалась ли сумма заказа или просто обновились время и идентификатор запроса. Сравним два результата одной операции и сохраним правила для следующего релиза.
Подготовить сопоставимые прогоны
Для сравнения двух версий API сохраните сценарий, строки набора данных и ожидаемые значения. Запустите его на версии v1, затем повторите на v2 с теми же условиями. В истории Checkcraft Pro результаты связываются со сценарием и строкой данных. Два независимо созданных сценария могут отображаться как добавленный и удалённый, поэтому сохраняйте их идентичность.
Зафиксировать ответ до обновления
Ниже учебный JSON, а не ответ чужой рабочей системы. По условию total равен сумме amount двух позиций. До релиза это 2000. Сохраните базовый прогон и метку версии. Если меняются исходные данные, скидка или валюта, сначала согласуйте новый ожидаемый результат.
{"orderId":"ORD-1042","requestId":"run-a","timestamp":"2026-10-10T09:00:00Z","items":[{"amount":1200},{"amount":800}],"total":2000}Сравнить JSON ответ после релиза
Во втором учебном ответе изменились requestId, timestamp и total. Новые время и идентификатор допустимы по условиям этого примера. Изменение суммы с 2000 на 2500 при прежних позициях требует разбора. Само отличие от старой версии ещё не доказывает баг, поэтому сверяйте его с требованием.
{"orderId":"ORD-1042","requestId":"run-b","timestamp":"2026-10-11T09:00:00Z","items":[{"amount":1200},{"amount":800}],"total":2500}Исключить requestId и timestamp из сравнения
В Pro откройте «История и сравнение запусков» и выберите два прогона одного сценария. В поле «Не сравнивать» введите пути ниже через запятую, затем нажмите «Сравнить». Эти исключения относятся к сравнению JSON-значений. Они не отменяют сохранённые проверки и не скрывают ошибочный статус прогона. Если идентификатор или время сами входят в требование, оставьте для них отдельные правила.
$.requestId, $.timestampПрочитать изменившееся поле
При сравнении приведённых ответов с указанными исключениями остаётся различие $.total со значениями 2000 и 2500. Сопоставьте его с правилом суммы и сохраните результат через «Экспорт HTML». В описании бага укажите версии API, исходные данные и ожидаемое значение. Встроенное сравнение истории требует Pro. Обычный повтор сохранённого тест-кейса и просмотр результата можно начать на учебных файлах ниже.
Учесть порядок массива и формат ответа
В JSON объекты сравниваются по полям, а массивы по индексам. Перестановка элементов массива может дать различия даже при прежнем составе. Сначала определите, важен ли порядок по контракту. Автоматическое сопоставление элементов по бизнес-ключу здесь не обещается. XML и другой текст сравниваются целиком, исключения JSON-путей к ним не применяются.
Повторить проверку после исправления
Запустите те же правила на исправленной версии. Изменение ожидаемых 2000 на 2500 ради зелёного результата не подтверждает исправление. Если запрос создаёт заказ или платёж, заранее подготовьте тестовые данные и порядок их очистки. Сравнение ответов не отменяет побочных эффектов повторного POST.
Сохранить регрессионный набор для команды
Postman, тесты в коде и скрипт от AI тоже могут сравнивать ответы. Выбирайте подход, который команда сможет повторить на своих данных и сверить с логами операции. В Checkcraft Pro общие блоки правил имеют версии, обновление тестов принимается отдельно. Для пайплайна экспортируйте набор через CI/CD, а расписание задавайте в своей CI-системе.
Повторить на готовых данных
Быстрый опыт ниже выполняется в редакторе тест-кейса. На снимках показан подробный отчёт из HTTP-прогона или Log-прогона. Для HTTP-прогона верните учебный JSON или XML из локального мока, выполните импортированный тест-кейс и откройте «Анализ результатов», «Детально», «Со структурами». Для Log-прогона загрузите учебные данные в источник логов, включите «Без запроса», выполните проверку и откройте «Детально», «Подробно».
Это существующие учебные данные и полученные при подготовке примеров текстовые отчёты. Они не являются кейсом внедрения у клиента.
Начните с примера по ссылкам и сопоставьте результат с требованием своей проверки.