Проверки API из требований аналитика: как записать и проверить покрытие
Checkcraft — программа для проверки API и логов без кода, есть бесплатная версия. Скачать без регистрации →
Требование «заказ создаётся корректно» проверить нельзя. Требование «ответ 201, total равен сумме позиций» — можно. Разница в том, записано ли ожидаемое значение.
Что значит «проверка из требования»
Проверка отвечает на вопрос «да или нет». Поэтому из каждого требования нужно получить три вещи: что смотреть (поле ответа, код, запись в логе), как сравнивать (равно, больше, не пусто, сумма) и с чем сравнивать. Третье важнее всего: ожидаемое значение берётся из требования, формулы или справочника. Если подсмотреть его в текущем ответе API, проверка подтвердит то, что сделано, а не то, что заказано.
Как записать требование, чтобы его можно было проверить
Называйте поле так, как оно приходит в ответе, латиницей: total, а не «итоговая сумма». Пишите, как сравнивать: «равно», «не пустое», «не больше», «равно сумме». Указывайте значение или формулу. Слова «корректно», «правильно», «как обычно» проверку не задают: за ними прячется ожидание, которое знает только автор требования. Спросите его и запишите это ожидание.
Трудно проверить Можно проверить
---------------------------------------------------------------------------
«Заказ создаётся корректно» «Ответ 201. Поле id не пустое»
«Сумма считается правильно» «Поле total равно сумме price*qty
всех позиций items»
«Статус после оплаты верный» «Поле status равно PAID»
«Ошибок нет» «В логах сервиса orders не должно
быть строк уровня ERROR»
«Валюта рублёвая» «Поле currency равно RUB»Что проверять кроме удачного ответа
Удачный путь — меньшая часть требований. Для каждого обязательного поля проверьте ответ без него, для каждого ограничения — граничное значение и значение за границей. Если требование не говорит, какой код ошибки ожидать, не выбирайте его сами: уточните у аналитика. Отдельно запишите то, что происходит внутри: запись в журнал, событие, отсутствие ошибок в логах по traceId запроса. Ответ 200 при ошибке внутри сервиса — частая причина «всё зелёное, а не работает».
Покрытие: что проверено, а что нет
Список проверок мало что говорит, пока не видно, какое требование чем проверено. Покрытие — это таблица «требование → проверки». Требование без проверок — пробел, его видно сразу, и решение о нём принимает человек: уточнить, проверить вручную или отложить. Пример ниже — настоящий результат разбора таких требований в Checkcraft: четыре превращены в проверки, одно честно не разобрано, потому что в нём нет ни поля, ни значения.
Требования (POST /api/orders):
Ответ 201. Поле status равно PAID. Поле total равно сумме price*qty
всех позиций items. В логах сервиса orders не должно быть строк уровня
ERROR. Скидка должна применяться по правилам акции.
Покрытие в Checkcraft:
✓ Ответ 201 → код ответа 201
✓ Поле status равно PAID → status = PAID
✓ Поле total равно сумме price*qty → total = сумма price×qty по items
всех позиций items
✓ В логах сервиса orders не должно → лог (сервис orders, уровень ERROR):
быть строк уровня ERROR записей быть не должно
✗ Не разобрано: Скидка должна применяться по правилам акции
Не нашёл поле: укажите имя поля латиницей, как в ответе.Как это сделать в Checkcraft
Вставьте требования текстом в окно Checkcraft AI вместе с запросом: METHOD и адрес, cURL или OpenAPI. Локальный ИИ работает на компьютере и не отправляет требования во внешние сервисы. Через минуту справа появятся проверки и покрытие: «✓» — требование превращено в проверки, «✗ Не разобрано» — пробел с подсказкой. Проверки можно поправить без кода, затем запустить одной кнопкой вручную или в CI и получить отчёт с ответом API, логами и расхождениями. Решает человек: ИИ набрасывает, а принимает проверки тот, кто отвечает за результат.
Ограничения
Разбор понимает требования, где есть поле и условие: «равно», «не пустое», «не больше», «равно сумме», «только A или B», «если поле = значение, то …», «в логах сервиса нет ERROR». Требования в свободной форме лучше переписать по таблице выше. Разбор работает с русскими формулировками. Ни один инструмент не знает правил вашей акции или договора: если их нет в требованиях, их нет и в проверках.
Повторите это на своём API
Checkcraft — настольная программа: сохраняет проверки ответа API без кода и показывает, что не совпало. Начните с учебного примера, затем подставьте свои обезличенные данные. Free работает на Windows и Linux без ограничения срока.
Скачать FreeКак получить и запустить приложениеСкачивание без регистрации и почты, архив готов за пару минут. Состав бесплатной версии опубликован на странице тарифов.
Начните с примера по ссылкам и сопоставьте результат с требованием своей проверки.