ИИ написал тесты: 7 признаков, что они ничего не проверяют
Checkcraft — программа для проверки API и логов без кода, есть бесплатная версия. Скачать без регистрации →
Агент написал двадцать тестов, все зелёные. Это не значит, что они что-то проверяют: зелёный тест, который не может упасть, хуже отсутствия теста — он создаёт уверенность. Семь признаков пустого теста и способ проверить его за пять минут.
Семь признаков пустого теста
1. Проверяется только статус 200. 2. Ожидаемое значение скопировано из фактического ответа, а не из требований. 3. Проверяется, что поле есть, а не что в нём правильное значение. 4. Ошибку глотает try/except или проверка стоит внутри условия, которое не выполняется. 5. Тест проверяет мок, а не настоящий сервис. 6. После падения агент «починил» тест, поменяв ожидание. 7. Тест ни разу не падал — его не запускали на неверных данных.
Проверка за пять минут
Возьмите любой тест и подсуньте ему заведомо неверный ответ: другую сумму, лишнее поле, неправильный статус заказа. Если тест остался зелёным, он ничего не проверяет. Для такой проверки подходит учебный API, где все ответы 200, а ошибки спрятаны нарочно: правильный тест на сумму заказа 5001 упадёт, потому что 3170 − 300 = 2870, а в ответе 2970.
# Пустой тест: пройдёт на любом ответе со статусом 200
def test_order():
r = requests.get(URL)
assert r.status_code == 200
# Тест, который что-то проверяет: сумма по правилу из требований
def test_order_total():
order = requests.get(URL).json()
assert order["total"] == order["subtotal"] - order["discount"]
# Проверьте на учебном заказе: второй тест упадёт (2970 вместо 2870)
URL = "https://checkcraft.ru/practice-api/v1/orders/5001.json"Как не допускать пустых тестов
Ожидаемые значения берите из требований и записывайте до того, как увидели ответ. Каждый новый тест хотя бы раз запустите на неверных данных. И разделите роли: агент пишет проверки, а выполняет их программа по сохранённым правилам. Тогда агенту некуда «подогнать» ожидание, а каждое изменение видно. Так устроена связка Checkcraft с ИИ-агентами через MCP.
Повторите это на своём API
Checkcraft — настольная программа: сохраняет проверки ответа API без кода и показывает, что не совпало. Начните с учебного примера, затем подставьте свои обезличенные данные. Free работает на Windows и Linux без ограничения срока.
Скачать FreeКак получить и запустить приложениеСкачивание без регистрации и почты, архив готов за пару минут. Состав бесплатной версии опубликован на странице тарифов.
Начните с примера по ссылкам и сопоставьте результат с требованием своей проверки.