К содержанию
CheckcraftСкачать
Практический сценарий

ИИ написал тесты: 7 признаков, что они ничего не проверяют

Checkcraft — программа для проверки API и логов без кода, есть бесплатная версия. Скачать без регистрации →

Агент написал двадцать тестов, все зелёные. Это не значит, что они что-то проверяют: зелёный тест, который не может упасть, хуже отсутствия теста — он создаёт уверенность. Семь признаков пустого теста и способ проверить его за пять минут.

Checkcraft ·

Поможем с первой проверкой →

Семь признаков пустого теста

1. Проверяется только статус 200. 2. Ожидаемое значение скопировано из фактического ответа, а не из требований. 3. Проверяется, что поле есть, а не что в нём правильное значение. 4. Ошибку глотает try/except или проверка стоит внутри условия, которое не выполняется. 5. Тест проверяет мок, а не настоящий сервис. 6. После падения агент «починил» тест, поменяв ожидание. 7. Тест ни разу не падал — его не запускали на неверных данных.

Проверка за пять минут

Возьмите любой тест и подсуньте ему заведомо неверный ответ: другую сумму, лишнее поле, неправильный статус заказа. Если тест остался зелёным, он ничего не проверяет. Для такой проверки подходит учебный API, где все ответы 200, а ошибки спрятаны нарочно: правильный тест на сумму заказа 5001 упадёт, потому что 3170 − 300 = 2870, а в ответе 2970.

# Пустой тест: пройдёт на любом ответе со статусом 200
def test_order():
    r = requests.get(URL)
    assert r.status_code == 200

# Тест, который что-то проверяет: сумма по правилу из требований
def test_order_total():
    order = requests.get(URL).json()
    assert order["total"] == order["subtotal"] - order["discount"]

# Проверьте на учебном заказе: второй тест упадёт (2970 вместо 2870)
URL = "https://checkcraft.ru/practice-api/v1/orders/5001.json"

Как не допускать пустых тестов

Ожидаемые значения берите из требований и записывайте до того, как увидели ответ. Каждый новый тест хотя бы раз запустите на неверных данных. И разделите роли: агент пишет проверки, а выполняет их программа по сохранённым правилам. Тогда агенту некуда «подогнать» ожидание, а каждое изменение видно. Так устроена связка Checkcraft с ИИ-агентами через MCP.

Следующий шаг

Повторите это на своём API

Checkcraft — настольная программа: сохраняет проверки ответа API без кода и показывает, что не совпало. Начните с учебного примера, затем подставьте свои обезличенные данные. Free работает на Windows и Linux без ограничения срока.

Скачать FreeКак получить и запустить приложение

Скачивание без регистрации и почты, архив готов за пару минут. Состав бесплатной версии опубликован на странице тарифов.

Начните с примера по ссылкам и сопоставьте результат с требованием своей проверки.

Можно спросить человека

Поможем с первой проверкой

Расскажите, что хотите проверить или на каком шаге остановились. Поможем запустить Checkcraft, подобрать пример и разобраться с первым прогоном. Можно написать до скачивания.

Telegram-группа открытая: не публикуйте пароли, токены и конфиденциальные рабочие данные. Для первого вопроса достаточно описания задачи.

Можно написать напрямую support@checkcraft.ru

Без регистрации. Ответим по email. Это обращение в поддержку, а не подписка на рассылку.