Как проверить код, который написала нейросеть

Нейросеть считает в уме, а проверка работает как калькулятор

Модель отвечает по вероятности: на один и тот же вопрос она может ответить по-разному, а её уверенность ничего не доказывает. Сохранённая проверка устроена как калькулятор: на тех же данных результат всегда тот же, и его можно повторить после каждой правки. Поэтому нейросеть удобна, чтобы написать код и подготовить проверку, а вывод о том, что всё работает, должна дать сама проверка.

Чек-лист: что проверить после вайбкодинга

Это места, где приложение выглядит рабочим, а результат неверный. Здесь нет статистики, это список для проверки:

• Код ответа 200, а внутри ошибка или статус «не оплачен». Разбор есть в примере с ответом 200.
• Число пришло строкой: "2" вместо 2.
• Итоговая сумма не совпадает с суммой позиций.
• В ответ попали лишние поля, например debug или внутренние идентификаторы.
• Нет обязательного поля, а приложение при этом не падает.
• Запрос без токена или с чужим токеном всё равно получает данные.
• Пустой список, ноль и очень длинная строка ломают ответ.
• Повторный запрос создаёт второй заказ.
• Ошибка раскрывает детали сервера.
• После правки перестало работать то, что работало раньше.

Как проверить за несколько минут

Попросите нейросеть подготовить файл проверки по готовому промпту и откройте его в Checkcraft. Затем запустите проверку дважды: на правильном ответе и на заведомо неверном. Если оба запуска зелёные, правило ничего не проверяет. Посмотреть, как это работает, можно и без установки, прямо в браузере.

Почему не хватит тестов, которые написала сама нейросеть

Такие тесты полезны, но их пишет тот же автор, что и код. Если модель неверно поняла задачу, тест подтвердит ту же ошибку. А когда тест падает, модель может поправить его, а не код. Поэтому ожидаемые значения берите из своего требования, а не из ответа программы. Подробнее о проверке черновиков в разделе про тесты из документации.

Чтобы файл проверки появлялся сам

Cursor и Claude Code читают правила проекта. Добавьте туда требование обновлять файл проверки после каждой правки API. Готовый текст есть на странице с правилами для Cursor и Claude Code.