Научите своего агента доказывать, что задача выполнена
Teach Your Agent to Prove It's Done — Nick Nisi & Zack Proser, WorkOS
Агент должен доказывать, что задача выполнена, а для этого приложению нужен CLI с детерминированными проверками, которые он запускает сам.
- Проверка состояния, а не интерфейса — сообщение об успехе ничего не доказывает: в демо email появлялся на странице, но после перезагрузки пропадал, потому что не сохранялся. Проверка хранилища поймала эту ошибку до того, как её увидел человек.
- Детерминированная команда `snack prove` — Playwright-сценарий проходит весь путь пользователя и запускается при каждом изменении как регрессионный тест. Вывод агент получает в виде текста и по нему исправляет код.
- Модель-судья для нечёткого совпадения — быстрая модель сверяет результат с ожиданием, когда текст на экране не совпадает дословно. По словам авторов, скриншот сам по себе не доказательство, если путь к нужному состоянию не был пройден.
- Квитанции и базовый набор eval — сохраняйте результаты прогонов с привязкой к версии кода, потому что старые результаты могут относиться к коду, которого уже нет. Набор проверок для своего приложения авторы считают важнее общих инструментов.
Кому полезно: тем, кто запускает несколько кодинговых агентов одновременно и хочет проверять их работу без чтения каждого PR.
Статья по теме
Главы
Ещё доклады: Nick Nisi
Все 6 докладов →Ещё доклады: Zack Proser
Все 5 докладов →Похожие доклады
В коде есть баги. У Lean4 есть доказательства: формальная верификация для инженеров
AI Engineer World's Fair 2026
Близко по содержанию
Хватит промптить
AI Engineer World's Fair 2026
Близко по содержанию
Поймайте баги, которые пропускает code review
Killian Carlsen-Phelan, Taylor Luttrell-Williams
Близко по содержанию


