← Каталог

· AI Engineer Code 2026

Твой coding агент не умеет отменять свои ошибки

Your Coding Agent Can't Undo Its Own Mistakes - Tanmay Sah & Dolly Sah

Успешное выполнение задачи, по данным авторов, не гарантирует, что агент сможет откатить свои изменения, поэтому откат нужно проектировать заранее.

  • Успех не равен восстановлению — по словам авторов, из 2880 парных испытаний агенты восстанавливались лишь в 47% прогонов, которые до сбоя завершались успешно. Повторный запрос после потерянного ответа создавал дубликаты в 54% случаев.
  • Фаза сбоя задаёт стратегию — до мутации безопасен повтор, в процессе нужна проверка состояния, после коммита повтор ведёт к дубликатам, поэтому нужны компенсация или эскалация.
  • Исходное состояние фиксируется заранее — Evo-undo сохраняет снимок состояния перед изменением, например значение таймаута 30, откатывает мутацию и проверяет результат независимым верификатором.
  • Самомодификация ломает откат — из 478 улучшений способностей 197 имели дефекты восстановления. По данным авторов, инструкции в промпте не помогли ни в одном случае, а расширение языка отката вернуло 180 из 197, и число допустимых улучшений выросло с 281 до 461 из 600.

Кому полезно: тем, кто даёт агентам вызывать внешние API, менять свою конфигурацию или деплоить в продакшен.

Статья по теме

Главы

Ещё доклады: Tanmay Sah

Страница спикера →

Похожие доклады