← Каталог

· AI Engineer Code 2025

Ценные уроки создания эффективных AI coding agents

Hard-Won Lessons from Building Effective AI Coding Agents

Сильные модели, по мнению автора, всё меньше нуждаются в сложной обвязке агента, а реальный прогресс даёт превращение реальных задач разработки в RL-среды с проверкой результата.

  • Минимальная обвязка против сложной — Terminus, агент без RAG, индексации и поисковых графов, по словам автора, набрал на Terminal-Bench больше большинства связок «модель плюс агент». Gemini 3.0 показала там сильный результат сразу после релиза, без специальной обвязки.
  • Бенчмарки и RL-среды двигают модели — разница между бенчмарком и RL-средой в том, что результат идёт не в таблицу лидеров, а в обновление весов модели. По мнению автора, скачки в рассуждениях и надёжности агентов связаны с такими средами, а не с тюнингом агента.
  • Фабрика RL-сред — параллельные субагенты отсеивают задачи без стабильного начала и конца, а также тривиальные задачи вроде сборки приложения с нуля. Затем задача воспроизводится локально, упаковывается в Docker, а git удаляется, чтобы агент не смог подсмотреть решение.
  • Проверка по результату, а не по пути — верификатор должен фиксировать итог, как свисток на чайнике, а не параметры эталонного решения вроде положения ручки горелки. По словам автора, сборка одной среды сократилась с 16 часов до менее 20 минут.

Кому полезно: тем, кто строит кодинговых агентов и хочет проверять их на задачах из реальных репозиториев. Доклад отчасти презентация ClineBench, открытого набора таких сред, который команда анонсировала на выступлении.

Статья по теме

Главы

Похожие доклады