Ценные уроки создания эффективных AI coding agents
Hard-Won Lessons from Building Effective AI Coding Agents
Сильные модели, по мнению автора, всё меньше нуждаются в сложной обвязке агента, а реальный прогресс даёт превращение реальных задач разработки в RL-среды с проверкой результата.
- Минимальная обвязка против сложной — Terminus, агент без RAG, индексации и поисковых графов, по словам автора, набрал на Terminal-Bench больше большинства связок «модель плюс агент». Gemini 3.0 показала там сильный результат сразу после релиза, без специальной обвязки.
- Бенчмарки и RL-среды двигают модели — разница между бенчмарком и RL-средой в том, что результат идёт не в таблицу лидеров, а в обновление весов модели. По мнению автора, скачки в рассуждениях и надёжности агентов связаны с такими средами, а не с тюнингом агента.
- Фабрика RL-сред — параллельные субагенты отсеивают задачи без стабильного начала и конца, а также тривиальные задачи вроде сборки приложения с нуля. Затем задача воспроизводится локально, упаковывается в Docker, а git удаляется, чтобы агент не смог подсмотреть решение.
- Проверка по результату, а не по пути — верификатор должен фиксировать итог, как свисток на чайнике, а не параметры эталонного решения вроде положения ручки горелки. По словам автора, сборка одной среды сократилась с 16 часов до менее 20 минут.
Кому полезно: тем, кто строит кодинговых агентов и хочет проверять их на задачах из реальных репозиториев. Доклад отчасти презентация ClineBench, открытого набора таких сред, который команда анонсировала на выступлении.
Статья по теме
Главы
Похожие доклады
Таксономия моделей рассуждения следующего поколения
AI Engineer World's Fair 2025
Близко по содержанию
Бенчмарки: хорошие, плохие и ужасные
AI Engineer World's Fair 2026
Близко по содержанию
Масштабирование сред для RL
AI Engineer Code 2025
Близко по содержанию
Обучение агентных рассуждателей
AI Engineer World's Fair 2025
Близко по содержанию

