· AI Engineer World's Fair 2026
Агенты создают агентов
Agents Building Agents
Coding агент может итеративно улучшать production-агента, если дать ему golden dataset, scorers и правило отката при регрессии.
- Цикл с откатом — каждая гипотеза проверяется отдельной веткой: если метрики упали, изменение откатывается, если выросли, от этой ветки идёт следующая итерация. По словам спикера, на наивном демо-агенте без инструментов точность на evals выросла с 18% до 83% примерно за 10 итераций.
- Failure modes из живых данных — негативные отзывы пользователей и разметка экспертов кластеризуются в классы ошибок, и каждый класс становится spec и записью в golden dataset. Спикер советует пересобирать такой отчёт примерно раз в спринт.
- Запрет на подгонку — агенту нельзя менять golden dataset и scorers, иначе он начнёт подгонять тесты под себя. По словам спикера, на реальном агенте в продакшене точность выросла с 67% до 86% без такой подгонки.
Кому полезно: тем, кто поддерживает агента в продакшене и хочет улучшать его по отзывам пользователей и evals, а не подбирать промпты вручную.
Статья по теме
Главы
Похожие доклады
Ломай, пока не заработает: создаём самоулучшающийся стек для AI-агентов
AI Engineer World's Fair 2025
Близко по содержанию
Агенты не ходят на стендапы: инженерная команда после инженеров
AI Engineer Europe 2026
Близко по содержанию
Как мы создали агента, который сам себя улучшает
AI Engineer World's Fair 2026
Близко по содержанию
Создание агентов, которые пишут собственный код
AI Engineer Summit 2025
Близко по содержанию

