· AI Engineer World's Fair 2025
Ломай, пока не заработает: создаём самоулучшающийся стек для AI-агентов
Break It 'Til You Make It: Building the Self-Improving Stack for AI Agents
Агентов стоит оценивать непрерывным стеком: оценки вызовов инструментов, траекторий и многоходовых сессий, а LLM-as-a-judge промпты для оценок нужно улучшать так же, как промпты самого агента.
- Аргументы инструмента — проверяйте и выбор инструмента, и передаваемые аргументы: в собственном copilot Arize инструмент был выбран верно, но аргументы не соответствовали контексту диалога, и из-за этого ответы на поисковые вопросы выходили правильными примерно в половине случаев.
- Порядок вызовов — оценка траектории по всей трассировке показывает, что агент может вызывать правильные инструменты в неверном порядке. По словам спикера, это тратит токены и ведёт к неверным ответам.
- Многоходовые сессии — проверяйте диалог целиком: повторяет ли агент одни и те же вопросы и учитывает ли контекст предыдущих ходов.
- Оценки тоже ошибаются — неверная метка может идти от судьи, а не от агента. Спикер советует собирать golden dataset и итеративно улучшать промпты судьи.
Кому полезно: тем, кто выводит агентов в продакшен и хочет заменить проверку на паре примеров систематической оценкой. Доклад во многом презентация продуктов Arize, но инженерная часть о выборе уровней оценки самостоятельна.
Статья по теме
Главы
Ещё доклады: Aparna Dhinakaran
Все 5 докладов →Чем теперь занимается AI-инженер?
Неожиданная эффективность обучения промптам
AI Engineer Code 2025
Будущее evals: от LLM-as-a-judge к агенту-судье
AI Engineer World's Fair 2026
Похожие доклады
Как обеспечить надежную работу AI-агентов: фреймворки оценки для масштабирования
AI Engineer Summit 2025
Тот же спикер: Aparna Dhinakaran
Не доверяйте AI agents: тестируйте их как учёный
Близко по содержанию
Создание самообучающихся циклов для агента
AI Engineer World's Fair 2026
Близко по содержанию

