← Каталог

· AI Engineer World's Fair 2025

Ломай, пока не заработает: создаём самоулучшающийся стек для AI-агентов

Break It 'Til You Make It: Building the Self-Improving Stack for AI Agents

Агентов стоит оценивать непрерывным стеком: оценки вызовов инструментов, траекторий и многоходовых сессий, а LLM-as-a-judge промпты для оценок нужно улучшать так же, как промпты самого агента.

  • Аргументы инструмента — проверяйте и выбор инструмента, и передаваемые аргументы: в собственном copilot Arize инструмент был выбран верно, но аргументы не соответствовали контексту диалога, и из-за этого ответы на поисковые вопросы выходили правильными примерно в половине случаев.
  • Порядок вызовов — оценка траектории по всей трассировке показывает, что агент может вызывать правильные инструменты в неверном порядке. По словам спикера, это тратит токены и ведёт к неверным ответам.
  • Многоходовые сессии — проверяйте диалог целиком: повторяет ли агент одни и те же вопросы и учитывает ли контекст предыдущих ходов.
  • Оценки тоже ошибаются — неверная метка может идти от судьи, а не от агента. Спикер советует собирать golden dataset и итеративно улучшать промпты судьи.

Кому полезно: тем, кто выводит агентов в продакшен и хочет заменить проверку на паре примеров систематической оценкой. Доклад во многом презентация продуктов Arize, но инженерная часть о выборе уровней оценки самостоятельна.

Статья по теме

Главы

Ещё доклады: Aparna Dhinakaran

Все 5 докладов →

Похожие доклады