· AI Engineer World's Fair 2026
Как evals и промпты влияют на поведение агентов
How Evals and Prompts Shape Agent Behavior — Preetika Bhateja & Daniel Bump, YouTube Ads
Надёжность агента растёт, когда evals ищут повторяющиеся паттерны ошибок в трассах рассуждений.
- Инструменты раньше evals — сначала доведите набор инструментов, удобных для LLM, а затем добавьте агента-критика с циклом исправлений для самокоррекции.
- Ручная оценка на старте — на раннем этапе разбор выходов глазами быстрее находит провалы и позволяет радикально менять архитектуру. Внешних разметчиков подключайте позже: по словам спикеров, раннее масштабирование оценки сильно раскачивает метрику, пока модель меняется.
- Объяснения вместо оценки — просите разметчиков объяснять, почему ответ прошёл или не прошёл, и мониторьте, как часто оценки LLM-судьи расходятся с экспертами на выборке.
- Трассы важнее процента — агент удалял дисклеймер, хотя ему несколько раз запрещали это, и такую ошибку нашли только в трассе, а не по общей доле успешных ответов.
Статья по теме
Главы
Похожие доклады
Почему сложно создавать платформы для evals
AI Engineer Europe 2026
Близко по содержанию
Создаём настоящих агентов: практические evals для агентных приложений
AI Engineer Europe 2026
Близко по содержанию
Как написать свой первый AI eval
Близко по содержанию
Основы evals
AI Engineer World's Fair 2025
Близко по содержанию


