← Каталог

· AI Engineer World's Fair 2026

Как evals и промпты влияют на поведение агентов

How Evals and Prompts Shape Agent Behavior — Preetika Bhateja & Daniel Bump, YouTube Ads

Надёжность агента растёт, когда evals ищут повторяющиеся паттерны ошибок в трассах рассуждений.

  • Инструменты раньше evals — сначала доведите набор инструментов, удобных для LLM, а затем добавьте агента-критика с циклом исправлений для самокоррекции.
  • Ручная оценка на старте — на раннем этапе разбор выходов глазами быстрее находит провалы и позволяет радикально менять архитектуру. Внешних разметчиков подключайте позже: по словам спикеров, раннее масштабирование оценки сильно раскачивает метрику, пока модель меняется.
  • Объяснения вместо оценки — просите разметчиков объяснять, почему ответ прошёл или не прошёл, и мониторьте, как часто оценки LLM-судьи расходятся с экспертами на выборке.
  • Трассы важнее процента — агент удалял дисклеймер, хотя ему несколько раз запрещали это, и такую ошибку нашли только в трассе, а не по общей доле успешных ответов.

Статья по теме

Главы

Похожие доклады