← Каталог

· AI Engineer World's Fair 2026

Цикл обратной связи — это продукт

The Loop Is the Product — Roland Gavrilescu, Introspection

Цикл агента становится продуктом, когда сигналы и верификаторы калибруются людьми, а уроки из выполнения сохраняются как версионируемые evals и skills.

  • Рецепт вместо разрозненных настроек — выводы из трасс (judges, evals, skills, правила поведения) спикер предлагает хранить в git-репозитории как версионируемый рецепт. По его словам, рецепт не привязан к провайдеру моделей и отражает решения, которые стоят за агентом.
  • Поиск нежелательного поведения в трассах — на примере агента для подбора кадров агент часто писал крупным технологическим компаниям вместо малоизвестных кандидатов из GitHub. Такие паттерны ищут кластеризацией трасс по повторяющимся жалобам, а агент пишет judge, который человек только калибрует.
  • Проверка на пользователях перед продвижением — новую версию рецепта выпускают после A/B-теста с реальными пользователями, с адаптивным распределением трафика (multi-armed bandit). Offline evals, по мнению спикера, проверяют вкус автора, но не вкус пользователей.
  • Метрика valued work per watt — сначала измеряется ценность результата, а потом стоимость её получения. Снижать расходы имеет смысл после того, как система вышла на нужный уровень качества в продакшене.

Кому полезно: тем, кто строит агентов с долгим горизонтом и хочет улучшать их систематически, по трассам из продакшена.

Статья по теме

Главы

Похожие доклады