· AI Engineer World's Fair 2026
Цикл обратной связи — это продукт
The Loop Is the Product — Roland Gavrilescu, Introspection
Цикл агента становится продуктом, когда сигналы и верификаторы калибруются людьми, а уроки из выполнения сохраняются как версионируемые evals и skills.
- Рецепт вместо разрозненных настроек — выводы из трасс (judges, evals, skills, правила поведения) спикер предлагает хранить в git-репозитории как версионируемый рецепт. По его словам, рецепт не привязан к провайдеру моделей и отражает решения, которые стоят за агентом.
- Поиск нежелательного поведения в трассах — на примере агента для подбора кадров агент часто писал крупным технологическим компаниям вместо малоизвестных кандидатов из GitHub. Такие паттерны ищут кластеризацией трасс по повторяющимся жалобам, а агент пишет judge, который человек только калибрует.
- Проверка на пользователях перед продвижением — новую версию рецепта выпускают после A/B-теста с реальными пользователями, с адаптивным распределением трафика (multi-armed bandit). Offline evals, по мнению спикера, проверяют вкус автора, но не вкус пользователей.
- Метрика valued work per watt — сначала измеряется ценность результата, а потом стоимость её получения. Снижать расходы имеет смысл после того, как система вышла на нужный уровень качества в продакшене.
Кому полезно: тем, кто строит агентов с долгим горизонтом и хочет улучшать их систематически, по трассам из продакшена.
Статья по теме
Главы
Похожие доклады
Генерация обходится дёшево, ревью — дорого: как перестать выпускать AI-мусор
AI Engineer World's Fair 2026
Близко по содержанию
От вайбов до продакшена: основы оценки и запуска работающих AI-агентов
AI Engineer World's Fair 2026
Близко по содержанию
Пять уроков об evals, усвоенных на собственном опыте
AI Engineer World's Fair 2025
Близко по содержанию
Ralph Loops: простые циклы с AI, которые доводят задачи до релиза
AI Engineer Europe 2026
Близко по содержанию

