· AI Engineer World's Fair 2026
Как непрерывно улучшать agents с Langfuse
Continuously Improving Agents with Langfuse — Annabell Schäfer & Lotte Verheyden, ClickHouse
Агент с исправным статусом системы может отвечать неверно, поэтому мониторинг трейсов с оценщиками стоит настраивать раньше офлайн-экспериментов.
- LLM-судья на несогласие пользователя — оценщику передаются история сообщений и последний вопрос пользователя через явные маппинги полей, иначе он получает не тот контекст.
- Код-проверка на капс — Python-оценщик помечает сообщения заглавными буквами как сигнал раздражения. Так же можно ловить нежелательные слова или неверное написание названия бренда.
- Проверка выхода за рамки — оценщик сравнивает запрос пользователя с system prompt. Результат показывает, нужно ли расширять скоуп агента или объяснить пользователям, что он умеет.
- Разбор трейсов через агента для кодинга — Langfuse CLI и skill помогли найти слабый поиск по базе знаний, задержки и траты на ретраи, пробелы в покрытии оценками и проблему с версией промпта. По словам авторов, исправление в записи не проверено.
Кому полезно: тем, кто уже выводит агента в продакшен и ещё не настроил оценку трейсов.
Статья по теме
На какие вопросы отвечает доклад
Как настроить LLM-as-a-judge evaluator, который ловит недовольство пользователя агентом?
Оценщик получает историю сообщений трейса через JSON path и последнее сообщение пользователя, а модель по этому контексту ставит флаг несогласия. Пример: пользователь пишет, что кнопки нет, и трейс помечается как user disagreement.
▶ 16:03Оценщик разногласий и сопоставление сообщенийКак поймать раздражение пользователя в чат-агенте без ручной разметки?
Code-based evaluator на Python проверяет сообщения пользователя на написание заглавными буквами и ставит булев балл. Так же можно искать ругательства или неправильное написание брендов, если это важно для продукта.
▶ 21:07Оценка кода для сообщений ЗАГЛАВНЫМИ БУКВАМИКак находить запросы пользователей, которые выходят за рамки задач агента?
Evaluator сравнивает системный промпт и последнее сообщение пользователя и отмечает запросы вне заявленной области. По результатам решают, расширять ли область агента или яснее объяснить пользователям, что он умеет.
▶ 27:39Обнаружение запросов вне области компетенцииКакие данные нужно записывать в трейсы агента, чтобы по ним можно было оценивать качество?
Трейс строится из вложенных шагов: LLM-вызовов и tool calls с входами и выходами. Для LLM-вызова полезны длительность, стоимость, число токенов, модель и версия промпта, а для поиска в вебе, например, сам поисковый запрос.
▶ 5:21Полезные трассировки и сигналы мониторингаКак использовать coding агента для поиска скрытых сбоев агента в продакшен-трейсах?
Langfuse CLI и skill дают coding агенту доступ к трейсам, оценкам и датасетам. По словам авторов, агент нашёл слабый поиск по справочной библиотеке, задержки и расходы из-за повторных вызовов инструментов, пробелы в покрытии evaluators и проблему с версией промпта.
▶ 35:14Исследование кодинговым агентом и предлагаемые измененияКак связать онлайн-мониторинг агента с офлайн-экспериментами перед выкаткой изменений?
Продакшен-трейсы, которые выглядят проблемными, превращаются в датасет, на котором запускают эксперименты и оценивают результаты. Изменение выкатывают, только если качество выросло и регрессий нет, а проверку можно встроить в CI/CD.
▶ 40:04Поддержка датасетов и замыкание цикла
Главы
Ещё доклады: Annabell Schäfer
Страница спикера →Похожие доклады
Самоулучшающийся стек OSS-агентов
AI Engineer World's Fair 2026
Близко по содержанию
От вайбов до продакшена: основы оценки и запуска работающих AI-агентов
AI Engineer World's Fair 2026
Близко по содержанию
Как agents совершенствуются, пока вы спите
Близко по содержанию


