← Каталог

· AI Engineer World's Fair 2026

Как непрерывно улучшать agents с Langfuse

Continuously Improving Agents with Langfuse — Annabell Schäfer & Lotte Verheyden, ClickHouse

Агент с исправным статусом системы может отвечать неверно, поэтому мониторинг трейсов с оценщиками стоит настраивать раньше офлайн-экспериментов.

  • LLM-судья на несогласие пользователя — оценщику передаются история сообщений и последний вопрос пользователя через явные маппинги полей, иначе он получает не тот контекст.
  • Код-проверка на капс — Python-оценщик помечает сообщения заглавными буквами как сигнал раздражения. Так же можно ловить нежелательные слова или неверное написание названия бренда.
  • Проверка выхода за рамки — оценщик сравнивает запрос пользователя с system prompt. Результат показывает, нужно ли расширять скоуп агента или объяснить пользователям, что он умеет.
  • Разбор трейсов через агента для кодинга — Langfuse CLI и skill помогли найти слабый поиск по базе знаний, задержки и траты на ретраи, пробелы в покрытии оценками и проблему с версией промпта. По словам авторов, исправление в записи не проверено.

Кому полезно: тем, кто уже выводит агента в продакшен и ещё не настроил оценку трейсов.

Статья по теме

На какие вопросы отвечает доклад

  • Как настроить LLM-as-a-judge evaluator, который ловит недовольство пользователя агентом?

    Оценщик получает историю сообщений трейса через JSON path и последнее сообщение пользователя, а модель по этому контексту ставит флаг несогласия. Пример: пользователь пишет, что кнопки нет, и трейс помечается как user disagreement.

    ▶ 16:03Оценщик разногласий и сопоставление сообщений
  • Как поймать раздражение пользователя в чат-агенте без ручной разметки?

    Code-based evaluator на Python проверяет сообщения пользователя на написание заглавными буквами и ставит булев балл. Так же можно искать ругательства или неправильное написание брендов, если это важно для продукта.

    ▶ 21:07Оценка кода для сообщений ЗАГЛАВНЫМИ БУКВАМИ
  • Как находить запросы пользователей, которые выходят за рамки задач агента?

    Evaluator сравнивает системный промпт и последнее сообщение пользователя и отмечает запросы вне заявленной области. По результатам решают, расширять ли область агента или яснее объяснить пользователям, что он умеет.

    ▶ 27:39Обнаружение запросов вне области компетенции
  • Какие данные нужно записывать в трейсы агента, чтобы по ним можно было оценивать качество?

    Трейс строится из вложенных шагов: LLM-вызовов и tool calls с входами и выходами. Для LLM-вызова полезны длительность, стоимость, число токенов, модель и версия промпта, а для поиска в вебе, например, сам поисковый запрос.

    ▶ 5:21Полезные трассировки и сигналы мониторинга
  • Как использовать coding агента для поиска скрытых сбоев агента в продакшен-трейсах?

    Langfuse CLI и skill дают coding агенту доступ к трейсам, оценкам и датасетам. По словам авторов, агент нашёл слабый поиск по справочной библиотеке, задержки и расходы из-за повторных вызовов инструментов, пробелы в покрытии evaluators и проблему с версией промпта.

    ▶ 35:14Исследование кодинговым агентом и предлагаемые изменения
  • Как связать онлайн-мониторинг агента с офлайн-экспериментами перед выкаткой изменений?

    Продакшен-трейсы, которые выглядят проблемными, превращаются в датасет, на котором запускают эксперименты и оценивают результаты. Изменение выкатывают, только если качество выросло и регрессий нет, а проверку можно встроить в CI/CD.

    ▶ 40:04Поддержка датасетов и замыкание цикла

Главы

Ещё доклады: Annabell Schäfer

Страница спикера →

Похожие доклады