← Каталог

· AI Engineer World's Fair 2026

Почему создать eval-платформу сложнее, чем кажется

Why Building an Eval Platform Is Harder Than It Looks — Braintrust

Eval-платформа для агентов, по словам спикера, упирается в системные задачи: хранение и запросы к огромным трассировкам, а не только интерфейс над таблицей.

  • Четыре стадии — от таблиц через самописный UI и side-by-side эксперименты, где к работе подключаются PM и эксперты предметной области, до петли, в которой падения из production превращаются в регрессионные тесты.
  • Трассировки агентов — полуструктурированный JSON, в некоторых командах по сотням мегабайт на одно взаимодействие. По словам спикера, обычные хранилища под такой нагрузкой не справляются, поэтому Braintrust делает абстракцию запросов BTQL для запросов в реальном времени и длинных вычислений.
  • Разделение ролей — coding агенты запускают evals и предлагают улучшения, автоматический анализ трассировок ищет незаметные сбои и повторяющиеся запросы недовольных пользователей. Человек по результатам выбирает, какая версия уходит в production.

Кому полезно: командам, которые уже переросли таблицы evals и строят цикл от production-трассировок до тестов для агентов.

Статья по теме

На какие вопросы отвечает доклад

  • Чем офлайн-оценки LLM-агента отличаются от мониторинга в продакшене?

    Офлайн-оценки создают уверенность до релиза, а мониторинг в продакшене проверяет эту уверенность на реальных взаимодействиях пользователей через непрерывное наблюдение.

    ▶ 1:12Evals и наблюдаемость в промышленной эксплуатации
  • Почему таблица с результатами evals перестаёт работать, когда агент уходит в продакшен?

    Аналитика делается вручную, человеческая оценка трудоёмка, совместная работа слабая, а доменные эксперты остаются вне процесса. Таблица дальше документирования не даёт настоящих экспериментов.

    ▶ 6:56Цикл улучшения и ограничения электронных таблиц
  • Как превратить ошибки агента в продакшене в регрессионные тесты для офлайн-оценки?

    Логировать каждый вход, выход и шаг трейса, выделить измерения провала, оформить проблемные сценарии как eval-кейсы, улучшать агента офлайн без новых регрессий и снова проверять на продакшене.

    ▶ 10:24Превращение сбоев в промышленной эксплуатации в evals
  • Как хранить и запрашивать огромные трейсы LLM-агентов, если обычное хранилище не справляется?

    Трейсы представляют собой полуструктурированный JSON, иногда в сотни мегабайт на одно взаимодействие. Спикер описывает слой абстракции BTQL, который объединяет запросы в реальном времени и долгую аналитику.

    ▶ 11:40Масштаб трассировок, нагрузка запросами и BTQL
  • Как находить тихие сбои агента и повторяющиеся жалобы пользователей без ручной разметки?

    Инференс по залогированным трейсам автоматически выделяет сценарии, где агент падает незаметно, и случаи, когда пользователь раз за разом повторяет один и тот же запрос.

    ▶ 15:39Неизвестные сбои и средства контроля платформы
  • Можно ли поручить coding агенту запуск evals и предложения по улучшению приложения?

    Coding агент с доступом к инфраструктуре и кодовой базе запускает evals по запросу на естественном языке, логирует результаты и предлагает улучшения. Человек сравнивает версии и решает, что выкатывать в продакшен.

    ▶ 14:28Coding агенты запускают evals

Главы

Похожие доклады