· AI Engineer World's Fair 2026
Почему создать eval-платформу сложнее, чем кажется
Why Building an Eval Platform Is Harder Than It Looks — Braintrust
Eval-платформа для агентов, по словам спикера, упирается в системные задачи: хранение и запросы к огромным трассировкам, а не только интерфейс над таблицей.
- Четыре стадии — от таблиц через самописный UI и side-by-side эксперименты, где к работе подключаются PM и эксперты предметной области, до петли, в которой падения из production превращаются в регрессионные тесты.
- Трассировки агентов — полуструктурированный JSON, в некоторых командах по сотням мегабайт на одно взаимодействие. По словам спикера, обычные хранилища под такой нагрузкой не справляются, поэтому Braintrust делает абстракцию запросов BTQL для запросов в реальном времени и длинных вычислений.
- Разделение ролей — coding агенты запускают evals и предлагают улучшения, автоматический анализ трассировок ищет незаметные сбои и повторяющиеся запросы недовольных пользователей. Человек по результатам выбирает, какая версия уходит в production.
Кому полезно: командам, которые уже переросли таблицы evals и строят цикл от production-трассировок до тестов для агентов.
Статья по теме
На какие вопросы отвечает доклад
Чем офлайн-оценки LLM-агента отличаются от мониторинга в продакшене?
Офлайн-оценки создают уверенность до релиза, а мониторинг в продакшене проверяет эту уверенность на реальных взаимодействиях пользователей через непрерывное наблюдение.
▶ 1:12Evals и наблюдаемость в промышленной эксплуатацииПочему таблица с результатами evals перестаёт работать, когда агент уходит в продакшен?
Аналитика делается вручную, человеческая оценка трудоёмка, совместная работа слабая, а доменные эксперты остаются вне процесса. Таблица дальше документирования не даёт настоящих экспериментов.
▶ 6:56Цикл улучшения и ограничения электронных таблицКак превратить ошибки агента в продакшене в регрессионные тесты для офлайн-оценки?
Логировать каждый вход, выход и шаг трейса, выделить измерения провала, оформить проблемные сценарии как eval-кейсы, улучшать агента офлайн без новых регрессий и снова проверять на продакшене.
▶ 10:24Превращение сбоев в промышленной эксплуатации в evalsКак хранить и запрашивать огромные трейсы LLM-агентов, если обычное хранилище не справляется?
Трейсы представляют собой полуструктурированный JSON, иногда в сотни мегабайт на одно взаимодействие. Спикер описывает слой абстракции BTQL, который объединяет запросы в реальном времени и долгую аналитику.
▶ 11:40Масштаб трассировок, нагрузка запросами и BTQLКак находить тихие сбои агента и повторяющиеся жалобы пользователей без ручной разметки?
Инференс по залогированным трейсам автоматически выделяет сценарии, где агент падает незаметно, и случаи, когда пользователь раз за разом повторяет один и тот же запрос.
▶ 15:39Неизвестные сбои и средства контроля платформыМожно ли поручить coding агенту запуск evals и предложения по улучшению приложения?
Coding агент с доступом к инфраструктуре и кодовой базе запускает evals по запросу на естественном языке, логирует результаты и предлагает улучшения. Человек сравнивает версии и решает, что выкатывать в продакшен.
▶ 14:28Coding агенты запускают evals
Главы
Похожие доклады
Не доверяйте AI agents: тестируйте их как учёный
Близко по содержанию
Продвинутый практикум по наблюдаемости AI
AI Engineer World's Fair 2026
Близко по содержанию
Как создавать эффективные evals: масштабируемые конвейеры оценки LLM
AI Engineer World's Fair 2025
Близко по содержанию
От вайбов до продакшена: основы оценки и запуска работающих AI-агентов
AI Engineer World's Fair 2026
Близко по содержанию

