Почему сложно создавать платформы для evals
Why building eval platforms is hard
Оценка агентов — задача данных и инфраструктуры: таблицы не выдерживают роста, и качество держится на цикле между продакшен-трейсами и офлайн-оценками.
- Стадии зрелости — путь идёт от таблицы и цикла for через самописный UI и настоящую базу к playground для не-технических пользователей и трейсингу продакшена. Таблица годится для старта, но фиксирует результаты и не позволяет сравнивать эксперименты между собой.
- Петля продакшен и офлайн — сбои, найденные в реальных трейсах, становятся функциями оценки в офлайн-экспериментах, а онлайн-оценки на продакшен-трафике могут слать алерты.
- Данные трейсов — спаны агентов бывают по 10–20 МБ при паре килобайт у обычных, поэтому связка из open source хранилища, собственного языка запросов и DuckDB в браузере, по словам спикера, перестала справляться с полнотекстовым поиском по миллионам трейсов.
- Доступ без UI — SQL-запросы к данным оценок нужны, чтобы coding агенты сами собирали контекст из трейсов и правили агента; по словам спикера, часть клиентов вообще не открывает интерфейс.
Кому полезно: тем, кто строит собственную платформу оценок и уже вышел за таблицы; доклад отчасти про продукт Braintrust, примеры в основном из его опыта.
Статья по теме
Главы
Ещё доклады: Phil Hetzel
Страница спикера →Этапы зрелости evals
AI Engineer Europe 2026
Чем o11y для агентов отличается от традиционной o11y
AI Engineer Europe 2026
Должна ли GenAI быть только в ведении дата-сайентистов?
AI Engineer Europe 2026
Похожие доклады
Как написать свой первый AI eval
Близко по содержанию
Как выпускать работающий AI: фреймворк оценки для продакт-менеджеров
AI Engineer World's Fair 2025
Близко по содержанию

