← Каталог

· AI Engineer Europe 2026

Почему сложно создавать платформы для evals

Why building eval platforms is hard

Оценка агентов — задача данных и инфраструктуры: таблицы не выдерживают роста, и качество держится на цикле между продакшен-трейсами и офлайн-оценками.

  • Стадии зрелости — путь идёт от таблицы и цикла for через самописный UI и настоящую базу к playground для не-технических пользователей и трейсингу продакшена. Таблица годится для старта, но фиксирует результаты и не позволяет сравнивать эксперименты между собой.
  • Петля продакшен и офлайн — сбои, найденные в реальных трейсах, становятся функциями оценки в офлайн-экспериментах, а онлайн-оценки на продакшен-трафике могут слать алерты.
  • Данные трейсов — спаны агентов бывают по 10–20 МБ при паре килобайт у обычных, поэтому связка из open source хранилища, собственного языка запросов и DuckDB в браузере, по словам спикера, перестала справляться с полнотекстовым поиском по миллионам трейсов.
  • Доступ без UI — SQL-запросы к данным оценок нужны, чтобы coding агенты сами собирали контекст из трейсов и правили агента; по словам спикера, часть клиентов вообще не открывает интерфейс.

Кому полезно: тем, кто строит собственную платформу оценок и уже вышел за таблицы; доклад отчасти про продукт Braintrust, примеры в основном из его опыта.

Статья по теме

Главы

Ещё доклады: Phil Hetzel

Страница спикера →

Похожие доклады