← Каталог

· AI Engineer Europe 2026

Запуск сложных AI-приложений

Shipping complex AI applications | Braintrust & Trainline

Giran Moodley, Mayan Soni и ещё 2 спикераВсе 4Свернуть

Выводить LLM-агента в продакшен надёжно можно, разбив его на этапы с инструментами и замкнув цикл: трассировка, golden dataset, онлайн-оценка и исправление найденных сбоев.

  • Декомпозиция вместо одного промпта — обращение проходит пять специализированных этапов с tool calls: сбор контекста, триаж, проверка политики, черновик ответа и эскалация. Сбой виден на конкретном шаге, и его можно исправить, не трогая остальную цепочку.
  • Вложенная трассировка — весь диалог записывается в один родительский span с дочерними вызовами. Видны задержка, токены, стоимость и время до первого токена, поэтому по трассе находят, где сломалась цепочка.
  • Оценки без разметки — детерминированные проверки (схема, наличие причины эскалации) запускаются всегда, а LLM-as-a-judge применяется там, где правило нельзя записать кодом. Для дорогих судей авторы советуют после установки базового уровня снизить долю выборки до 5–10%.
  • Смена модели с оценкой — по словам докладчиков из Trainline, более дешёвые модели сначала сравниваются офлайн, а затем проверяются онлайн на продакшен-трафике. Параметры модели можно менять в UI без правок кода.

Кому полезно: командам, которые выводят агентные системы в продакшен и хотят связать трассировку, оценки и исправления в один цикл. Доклад во многом демонстрация платформы Braintrust, но описанные приёмы работают и без неё.

Статья по теме

Главы

Похожие доклады