Запуск сложных AI-приложений
Shipping complex AI applications | Braintrust & Trainline
Giran Moodley, Mayan Soni и ещё 2 спикераВсе 4Свернуть
Выводить LLM-агента в продакшен надёжно можно, разбив его на этапы с инструментами и замкнув цикл: трассировка, golden dataset, онлайн-оценка и исправление найденных сбоев.
- Декомпозиция вместо одного промпта — обращение проходит пять специализированных этапов с tool calls: сбор контекста, триаж, проверка политики, черновик ответа и эскалация. Сбой виден на конкретном шаге, и его можно исправить, не трогая остальную цепочку.
- Вложенная трассировка — весь диалог записывается в один родительский span с дочерними вызовами. Видны задержка, токены, стоимость и время до первого токена, поэтому по трассе находят, где сломалась цепочка.
- Оценки без разметки — детерминированные проверки (схема, наличие причины эскалации) запускаются всегда, а LLM-as-a-judge применяется там, где правило нельзя записать кодом. Для дорогих судей авторы советуют после установки базового уровня снизить долю выборки до 5–10%.
- Смена модели с оценкой — по словам докладчиков из Trainline, более дешёвые модели сначала сравниваются офлайн, а затем проверяются онлайн на продакшен-трафике. Параметры модели можно менять в UI без правок кода.
Кому полезно: командам, которые выводят агентные системы в продакшен и хотят связать трассировку, оценки и исправления в один цикл. Доклад во многом демонстрация платформы Braintrust, но описанные приёмы работают и без неё.
Статья по теме
Главы
Похожие доклады
Продвинутый практикум по наблюдаемости AI
AI Engineer World's Fair 2026
Близко по содержанию
Практическое руководство по запуску ИИ-агентов в корпоративном масштабе
AI Engineer Europe 2026
Близко по содержанию
Как выпускать работающий AI: фреймворк оценки для продакт-менеджеров
AI Engineer World's Fair 2025
Близко по содержанию
Племенные подземелья мировой логистики: AI agents в глобальном масштабе
AI Engineer World's Fair 2026
Близко по содержанию


