← Каталог

· AI Engineer Summit 2025

За пределами консенсуса: ориентиры на переднем крае ИИ в 2025 году

Beyond the Consensus: Navigating AI’s Frontier in 2025

Агенты ломаются не из-за одной громкой ошибки, а из-за накопления мелких сбоев, поэтому надёжность строят через данные, evals и scaffolding.

  • Накопление мелких ошибок — по словам спикера, агент с точностью 99% на каждом шаге после 50 шагов сохраняет около 60% успешных прогонов. Ошибки бывают разного рода: неверный факт, сбой интеграции, неверные критерии, игнорирование личных предпочтений.
  • Evals без правильного ответа — для задач вроде выбора места в самолёте однозначного ответа нет, поэтому спикер советует собирать сигналы человеческих предпочтений и строить оценку под конкретного пользователя.
  • Изоляция сбоев в scaffolding — в Ramp сбой новой AI-функции не распространяется на агентную систему и остальную продакшен-инфраструктуру. Агенту стоит добавлять checkpoint-проверки, чтобы он мог вернуться на верный путь.
  • UX как защита от одинаковых моделей — приложения используют одни и те же модели, поэтому отличие дают понимание сценария пользователя и мультимодальный интерфейс, а не чат.

Кому полезно: тем, кто выводит в продакшен агентов для многошаговых задач, где мелкие ошибки копятся на каждом шаге.

Статья по теме

Главы

Похожие доклады