За пределами консенсуса: ориентиры на переднем крае ИИ в 2025 году
Beyond the Consensus: Navigating AI’s Frontier in 2025
Агенты ломаются не из-за одной громкой ошибки, а из-за накопления мелких сбоев, поэтому надёжность строят через данные, evals и scaffolding.
- Накопление мелких ошибок — по словам спикера, агент с точностью 99% на каждом шаге после 50 шагов сохраняет около 60% успешных прогонов. Ошибки бывают разного рода: неверный факт, сбой интеграции, неверные критерии, игнорирование личных предпочтений.
- Evals без правильного ответа — для задач вроде выбора места в самолёте однозначного ответа нет, поэтому спикер советует собирать сигналы человеческих предпочтений и строить оценку под конкретного пользователя.
- Изоляция сбоев в scaffolding — в Ramp сбой новой AI-функции не распространяется на агентную систему и остальную продакшен-инфраструктуру. Агенту стоит добавлять checkpoint-проверки, чтобы он мог вернуться на верный путь.
- UX как защита от одинаковых моделей — приложения используют одни и те же модели, поэтому отличие дают понимание сценария пользователя и мультимодальный интерфейс, а не чат.
Кому полезно: тем, кто выводит в продакшен агентов для многошаговых задач, где мелкие ошибки копятся на каждом шаге.
Статья по теме
Главы
Похожие доклады
Развивайте продукты, а не ИИ-проекты в стороне
AI Engineer World's Fair 2025
Близко по содержанию
Тренды на переднем крае развития ИИ
George Cameron, Micah Hill-Smith
AI Engineer World's Fair 2025
Близко по содержанию
Как улучшать агентов: обзор академических исследований
AI Engineer Summit 2025
Близко по содержанию
2025-й — год evals! Как и 2024-й, 2023-й и дальше…
AI Engineer World's Fair 2025
Близко по содержанию

