Проблемы масштабирования агентов для генеративных AI-продуктов
Challenges to Scaling Agents for Generative AI Products
Ошибки в цепочке из LLM-агентов накапливаются, поэтому потребителю результата нужны собственные проверки, а не доверие вышестоящим агентам.
- Проверки на стороне потребителя — стохастические ошибки перемножаются, когда агенты компонуются из LLM. В примере с индексом CPI США один пропущенный символ подменил квартальные данные месячными, и по итоговому ответу это было трудно заметить.
- Guardrails и circuit breakers — ответы видят все читатели одинаково, поэтому ошибка бьёт сильнее. Команда непрерывно мониторит качество, строит процессы исправления и circuit breakers, а обязательные проверки, например запрет на инвестиционные советы, вызываются в нескольких точках.
- Структура команд — на раннем этапе выгодны общие команды с общим кодом, данными и моделями, а когда агентов становится много, сквозные функции выносят в горизонтальные команды. В группе спикера около 400 человек и 50 команд.
Кому полезно: тем, кто строит агентные системы поверх нескольких LLM-вызовов и хочет понять, где копятся ошибки.
Статья по теме
Главы
Похожие доклады
Чему мы научились, внедряя AI в инженерную организацию Bloomberg
AI Engineer Code 2025
Близко по содержанию
Как устроены долгосрочные agents Arca, управляющие бизнесом
Близко по содержанию
Обвязка с умом
AI Engineer Summit 2025
Близко по содержанию
AI-агенты сокращают создание портфеля с трёх дней до минут
Jack McDonald, Michael Manapat
Близко по содержанию

