← Каталог

· AI Engineer Summit 2025

Проблемы масштабирования агентов для генеративных AI-продуктов

Challenges to Scaling Agents for Generative AI Products

Ошибки в цепочке из LLM-агентов накапливаются, поэтому потребителю результата нужны собственные проверки, а не доверие вышестоящим агентам.

  • Проверки на стороне потребителя — стохастические ошибки перемножаются, когда агенты компонуются из LLM. В примере с индексом CPI США один пропущенный символ подменил квартальные данные месячными, и по итоговому ответу это было трудно заметить.
  • Guardrails и circuit breakers — ответы видят все читатели одинаково, поэтому ошибка бьёт сильнее. Команда непрерывно мониторит качество, строит процессы исправления и circuit breakers, а обязательные проверки, например запрет на инвестиционные советы, вызываются в нескольких точках.
  • Структура команд — на раннем этапе выгодны общие команды с общим кодом, данными и моделями, а когда агентов становится много, сквозные функции выносят в горизонтальные команды. В группе спикера около 400 человек и 50 команд.

Кому полезно: тем, кто строит агентные системы поверх нескольких LLM-вызовов и хочет понять, где копятся ошибки.

Статья по теме

Главы

Похожие доклады