← Каталог

· AI Engineer Summit 2025

Keynote: Почему люди считают, что «agent» — это модное словечко, хотя это не так

Keynote: Why people think "agent" is a buzzword but it isn't

Надёжность агентов падает с ростом числа шагов, поэтому рабочие агенты держатся на декомпозиции задач, подробной документации инструментов и внешней памяти.

  • Накопление ошибок — при ошибке 2% на шаг за 10 шагов доля провалов достигает примерно 18%. По наблюдению спикера, в большинстве агентных сценариев редко получается стабильно решать задачи больше пяти шагов.
  • Reasoning модели в планировании — на собственном синтетическом бенчмарке спикера DeepSeek-R1, Gemini 2.0 Flash Thinking и o1-preview решают задачи с большим числом шагов, чем обычные модели без reasoning, например GPT-4o и Sonnet 3.5.
  • Документация инструментов — описывайте параметры, типы, коды ошибок и возвращаемые значения, а также что означает каждый ответ. По словам спикера, одно из самых заметных улучшений агентов в одной компании дало именно пояснение возвращаемых значений; при этом инструментов лучше давать 3–4, с пятью и более агенты в его примере почти не работали.
  • Память в три уровня — контекст служит краткосрочной памятью, внешние базы и файлы долгосрочной, а часто нужные знания лучше закрепить через fine-tuning, чтобы не тратить токены контекста.

Кому полезно: тем, кто проектирует агентов с вызовами API и цепочками из многих шагов.

Статья по теме

Главы

Похожие доклады