← Каталог

· AI Engineer World's Fair 2026

Агент со 100 инструментами — ловушка: масштабирование с помощью семантических маршрутизаторов и контекста по запросу

The 100-Tool Agent Is a Trap: Scaling with Semantic Routers and JIT Context

Отдавать модели только top-K релевантных инструментов, а не весь каталог, по словам авторов, держит точность выбора выше 83% при 741 инструменте.

  • Почему агент со всеми инструментами ломается — при 741 инструменте схемы занимают около 127 тысяч токенов в каждом запросе, а точность выбора падает с 78% при десяти инструментах до 13,6%. Время до первого токена при 500 инструментах, по словам авторов, превышает 5 секунд.
  • Семантическая маршрутизация как RAG для инструментов — описания инструментов индексируются эмбеддингами заранее, а на каждый запрос вопрос пользователя ищет top-K инструментов, и в вызов модели попадают только их схемы. Авторы советуют начинать с K=5.
  • Цена контекста — по их расчётам, схемы трёх–пяти инструментов занимают около 1000 токенов вместо 127 тысяч. В документации Anthropic подгрузка инструментов через MCP, по их данным, сократила токены с 150 тысяч до 2 тысяч.
  • Когда роутер не нужен — при меньше чем 20 инструментах, по оценке авторов, маршрутизация избыточна, а загрузка всех инструментов напрямую достаточна.

Кому полезно: тем, у кого агент с десятками и сотнями инструментов начинает путать функции или медленно отвечать.

Статья по теме

Главы

Похожие доклады