← Каталог

· AI Engineer Summit 2025

Создание надёжных корпоративных LLM-агентов

Building enterprise LLM agents that work

Надёжные enterprise-агенты строятся на простоте: одна модель с небольшим набором инструментов, точные спецификации и дообучение только там, где сбоев много.

  • Спецификации инструментов — клиенту с API на 10–15 параметров пришлось упростить входы: вложенные словари заменили на list, str и float, описания и примеры вызовов сделали короче и точнее. По словам спикера, короткий список инструкций работает лучше длинного, который путает модель и провоцирует галлюцинации.
  • Ошибки по уровню сбоев — при низком проценте ошибок достаточно prompt engineering и улучшения спецификаций, при 10–20% нужен целевой annotation dataset, а при высоком проценте и похожих именах API спикер советует synthetic data и fine-tuning.
  • Golden dataset — набор запросов с ожидаемыми вызовами функций, параметрами, промежуточными результатами и финальным ответом позволяет прогнать агента по всем шагам и найти место, где он ошибается.
  • История диалога — по словам спикера, после двадцати с лишним ходов модель начинает галлюцинировать, а кэширование истории с извлечением релевантных фрагментов под новый запрос улучшает ответы со временем.

Кому полезно: тем, кто выводит агентов с tool calling в продакшен; заключительная часть посвящена платформе Cohere North.

Статья по теме

Главы

Похожие доклады