Создание надёжных корпоративных LLM-агентов
Building enterprise LLM agents that work
Надёжные enterprise-агенты строятся на простоте: одна модель с небольшим набором инструментов, точные спецификации и дообучение только там, где сбоев много.
- Спецификации инструментов — клиенту с API на 10–15 параметров пришлось упростить входы: вложенные словари заменили на list, str и float, описания и примеры вызовов сделали короче и точнее. По словам спикера, короткий список инструкций работает лучше длинного, который путает модель и провоцирует галлюцинации.
- Ошибки по уровню сбоев — при низком проценте ошибок достаточно prompt engineering и улучшения спецификаций, при 10–20% нужен целевой annotation dataset, а при высоком проценте и похожих именах API спикер советует synthetic data и fine-tuning.
- Golden dataset — набор запросов с ожидаемыми вызовами функций, параметрами, промежуточными результатами и финальным ответом позволяет прогнать агента по всем шагам и найти место, где он ошибается.
- История диалога — по словам спикера, после двадцати с лишним ходов модель начинает галлюцинировать, а кэширование истории с извлечением релевантных фрагментов под новый запрос улучшает ответы со временем.
Кому полезно: тем, кто выводит агентов с tool calling в продакшен; заключительная часть посвящена платформе Cohere North.
Статья по теме
Главы
Похожие доклады
Как создавать агентов с учётом особенностей компаний
AI Engineer World's Fair 2025
Близко по содержанию
Ваши агенты в изоляции: почему MCP и A2A недостаточно
Близко по содержанию
Как создавать эффективные evals: масштабируемые конвейеры оценки LLM
AI Engineer World's Fair 2025
Близко по содержанию
3 составляющих надежных корпоративных agents
AI Engineer World's Fair 2025
Близко по содержанию

