· AI Engineer World's Fair 2024
Архитектура и тестирование управляемых agents
Architecting and Testing Controllable Agents
Надёжного агента проще строить из графа с фиксированными шагами, где LLM решает только в отдельных точках, чем из свободного ReAct-цикла.
- Граф вместо свободного цикла — в LangGraph порядок шагов задаёт разработчик, а LLM выбирает переход только в нужных узлах, например решает, релевантны ли найденные документы и нужен ли веб-поиск. По словам спикера, такая схема заметно стабильнее ReAct-агента.
- Траектория как тест — оценивайте вместе с ответом и последовательность вызовов инструментов. На пятивопросном наборе, по наблюдениям спикера, локальная модель на 8B давала стабильные траектории, а ReAct-агент на GPT-4o заметно уходил с ожидаемого пути.
- Проверка внутри приложения — простой unit test на импорты в сгенерированном коде, ошибка которого возвращается модели для исправления, по словам спикера, заметно снизил галлюцинации импортов во внутреннем RAG-приложении.
- Чанки для поиска, документы для ответа — индексируйте короткие фрагменты, а в LLM передавайте целый документ. Спикер также отмечает, что факты в начале длинного контекста извлекаются хуже.
Кому полезно: тем, кто строит RAG или агентов с фиксированными этапами и хочет измерять их надёжность.
Статья по теме
Главы
Ещё доклады: Lance Martin
Страница спикера →Claude для долгосрочных задач
AI Engineer World's Fair 2026
Похожие доклады
Как создавать planning agents, не теряя контроля
AI Engineer World's Fair 2025
Близко по содержанию
Evals AI-агентов для задач с высокой ценой ошибки
Annabell Schäfer, Doneyli De Jesus
Близко по содержанию
Агентный GraphRAG: логическое преимущество ИИ
AI Engineer World's Fair 2025
Близко по содержанию

