← Каталог

· AI Engineer World's Fair 2024

Архитектура и тестирование управляемых agents

Architecting and Testing Controllable Agents

Надёжного агента проще строить из графа с фиксированными шагами, где LLM решает только в отдельных точках, чем из свободного ReAct-цикла.

  • Граф вместо свободного цикла — в LangGraph порядок шагов задаёт разработчик, а LLM выбирает переход только в нужных узлах, например решает, релевантны ли найденные документы и нужен ли веб-поиск. По словам спикера, такая схема заметно стабильнее ReAct-агента.
  • Траектория как тест — оценивайте вместе с ответом и последовательность вызовов инструментов. На пятивопросном наборе, по наблюдениям спикера, локальная модель на 8B давала стабильные траектории, а ReAct-агент на GPT-4o заметно уходил с ожидаемого пути.
  • Проверка внутри приложения — простой unit test на импорты в сгенерированном коде, ошибка которого возвращается модели для исправления, по словам спикера, заметно снизил галлюцинации импортов во внутреннем RAG-приложении.
  • Чанки для поиска, документы для ответа — индексируйте короткие фрагменты, а в LLM передавайте целый документ. Спикер также отмечает, что факты в начале длинного контекста извлекаются хуже.

Кому полезно: тем, кто строит RAG или агентов с фиксированными этапами и хочет измерять их надёжность.

Статья по теме

Главы

Ещё доклады: Lance Martin

Страница спикера →

Похожие доклады