← Каталог

· AI Engineer World's Fair 2024

Будущее ассистентов по работе со знаниями

The Future of Knowledge Assistants: Jerry Liu

Для продакшен-ассистента по документам нужны два условия: качественный парсинг PDF и агенты, вынесенные в отдельные микросервисы.

  • Парсинг снижает галлюцинации сам по себе — на расписании Caltrain простой PDF-парсер склеивал колонки с числами и текстом, а LlamaParse с сохранением структуры давал верное время для нужной колонки, по словам спикера.
  • Одного агента на большой набор инструментов не хватает — по словам спикера, агент с тысячей инструментов обычно ошибается, а несколько специализированных агентов с 5–10 инструментами позволяют брать более слабую и быструю модель и снижать стоимость и задержку.
  • Llama Agents разворачивает каждого агента как отдельный сервис — агенты общаются через центральный API или очередь сообщений, а оркестрация задаётся явно или делегируется LLM. Фреймворк в alpha, несколько копий одного агента могут обрабатывать запросы параллельно.

Кому полезно: тем, кто переносит RAG-ассистента по PDF и таблицам из ноутбука в продакшен.

Статья по теме

Главы

Ещё доклады: Jerry Liu

Все 4 доклада →

Похожие доклады