← Каталог

· AI Engineer World's Fair 2025

VoiceVision RAG: визуальный поиск по документам с голосовыми ответами

VoiceVision RAG - Integrating Visual Document Intelligence with Voice Response

Поиск по страницам PDF через ColPali позволяет не разбирать документ на текст, таблицы и картинки отдельно, а агент на Strands Agents отвечает по найденным страницам голосом.

  • Страница как набор патчей — ColPali режет страницу на патчи и получает по одному вектору на патч. В примере с учебником на 10 страниц по 15 патчей выходит 150 векторов на документ.
  • Late interaction MaxSim — оценка страницы равна сумме максимальных сходств каждого токена запроса с патчами. Так находятся страницы, где есть все части вопроса, а не одно совпавшее слово; по словам спикера, для этого нужна база с поддержкой multivector, например Qdrant.
  • Когда не стоит брать — спикер советует начинать с обычного RAG. ColPali тяжёлый на индексации, зато по словам спикера показал себя лучше OCR в проекте со сканами водительских прав и полисов.
  • Голос через инструмент — в демо смена голоса через system prompt работала нестабильно. Спикер советует задавать персону в спецификации встроенного инструмента speak.

Кому полезно: тем, кто ищет по PDF, где смысл держится на схемах и картинках, и тем, кто собирает голосовых агентов на Strands.

Статья по теме

Главы

Ещё доклады: Suman Debnath

Страница спикера →

Похожие доклады