· AI Engineer World's Fair 2025
VoiceVision RAG: визуальный поиск по документам с голосовыми ответами
VoiceVision RAG - Integrating Visual Document Intelligence with Voice Response
Поиск по страницам PDF через ColPali позволяет не разбирать документ на текст, таблицы и картинки отдельно, а агент на Strands Agents отвечает по найденным страницам голосом.
- Страница как набор патчей — ColPali режет страницу на патчи и получает по одному вектору на патч. В примере с учебником на 10 страниц по 15 патчей выходит 150 векторов на документ.
- Late interaction MaxSim — оценка страницы равна сумме максимальных сходств каждого токена запроса с патчами. Так находятся страницы, где есть все части вопроса, а не одно совпавшее слово; по словам спикера, для этого нужна база с поддержкой multivector, например Qdrant.
- Когда не стоит брать — спикер советует начинать с обычного RAG. ColPali тяжёлый на индексации, зато по словам спикера показал себя лучше OCR в проекте со сканами водительских прав и полисов.
- Голос через инструмент — в демо смена голоса через system prompt работала нестабильно. Спикер советует задавать персону в спецификации встроенного инструмента
speak.
Кому полезно: тем, кто ищет по PDF, где смысл держится на схемах и картинках, и тем, кто собирает голосовых агентов на Strands.
Статья по теме
Главы
Ещё доклады: Suman Debnath
Страница спикера →Знакомство со Strands Agents — open-source SDK для AI-агентов
AI Engineer World's Fair 2025
Похожие доклады
Масштабирование голосового AI
AI Engineer World's Fair 2025
Близко по содержанию
RAG нужна карта: как GraphRAG извлекает связанный контекст
AI Engineer World's Fair 2026
Близко по содержанию
От обработки документов до agents: как AI-команды строят на их основе
AI Engineer World's Fair 2026
Близко по содержанию
Полный воркшоп: голосовой AI в реальном времени
Aleix Conchillo Flaqué, Mark Backman
AI Engineer World's Fair 2025
Близко по содержанию
