· AI Engineer World's Fair 2026
Как избежать мультимодальных издержек: гибридный RAG без фреймворков, RRF на чистом SQL и телеметрия UI в реальном времени
Bypassing the Multimodal Tax: Framework-Free Hybrid RAG, Raw SQL RRF, and Live UI Telemetry
Гибридный RAG без фреймворков можно собрать на локальных моделях: Docling переводит документы в Markdown, а PostgreSQL и RRF объединяют поиск по точным совпадениям и по смыслу.
- Разбор до эмбеддингов — документы сначала превращаются в Markdown на локальном CPU, поэтому видно, как устроены чанки, и не тратятся токены облачной модели на сырой PDF.
- Чанкование под тип документа — FAQ режется по заголовкам «вопрос-ответ», текст по абзацам, неструктурированные письма по группам предложений, а хаотичный текст по 512 символов с перехлёстом 64. По словам спикера, чанк по заголовку легко проверить и сослаться на него в ответе.
- Гибрид вместо одного поиска — keyword-поиск нужен для номеров, SKU и точных названий, векторный для смысла, а результаты объединяются через RRF. Число возвращаемых чанков спикер советует выбирать под задачу: для товаров больше, для медицины меньше.
- Проверки в коде до вызова LLM — запросы про медицину и prompt injection отсекаются регулярными выражениями, словарями и классификатором до отправки модели, и это покрывается обычными тестами. Даты и подобные вычисления спикер делает обычными Python-функциями, а не LLM-агентами.
Кому полезно: тем, кто строит внутреннего чат-бота по корпоративным документам и хочет запускать его локально на маленьких моделях.
Статья по теме
Главы
Похожие доклады
Оценка RAG не работает! Почему и как это исправить
AI Engineer World's Fair 2025
Близко по содержанию
Эффективные гибридные запросы к контексту для grounding LLM
AI Engineer Summit 2023
Близко по содержанию
За пределами RAG: создаём реляционный движок контекста с нуля
AI Engineer World's Fair 2026
Близко по содержанию
RAG-стек, к которому мы пришли после 37 неудач
AI Engineer World's Fair 2025
Близко по содержанию

