← Каталог

· AI Engineer World's Fair 2026

Как избежать мультимодальных издержек: гибридный RAG без фреймворков, RRF на чистом SQL и телеметрия UI в реальном времени

Bypassing the Multimodal Tax: Framework-Free Hybrid RAG, Raw SQL RRF, and Live UI Telemetry

Гибридный RAG без фреймворков можно собрать на локальных моделях: Docling переводит документы в Markdown, а PostgreSQL и RRF объединяют поиск по точным совпадениям и по смыслу.

  • Разбор до эмбеддингов — документы сначала превращаются в Markdown на локальном CPU, поэтому видно, как устроены чанки, и не тратятся токены облачной модели на сырой PDF.
  • Чанкование под тип документа — FAQ режется по заголовкам «вопрос-ответ», текст по абзацам, неструктурированные письма по группам предложений, а хаотичный текст по 512 символов с перехлёстом 64. По словам спикера, чанк по заголовку легко проверить и сослаться на него в ответе.
  • Гибрид вместо одного поиска — keyword-поиск нужен для номеров, SKU и точных названий, векторный для смысла, а результаты объединяются через RRF. Число возвращаемых чанков спикер советует выбирать под задачу: для товаров больше, для медицины меньше.
  • Проверки в коде до вызова LLM — запросы про медицину и prompt injection отсекаются регулярными выражениями, словарями и классификатором до отправки модели, и это покрывается обычными тестами. Даты и подобные вычисления спикер делает обычными Python-функциями, а не LLM-агентами.

Кому полезно: тем, кто строит внутреннего чат-бота по корпоративным документам и хочет запускать его локально на маленьких моделях.

Статья по теме

Главы

Похожие доклады