· AI Engineer World's Fair 2026
Хватит нарезать данные как в 2022 году
Stop Chunking Like It's 2022 — Yuval Belfer, AI21 Labs
Один размер чанков теряет точность, потому что лучший зависит от запроса; несколько индексов с RRF по документам, по словам спикера, не уступают лучшему фиксированному.
- Потенциал оракула — если бы для каждого запроса можно было выбрать лучший размер чанка, по словам спикера, разрыв с фиксированным размером составил бы около 20–40 процентов. На разных датасетах ни один размер не доминирует.
- Multi-scale indexing — документы индексируются несколько раз с разными размерами окон (в эксперименте шесть), запрос идёт во все индексы параллельно, а найденные чанки сводятся к документам.
- Слияние по документам — чанки разного размера нельзя сравнить по рангу, поэтому ранги документов объединяются через Reciprocal Rank Fusion. По словам спикера, это простой скрипт без обучаемых компонентов, и он работал лучше других испробованных методов.
- Цена — память растёт примерно в 2–5 раз из-за копий базы, но параллельный поиск почти не добавляет задержки. Сколько размеров окон нужно и как улучшить слияние, спикер называет открытыми вопросами.
Кому полезно: тем, кто ведёт RAG на большом корпусе с разными типами запросов и может позволить себе несколько копий индекса.
Статья по теме
Главы
Ещё доклады: Yuval Belfer
Страница спикера →Два незаметных бага: детективная история отладки vLLM
AI Engineer World's Fair 2026
Настоящим AI-агентам нужно планирование, а не только промптинг
AI Engineer World's Fair 2025
Оценка RAG не работает! Почему и как это исправить
AI Engineer World's Fair 2025
Похожие доклады
Одних векторов недостаточно: гибридный поиск и извлечение данных
AI Engineer World's Fair 2026
Близко по содержанию
Grep или embeddings? Агентный поиск по корпоративным документам
Близко по содержанию
Как довести RAG до production: поиск, оценка и анализ ошибок
AI Engineer Summit 2023
Близко по содержанию

