· AI Engineer World's Fair 2024
Как обойти ограничения embeddings для агентов
Embeddings are Stunting Agents: How Codeium Breaks Through the Ceiling for Retrieval
Векторный поиск упирается в потолок для кодовой базы, и Codeium заменяет его параллельной LLM-оценкой релевантности каждого файла, по словам спикера.
- Оценка по PR вместо синтетических бенчмарков — тестовые наборы строятся из коммитов: сообщение коммита сопоставляется с изменёнными файлами, а метрика Recall@50 считает долю нужных файлов среди первых пятидесяти. По словам автора, публичные embedding-модели на таком наборе показали худший результат.
- Длинный контекст упирается в задержку — по словам спикера, Gemini тратит 36 секунд на 325 тысяч токенов, а средний репозиторий легко превышает миллион токенов.
- Оценка каждого файла LLM-вызовом — система запускает тысячи вызовов параллельно, получает оценку по каждому файлу и учитывает открытые файлы, соседние директории и недавние коммиты. В эксперименте на небольшой доле пользователей выросло число принятых генераций.
- Собственные модели и инфраструктура — обучение своих моделей и отказ от внешних API, по словам автора, позволяют тратить в сто раз больше вычислений на пользователя при стоимости в сотую долю конкурентов.
Кому полезно: тем, кто строит coding агентов поверх больших монорепозиториев и хочет понять, где embeddings перестают хватать для выбора контекста.
Статья по теме
Главы
Ещё доклады: Kevin Hou
Все 4 доклада →Не ограничивайте модель
Windsurf повсюду и за любую работу
AI Engineer World's Fair 2025
Бросая вызов гравитации
AI Engineer Code 2025
Похожие доклады
Современное состояние AI-поиска и извлечения информации
AI Engineer World's Fair 2025
Близко по содержанию
За пределами RAG: реляционный context engine сокращает расход токенов
AI Engineer World's Fair 2026
Близко по содержанию
Бенчмаркинг семантического поиска по коду в Claude Code
AI Engineer Europe 2026
Близко по содержанию
Когда важен весь контекст: Extended Cache Augmented Generation (ECAG)
AI Engineer World's Fair 2026
Близко по содержанию

