← Каталог

· AI Engineer World's Fair 2024

Как обойти ограничения embeddings для агентов

Embeddings are Stunting Agents: How Codeium Breaks Through the Ceiling for Retrieval

Векторный поиск упирается в потолок для кодовой базы, и Codeium заменяет его параллельной LLM-оценкой релевантности каждого файла, по словам спикера.

  • Оценка по PR вместо синтетических бенчмарков — тестовые наборы строятся из коммитов: сообщение коммита сопоставляется с изменёнными файлами, а метрика Recall@50 считает долю нужных файлов среди первых пятидесяти. По словам автора, публичные embedding-модели на таком наборе показали худший результат.
  • Длинный контекст упирается в задержку — по словам спикера, Gemini тратит 36 секунд на 325 тысяч токенов, а средний репозиторий легко превышает миллион токенов.
  • Оценка каждого файла LLM-вызовом — система запускает тысячи вызовов параллельно, получает оценку по каждому файлу и учитывает открытые файлы, соседние директории и недавние коммиты. В эксперименте на небольшой доле пользователей выросло число принятых генераций.
  • Собственные модели и инфраструктура — обучение своих моделей и отказ от внешних API, по словам автора, позволяют тратить в сто раз больше вычислений на пользователя при стоимости в сотую долю конкурентов.

Кому полезно: тем, кто строит coding агентов поверх больших монорепозиториев и хочет понять, где embeddings перестают хватать для выбора контекста.

Статья по теме

Главы

Ещё доклады: Kevin Hou

Все 4 доклада →

Похожие доклады