← Каталог

· AI Engineer World's Fair 2024

Вызовы и технический долг при внедрении LLM

Navigating Challenges and Technical Debt in LLMs Deployment

В продакшен-приложениях на LLM основной объём работы приходится на конвейер вокруг модели: retrieval, права доступа, инференс и технический долг.

  • Доля ML-кода в системе — по схеме из статьи NIPS 2015 года код модели занимает меньше пяти процентов end-to-end пайплайна, остальное составляют окружающие компоненты.
  • RAG вместо дообучения — внешняя память снижает галлюцинации, даёт источники для атрибуции и позволяет обновлять знания заменой векторных индексов без переобучения модели.
  • Совместная оптимизация retriever и generator — в исходной статье FAIR оба компонента обучаются параллельно, но для этого нужны параметры открытых моделей; обычный RAG, по словам спикера, держит их как два независимых блока.
  • Права доступа в RAG — корпоративные ограничения доступа стоит сохранять в ответах системы, а не делать одну глобальную модель, видящую все данные; спикер предлагает специализированные модели под отдельные задачи.

Кому полезно: тем, кто выводит RAG-систему с корпоративными данными в продакшен и хочет заранее понять, какие части потребуют работы помимо самой модели.

Статья по теме

На какие вопросы отвечает доклад

Главы

Похожие доклады