· AI Engineer World's Fair 2024
Вызовы и технический долг при внедрении LLM
Navigating Challenges and Technical Debt in LLMs Deployment
В продакшен-приложениях на LLM основной объём работы приходится на конвейер вокруг модели: retrieval, права доступа, инференс и технический долг.
- Доля ML-кода в системе — по схеме из статьи NIPS 2015 года код модели занимает меньше пяти процентов end-to-end пайплайна, остальное составляют окружающие компоненты.
- RAG вместо дообучения — внешняя память снижает галлюцинации, даёт источники для атрибуции и позволяет обновлять знания заменой векторных индексов без переобучения модели.
- Совместная оптимизация retriever и generator — в исходной статье FAIR оба компонента обучаются параллельно, но для этого нужны параметры открытых моделей; обычный RAG, по словам спикера, держит их как два независимых блока.
- Права доступа в RAG — корпоративные ограничения доступа стоит сохранять в ответах системы, а не делать одну глобальную модель, видящую все данные; спикер предлагает специализированные модели под отдельные задачи.
Кому полезно: тем, кто выводит RAG-систему с корпоративными данными в продакшен и хочет заранее понять, какие части потребуют работы помимо самой модели.
Статья по теме
На какие вопросы отвечает доклад
Как снизить галлюцинации и устаревание ответов LLM в корпоративных системах?
Подключение внешней памяти через RAG: ответы опираются на доменные данные, источники из retriever дают атрибуцию, а обновление знаний сводится к замене векторного индекса.
▶ 7:51Инфраструктура inference и скрытый технический долг машинного обученияКак обучать retriever и generator вместе в RAG-системе?
Исследование FAIR обучает оба компонента параллельно: генератор дообучают на выдаче retriever, что требует доступа к параметрам открытых моделей. Обычные RAG-системы держат их раздельными.
▶ 12:05Совместная оптимизация ретриверов и генераторов в RAGПочему код модели занимает малую часть работы при выводе LLM в продакшен?
По данным статьи NIPS 2015, ML-код составляет менее пяти процентов системы, а остальное — сквозной пайплайн вокруг него. По словам спикера, это более 95% работы.
▶ 7:51Инфраструктура inference и скрытый технический долг машинного обученияКак сохранить права доступа сотрудников в корпоративной RAG-системе с LLM?
Не строить одну глобальную LLM с доступом ко всем данным: сохранять существующие контроли доступа и использовать специализированные модели для отдельных задач.
▶ 12:05Совместная оптимизация ретриверов и генераторов в RAGКак использовать неструктурированные корпоративные данные с LLM, если классический ML работает со структурированными?
По оценке спикера, более 80% данных организаций неструктурированы, и LLM могут использовать их как расширенную память для ответов на основе внутренних данных.
▶ 0:00От структурированного машинного обучения к корпоративным неструктурированным данным
Главы
Похожие доклады
Ваш стек LLM — это база данных 2008 года с более удачным маркетингом
AI Engineer World's Fair 2026
Близко по содержанию
RAG в 2025 году: современное состояние и перспективы
AI Engineer World's Fair 2025
Близко по содержанию
Актуальные вызовы AI-инжиниринга
AI Engineer World's Fair 2024
Близко по содержанию
Данные — ваше конкурентное преимущество: создание безопасных и адаптированных ИИ-систем
AI Engineer World's Fair 2025
Близко по содержанию

