· AI Engineer World's Fair 2024
Cohere для руководителей AI-направлений
Cohere for VPs of AI
Reranker перед генерацией, по словам авторов, даёт точный контекст для RAG и снижает стоимость запросов к LLM.
- Reranker перед LLM — модель переупорядочивает результаты поиска, прежде чем контекст уйдет в генеративную модель. По словам спикера, точный контекст означает меньше токенов на вход, а входные токены составляют основную часть стоимости.
- Встроенные цитаты — ссылки на источники в RAG-ответах приходят из API, разработчику не нужно собирать их самостоятельно. Спикер считает это обязательным для RAG-приложений.
- Развертывание под контроль данных — модели доступны в SaaS, в основных облаках, в приватном облаке и на собственном железе. Дообучение можно проводить в приватной среде, а данные клиентов, по заявлению компании, не используются для обучения моделей.
- Оценки под отрасли — проверка идет на задачах медицины, HR и финансов, а не только на академических бенчмарках. По словам спикера, это определяет, какие версии моделей выпускаются.
Кому полезно: тем, кто строит RAG на корпоративных данных и выбирает между облачным API и развертыванием в своем контуре.
Статья по теме
На какие вопросы отвечает доклад
Как reranker помогает RAG-системе точнее выбирать документы для контекста?
Cross-encoder переупорядочивает результаты лексического и векторного поиска и отправляет в контекст модели только нужные документы. По словам докладчика, это снижает стоимость, потому что основная часть расходов уходит на входные токены.
▶ 5:46Цитирование в RAG, многоязычные возможности и embeddingsНужен ли отдельный классификатор текста или в продакшене хватит генеративной модели?
Для прототипа достаточно готовой генеративной модели. В продакшене выбор зависит от стоимости эксплуатации, сопровождения и масштаба: при десятках тысяч запросов в секунду спикер советует специализированную модель.
▶ 13:27Вопросы аудитории о классификации и эволюции моделейКак адаптировать LLM под предметную область компании: полное переобучение или дообучение верхних слоёв?
Компания предлагает полное переобучение базовой модели на корпоративных данных и самообслуживаемое дообучение последних слоёв на платформе. По словам докладчика, данные клиентов для обучения моделей не используются.
▶ 1:36Command R, Command R+, reranking и корпоративные оценкиКак получать ссылки на источники в ответах RAG без дополнительной разработки?
Цитаты для ответов RAG работают в API из коробки, разработчику не нужно писать дополнительный код. Докладчик называет это обязательным для большинства RAG-приложений.
▶ 5:46Цитирование в RAG, многоязычные возможности и embeddingsХватает ли контекстного окна в 128K токенов для продакшен-задач?
Новое поколение моделей Cohere поддерживает 128K токенов входного контекста. По словам спикера, для большинства приложений размер контекста уже не проблема, хотя его планируют увеличивать.
▶ 13:27Вопросы аудитории о классификации и эволюции моделей
Главы
Ещё доклады: Vivek Muppalla
Страница спикера →После 200 миллионов взаимодействий с пациентами: что упускает универсальный голосовой стек
AI Engineer World's Fair 2026
Похожие доклады
RAG для руководителей AI-направлений
AI Engineer World's Fair 2024
Близко по содержанию
Ускорьте внедрение ИИ с каталогом моделей Azure AI
AI Engineer World's Fair 2024
Близко по содержанию
Deep Research в корпоративной среде: новое главное приложение для корпоративного ИИ
AI Engineer Code 2025
Близко по содержанию
RAG в 2025 году: современное состояние и перспективы
AI Engineer World's Fair 2025
Близко по содержанию

