← Каталог

· AI Engineer World's Fair 2024

Cohere для руководителей AI-направлений

Cohere for VPs of AI

Reranker перед генерацией, по словам авторов, даёт точный контекст для RAG и снижает стоимость запросов к LLM.

  • Reranker перед LLM — модель переупорядочивает результаты поиска, прежде чем контекст уйдет в генеративную модель. По словам спикера, точный контекст означает меньше токенов на вход, а входные токены составляют основную часть стоимости.
  • Встроенные цитаты — ссылки на источники в RAG-ответах приходят из API, разработчику не нужно собирать их самостоятельно. Спикер считает это обязательным для RAG-приложений.
  • Развертывание под контроль данных — модели доступны в SaaS, в основных облаках, в приватном облаке и на собственном железе. Дообучение можно проводить в приватной среде, а данные клиентов, по заявлению компании, не используются для обучения моделей.
  • Оценки под отрасли — проверка идет на задачах медицины, HR и финансов, а не только на академических бенчмарках. По словам спикера, это определяет, какие версии моделей выпускаются.

Кому полезно: тем, кто строит RAG на корпоративных данных и выбирает между облачным API и развертыванием в своем контуре.

Статья по теме

На какие вопросы отвечает доклад

  • Как reranker помогает RAG-системе точнее выбирать документы для контекста?

    Cross-encoder переупорядочивает результаты лексического и векторного поиска и отправляет в контекст модели только нужные документы. По словам докладчика, это снижает стоимость, потому что основная часть расходов уходит на входные токены.

    ▶ 5:46Цитирование в RAG, многоязычные возможности и embeddings
  • Нужен ли отдельный классификатор текста или в продакшене хватит генеративной модели?

    Для прототипа достаточно готовой генеративной модели. В продакшене выбор зависит от стоимости эксплуатации, сопровождения и масштаба: при десятках тысяч запросов в секунду спикер советует специализированную модель.

    ▶ 13:27Вопросы аудитории о классификации и эволюции моделей
  • Как адаптировать LLM под предметную область компании: полное переобучение или дообучение верхних слоёв?

    Компания предлагает полное переобучение базовой модели на корпоративных данных и самообслуживаемое дообучение последних слоёв на платформе. По словам докладчика, данные клиентов для обучения моделей не используются.

    ▶ 1:36Command R, Command R+, reranking и корпоративные оценки
  • Как получать ссылки на источники в ответах RAG без дополнительной разработки?

    Цитаты для ответов RAG работают в API из коробки, разработчику не нужно писать дополнительный код. Докладчик называет это обязательным для большинства RAG-приложений.

    ▶ 5:46Цитирование в RAG, многоязычные возможности и embeddings
  • Хватает ли контекстного окна в 128K токенов для продакшен-задач?

    Новое поколение моделей Cohere поддерживает 128K токенов входного контекста. По словам спикера, для большинства приложений размер контекста уже не проблема, хотя его планируют увеличивать.

    ▶ 13:27Вопросы аудитории о классификации и эволюции моделей

Главы

Ещё доклады: Vivek Muppalla

Страница спикера →

Похожие доклады