← Каталог

· AI Engineer World's Fair 2024

Создание передовых моделей с открытыми весами для работы с инструментами: семейство Command R

Building SOTA Open Weights Tool Use: The Command R Family

Открытые веса Command R и Command R+ заточены под RAG и многошаговый tool use, и, по словам спикера, Command R+ сравним с GPT-4 Turbo.

  • Типичные сбои RAG — модели чувствительны к формулировке промпта, склонны опираться на начало документа и путают историю диалога с найденным контекстом. По словам спикера, эти поведения вынесены в post-training, и модель сама решает, нужен ли поиск, а не всегда ищет.
  • Многошаговый tool use — модель строит план, после каждого вызова инструмента пересматривает его и при ошибке API повторяет вызов. Многошаговый промпт с описанием этого поведения опубликован на Hugging Face.
  • Открытый UI-тулкит — готовое приложение на Next.js с историей диалогов в небольшой SQL базе, ссылками на источники и выбором модели: через облачных провайдеров, Cohere platform, Hugging Face или локально. Пример retriever построен на LangChain.
  • Цена — по словам спикера, Command R+ конкурирует с Claude Opus и GPT-4 Turbo при стоимости в 3–5 раз ниже. Конкретных цифр бенчмарков в докладе не приводится, а сам доклад в основном презентация продуктов Cohere.

Кому полезно: тем, кто строит RAG или агентные системы с инструментами и думает о self-hosted открытой модели.

Статья по теме

Главы

Похожие доклады