← Каталог

· AI Engineer World's Fair 2026

Практикум по смене моделей: GPT-5.5 против Kimi, DeepSeek и Mistral

The Model Swap Workshop: GPT-5.5 vs Kimi vs DeepSeek vs Mistral — Pamela Fox, Microsoft

Переносимость AI-приложения между моделями проверяют на своих сценариях, потому что общие бенчмарки не показывают, где модель сломается.

  • Сравнение на своих сценариях — на одних и тех же задачах GPT-5.5, Kimi K2.6, DeepSeek V4 Flash и Mistral Large 3 ведут себя по-разному: DeepSeek насчитал шесть букв E вместо тринадцати, а Mistral после разбиения промпта на шаги дал верный ответ. Это демо-прогоны автора, а не рейтинг моделей.
  • Groundedness проверяют напрямую — Mistral отвечал из собственных весов, хотя в источниках этой информации не было. Требование привязывать каждое утверждение к источнику помогло лишь частично.
  • Параллельные вызовы — в тревел-агенте GPT-5.5 параллельно искал рейсы и отели, а Kimi и DeepSeek в этих прогонах делали вызовы по очереди. При оценке важны число вызовов, задержка и точность аргументов, а не только итоговый ответ.
  • Автоматическая оценка — LLM-as-a-judge нужно калибровать на человеческих оценках. ASSERT строит рубрики и тест-кейсы из спецификации, а DSPy с GEPA подбирает промпт, который Mistral выполняет.

Кому полезно: тем, кто переносит AI-приложение с одной модели на другую или выбирает более дешёвую модель для продакшена.

Статья по теме

Главы

Ещё доклады: Pamela Fox

Страница спикера →

Похожие доклады