· AI Engineer World's Fair 2026
Практикум по смене моделей: GPT-5.5 против Kimi, DeepSeek и Mistral
The Model Swap Workshop: GPT-5.5 vs Kimi vs DeepSeek vs Mistral — Pamela Fox, Microsoft
Переносимость AI-приложения между моделями проверяют на своих сценариях, потому что общие бенчмарки не показывают, где модель сломается.
- Сравнение на своих сценариях — на одних и тех же задачах GPT-5.5, Kimi K2.6, DeepSeek V4 Flash и Mistral Large 3 ведут себя по-разному: DeepSeek насчитал шесть букв E вместо тринадцати, а Mistral после разбиения промпта на шаги дал верный ответ. Это демо-прогоны автора, а не рейтинг моделей.
- Groundedness проверяют напрямую — Mistral отвечал из собственных весов, хотя в источниках этой информации не было. Требование привязывать каждое утверждение к источнику помогло лишь частично.
- Параллельные вызовы — в тревел-агенте GPT-5.5 параллельно искал рейсы и отели, а Kimi и DeepSeek в этих прогонах делали вызовы по очереди. При оценке важны число вызовов, задержка и точность аргументов, а не только итоговый ответ.
- Автоматическая оценка — LLM-as-a-judge нужно калибровать на человеческих оценках. ASSERT строит рубрики и тест-кейсы из спецификации, а DSPy с GEPA подбирает промпт, который Mistral выполняет.
Кому полезно: тем, кто переносит AI-приложение с одной модели на другую или выбирает более дешёвую модель для продакшена.
Статья по теме
Главы
Ещё доклады: Pamela Fox
Страница спикера →Запуск AI-приложения за минуты: быстрый старт с AI-шаблонами
Harald Kirschner, Pamela Fox, Gabriela de Queiroz
AI Engineer World's Fair 2024
Запуск AI-приложения за минуты: быстрый старт с AI-шаблонами
Pamela Fox, Gabriela de Queiroz, Aishwarya Srinivasan
AI Engineer World's Fair 2024
Похожие доклады
Оценить оценщика: как создавать действительно работающие LLM-оценщики с GEPA
AI Engineer Europe 2026
Близко по содержанию
Быстрая модель — действительно быстрее? Оценивайте весь процесс
Близко по содержанию
Как устроены большие языковые модели Mistral AI
Devendra Chaplot, Devendra Singh Chaplot
AI Engineer World's Fair 2024
Близко по содержанию
Как написать свой первый AI eval
Близко по содержанию

