Быстрая модель — действительно быстрее? Оценивайте весь процесс
Is a Faster Model Actually Faster? Test the Whole Job — Morgan Suo, MiniMax
Скорость модели стоит оценивать по времени и стоимости готового проверяемого отчёта, а не по скорости генерации токенов.
- Полный путь задачи — замеряйте время и стоимость отчёта вместе с неудачными попытками, retrieval, tool calls, retries и ручной правкой, а не только скорость одного запроса.
- Средние оценки скрывают регрессии — в тесте 4-битного KV cache средний балл почти не изменился, а один показатель, по словам авторов, упал примерно на 6,6 пункта; проверяйте модель на своих задачах и источниках.
- Нагрузка против задержки — при росте параллельных запросов с 32 до 64 выход в секунду вырос примерно в 1,9 раза, но P95-задержка до первого токена заметно выросла; задайте дедлайн на готовый результат и выбирайте нагрузку под него.
- Режим рассуждений — в тесте на кодинг режим
highдавал меньше выходных токенов, чемmax, но точность, по сообщению, упала с 80% до 68%; бюджет reasoning стоит подбирать под задачу и фиксировать в настройках.
Кому полезно: тем, кто решает, переводить ли рабочий процесс с LLM на более быструю модель. По сути это презентация M3.1 Flash от MiniMax, но методика проверки применима к любой модели.
Статья по теме
Главы
Похожие доклады
Как инференс успевает за ненасытным спросом на токены
AI Engineer World's Fair 2026
Близко по содержанию
20 дней вычислений против 7 часов: переосмысливая понятие state-of-the-art
AI Engineer Europe 2026
Близко по содержанию
Как создавали MiniMax M3: разреженное внимание и нативная мультимодальность
Близко по содержанию
Одна модель — разная скорость: почему важен провайдер инференса
AI Engineer World's Fair 2026
Близко по содержанию

