← Каталог

Быстрая модель — действительно быстрее? Оценивайте весь процесс

Is a Faster Model Actually Faster? Test the Whole Job — Morgan Suo, MiniMax

Скорость модели стоит оценивать по времени и стоимости готового проверяемого отчёта, а не по скорости генерации токенов.

  • Полный путь задачи — замеряйте время и стоимость отчёта вместе с неудачными попытками, retrieval, tool calls, retries и ручной правкой, а не только скорость одного запроса.
  • Средние оценки скрывают регрессии — в тесте 4-битного KV cache средний балл почти не изменился, а один показатель, по словам авторов, упал примерно на 6,6 пункта; проверяйте модель на своих задачах и источниках.
  • Нагрузка против задержки — при росте параллельных запросов с 32 до 64 выход в секунду вырос примерно в 1,9 раза, но P95-задержка до первого токена заметно выросла; задайте дедлайн на готовый результат и выбирайте нагрузку под него.
  • Режим рассуждений — в тесте на кодинг режим high давал меньше выходных токенов, чем max, но точность, по сообщению, упала с 80% до 68%; бюджет reasoning стоит подбирать под задачу и фиксировать в настройках.

Кому полезно: тем, кто решает, переводить ли рабочий процесс с LLM на более быструю модель. По сути это презентация M3.1 Flash от MiniMax, но методика проверки применима к любой модели.

Статья по теме

Главы

Похожие доклады