← Каталог

· AI Engineer Europe 2026

20 дней вычислений против 7 часов: переосмысливая понятие state-of-the-art

20 days of compute vs 7 hours: rethinking what state-of-the-art means — Bertrand Charpentier, Pruna AI

Единого state-of-the-art для моделей генерации изображений нет: выбирать стоит по Pareto front, учитывая качество под свою задачу, задержку и стоимость вывода.

  • Рейтинги расходятся — на Design Arena, Arena и Artificial Analysis топ-модель разная, а по отдельным задачам (удаление объектов, замена фона, текст) лидеры меняются. Смотреть стоит на рейтинг, близкий к своему сценарию, и на число оценок, которое в публичных лидербордах обычно невелико.
  • Метрики тоже шумят — по словам автора, CLIP score у восьми моделей почти не различается и меняет порядок от датасета к датасету, а метрики рендеринга текста дают стабильный порядок и заметные разницы. Сначала нужно понять, что метрика реально измеряет.
  • Цена оценки — по словам автора, оценка на примерно 26 тысячах битв заняла около 20 дней вычислений и около 5 тысяч долларов, а та же оценка для модели, которая генерирует за меньше секунды, заняла 7 часов и 265 долларов.
  • Несколько моделей на фронте — у моделей с близким Elo скорость отличается в разы, поэтому на Pareto front обычно несколько моделей. Оптимизация FLUX.2 под рендеринг текста, по словам авторов, дала заметный выигрыш по скорости при сохранении качества для этой задачи.

Кому полезно: тем, кто выбирает модель генерации или редактирования изображений для продукта и хочет сравнивать их не по общему рейтингу.

Статья по теме

На какие вопросы отвечает доклад

Главы

Похожие доклады