20 дней вычислений против 7 часов: переосмысливая понятие state-of-the-art
20 days of compute vs 7 hours: rethinking what state-of-the-art means — Bertrand Charpentier, Pruna AI
Единого state-of-the-art для моделей генерации изображений нет: выбирать стоит по Pareto front, учитывая качество под свою задачу, задержку и стоимость вывода.
- Рейтинги расходятся — на Design Arena, Arena и Artificial Analysis топ-модель разная, а по отдельным задачам (удаление объектов, замена фона, текст) лидеры меняются. Смотреть стоит на рейтинг, близкий к своему сценарию, и на число оценок, которое в публичных лидербордах обычно невелико.
- Метрики тоже шумят — по словам автора, CLIP score у восьми моделей почти не различается и меняет порядок от датасета к датасету, а метрики рендеринга текста дают стабильный порядок и заметные разницы. Сначала нужно понять, что метрика реально измеряет.
- Цена оценки — по словам автора, оценка на примерно 26 тысячах битв заняла около 20 дней вычислений и около 5 тысяч долларов, а та же оценка для модели, которая генерирует за меньше секунды, заняла 7 часов и 265 долларов.
- Несколько моделей на фронте — у моделей с близким Elo скорость отличается в разы, поэтому на Pareto front обычно несколько моделей. Оптимизация FLUX.2 под рендеринг текста, по словам авторов, дала заметный выигрыш по скорости при сохранении качества для этой задачи.
Кому полезно: тем, кто выбирает модель генерации или редактирования изображений для продукта и хочет сравнивать их не по общему рейтингу.
Статья по теме
На какие вопросы отвечает доклад
Почему рейтинги image-моделей на разных лидербордах не совпадают?
Каждый лидерборд ставит первой другую модель, а одна и та же модель может прыгать с 10 места до 5-го. Рейтинги различаются и по отдельным сценариям, например удалению объектов, поэтому нужно смотреть на несколько источников и на свою задачу.
▶ 2:34Почему рейтинги моделей изображений расходятся по результатам разных задачМожно ли выбирать image-модель по метрике CLIP score?
Нельзя полагаться на неё одну: рейтинги по CLIP score меняются от датасета к датасету, а разница между моделями очень мала. Нужно понимать, что измеряет метрика, и брать несколько метрик под задачу, например для рендеринга текста.
▶ 7:24Внутренние бенчмарки, предпочтения аудитории и оценки CLIPКак выбрать image-модель, если важны латентность и цена, а не только качество?
Стоит строить Pareto front: по оси X латентность или цена генерации, по оси Y качество. По словам спикера, на фронте оказываются несколько моделей, а при близком качестве скорость может различаться в разы.
▶ 12:28Вычислительные ресурсы для оценки, энергопотребление и ускорение моделей изображенийСколько стоит оценка image-моделей на десятках тысяч генераций и как сделать её дешевле?
По подсчётам спикера, оценка одного популярного лидерборда заняла около 20 дней вычислений и примерно 5 тысяч долларов. Быстрая модель, по его данным, справилась с тем же объёмом за 7 часов и около 265 долларов.
▶ 12:28Вычислительные ресурсы для оценки, энергопотребление и ускорение моделей изображенийДостаточно ли вручную посмотреть несколько картинок, чтобы выбрать генеративную модель?
Нет: на живом примере зрители расходились во вкусах и меняли мнение, поэтому личные предпочтения и несколько примеров искажают выбор. Нужна оценка многими людьми на большой выборке.
▶ 7:24Внутренние бенчмарки, предпочтения аудитории и оценки CLIPКак ускорить генерацию изображений и видео за счёт сжатия модели?
Спикер называет квантизацию с разной точностью для каждого модуля, прунинг неважных компонентов и сокращение шагов денойзера через дистилляцию или кэширование. По его словам, 20–50 шагов можно уменьшить в несколько раз.
▶ 17:41Вопросы аудитории об сжатии изображений и видео
Главы
Похожие доклады
Сжатие моделей для edge-устройств
Daniel Han, Merve Noyan, Chris Alexiuk, Asma Beevi, Parth Sareen
AI Engineer World's Fair 2026
Близко по содержанию
Игра бенчмарков: почему она подтасована и как действительно победить
AI Engineer World's Fair 2025
Близко по содержанию
Быстрая модель — действительно быстрее? Оценивайте весь процесс
Близко по содержанию
Возможно, вам не нужны 50 шагов диффузии
AI Engineer Europe 2026
Близко по содержанию

