· AI Engineer World's Fair 2026
Обучение Krea 2: что важно при обучении генеративных моделей
Training Krea 2 - What matters in generative model training.
По опыту автора Krea 2, главный рычаг качества генеративной модели изображений — данные, а не архитектура.
- Отказ от синтетики — обучение на AI-картинках даёт короткий путь к хорошей модели, но закрепляет эстетику ChatGPT и Nano Banana, поэтому такие изображения из обучения почти убрали.
- Фильтры под слепые места подписей — VLM стабильно не упоминала рамку и белый фон у картин, и модель начинала рисовать все картины на белой стене; такие примеры отсекали или недовыбирали.
- Дедупликация в два этапа — сначала pHash и MD5, затем SigLIP и SSCD для почти дубликатов; решения большой VLM переносили в маленький SigLIP-классификатор, который можно гонять по миллиардам картинок.
- Sparse autoencoder как теггер — признаки, найденные в SAE по vision-модели, помогают находить водяные знаки и рамки и выбрасывать их из выборки.
Кому полезно: тем, кто собирает датасеты для обучения или дообучения image-моделей.
Главы
Похожие доклады
Moondream: как такая маленькая vision-модель так круто справляется?
AI Engineer World's Fair 2024
Близко по содержанию
Современное состояние генеративных медиа
AI Engineer World's Fair 2025
Близко по содержанию
Контекст — не память. Память — это обновление весов
AI Engineer Code 2025
Близко по содержанию
Создание генеративных моделей изображений и видео в больших масштабах
AI Engineer Europe 2026
Близко по содержанию
