Скрытая жизнь эмбеддингов
The Hidden Life of Embeddings
Embeddings хранят достаточно деталей, чтобы по ним восстанавливать текст и менять его свойства, двигаясь по направлениям в латентном пространстве.
- Восстановление текста из чужих embeddings — декодер на базе T5 с линейным адаптером, обученным на векторах OpenAI text-embedding-ada-002, по словам спикера, возвращает имена собственные, кавычки и тему исходного текста, хотя сам текст не передаётся.
- Семантические направления — направление, найденное как разница центроидов примеров, например «короче» или «негативнее», сдвигает вектор, и декодер выдаёт текст с нужным свойством; проекция на такие оси позволяет измерять, насколько текст негативный.
- Арифметика векторов в CLIP — интерполяция между фото и карикатурой даёт плавный переход, а сложение и вычитание векторов описаний меняет эмоцию на снимке. Добавление пляжа при этом не сработало, поэтому метод нестабилен.
- Открытые модели — декодеры для текста опубликованы на Hugging Face вместе с Colab-блокнотом для интерполяции и интерпретации признаков.
Кому полезно: тем, кто хочет разбирать и редактировать представления моделей, а не только искать по ним.
Статья по теме
Главы
Похожие доклады
Создание генеративных моделей изображений и видео в больших масштабах
AI Engineer Europe 2026
Близко по содержанию
Современное состояние AI-поиска и извлечения информации
AI Engineer World's Fair 2025
Близко по содержанию
120 тысяч игроков за неделю: уроки первого вирусного приложения на CLIP
AI Engineer Summit 2023
Близко по содержанию
Графы знаний и GraphRAG: методы создания эффективных GenAI-приложений
Michael Hunger, Andreas Kolleger, Tomasz, Zach Blumenthal
AI Engineer World's Fair 2024
Близко по содержанию

