← Каталог

· AI Engineer Summit 2023

Скрытая жизнь эмбеддингов

The Hidden Life of Embeddings

Embeddings хранят достаточно деталей, чтобы по ним восстанавливать текст и менять его свойства, двигаясь по направлениям в латентном пространстве.

  • Восстановление текста из чужих embeddings — декодер на базе T5 с линейным адаптером, обученным на векторах OpenAI text-embedding-ada-002, по словам спикера, возвращает имена собственные, кавычки и тему исходного текста, хотя сам текст не передаётся.
  • Семантические направления — направление, найденное как разница центроидов примеров, например «короче» или «негативнее», сдвигает вектор, и декодер выдаёт текст с нужным свойством; проекция на такие оси позволяет измерять, насколько текст негативный.
  • Арифметика векторов в CLIP — интерполяция между фото и карикатурой даёт плавный переход, а сложение и вычитание векторов описаний меняет эмоцию на снимке. Добавление пляжа при этом не сработало, поэтому метод нестабилен.
  • Открытые модели — декодеры для текста опубликованы на Hugging Face вместе с Colab-блокнотом для интерполяции и интерпретации признаков.

Кому полезно: тем, кто хочет разбирать и редактировать представления моделей, а не только искать по ним.

Статья по теме

Главы

Похожие доклады