← Каталог

· AI Engineer Summit 2023

Supabase Vector: векторная база данных Postgres

Supabase Vector: The Postgres Vector database

Postgres с pgvector, по словам автора, может заменить отдельную векторную базу, если добавить HNSW-индекс и партиционирование по схожести.

  • HNSW вместо IVFFlat — после критики в твиттере HNSW-индекс для pgvector добавили примерно за месяц; по словам авторов, и число запросов в секунду, и точность выросли.
  • Партиции вместо фильтрации — в примере с пользовательскими изображениями триггер при вставке сравнивает embedding с эталоном и при схожести выше 0.8 кладёт строку в отдельную партицию; ненужные данные удаляются через DROP партиции, а код укладывается примерно в 14 строк SQL.
  • Векторы рядом с данными — embeddings лежат в той же базе, что и остальные данные, поэтому выборка идёт одним запросом, а правила row-level security задаются на тех же таблицах.
  • Шардинг через Citus — по словам авторов, транзакции масштабируются линейно при добавлении узлов; это направление в разработке вместе с командой Citus из Microsoft.

Кому полезно: тем, кто строит RAG на Postgres и решает, нужна ли отдельная векторная база. Доклад во многом презентация Supabase, но инженерная часть в нём конкретная.

Статья по теме

Главы

Похожие доклады