Criar um índice IVF

Nesta página, descrevemos como usar embeddings armazenadas para gerar índices e consultar embeddings usando um índice IVF com o AlloyDB para PostgreSQL. Para mais informações sobre como armazenar embeddings, consulte Armazenar embeddings de vetor.

Antes de começar

Antes de começar a criar índices, conclua os seguintes pré-requisitos.

Criar um índice IVF

O pgvector padrão oferece suporte à pesquisa de vizinho mais próximo aproximado por indexação. O AlloyDB adiciona a esse suporte um recurso de quantização escalar, que você pode especificar ao criar um índice. Quando ativada, a quantização escalar pode acelerar significativamente consultas que têm vetores dimensionais maiores e permite armazenar vetores com até 8.000 dimensões.

Para ativar a quantização escalar em um índice baseado em pgvector, especifique IVF como o método de índice e SQ8 como o quantizador:

CREATE INDEX INDEX_NAME ON TABLE
  USING ivf (EMBEDDING_COLUMN DISTANCE_FUNCTION)
  WITH (lists = LIST_COUNT, quantizer = 'QUANTIZER');

Substitua:

  • INDEX_NAME: o nome do índice que você quer criar, por exemplo, my-ivf-index. Os nomes de índice são compartilhados em todo o banco de dados. Verifique se cada nome de índice é exclusivo para cada tabela no banco de dados.

  • TABLE: a tabela em que o índice será adicionado.

  • EMBEDDING_COLUMN: uma coluna que armazena dados de vector.

  • DISTANCE_FUNCTION: a função de distância a ser usada com esse índice. Escolha uma destas opções:

    • Distância de L2: vector_l2_ops

    • Produto interno: vector_ip_ops

    • Distância do cosseno: vector_cosine_ops

  • LIST_COUNT: o número de listas a serem usadas com esse índice. Para mais informações sobre como decidir esse valor, consulte Ajustar um índice IVF.

  • QUANTIZER: o tipo de quantizador que você quer usar.

    Defina como uma destas opções:

    • SQ8: recomendado. Resposta de consulta mais rápida, mas resulta em alguma perda de recall, o que não afeta os cenários de produção.
    • FLAT: resposta de consulta mais lenta e maior uso de memória, mas pode atingir uma perda de recall insignificante.

    Para criar esse índice em uma coluna de incorporação que usa o tipo de dados real[] em vez de vector, converta a coluna no tipo de dados vector:

CREATE INDEX INDEX_NAME ON TABLE
  USING ivf (CAST(EMBEDDING_COLUMN AS vector(DIMENSIONS)))'}} DISTANCE_FUNCTION)
  WITH (lists = LIST_COUNT, quantizer = 'SQ8');

Substitua DIMENSIONS pela largura dimensional da coluna de embedding. Para mais informações sobre como encontrar as dimensões, consulte a função vector_dims em Funções de vetor.

Para conferir o progresso da indexação, use a visualização pg_stat_progress_create_index:

SELECT * FROM pg_stat_progress_create_index;

A coluna phase mostra o estado atual da criação do índice, e a fase building postings indica que a criação do índice está quase concluída.

Para ajustar o índice para um recall desejado e um equilíbrio de QPS, consulte Ajustar um índice IVF.

Executar uma consulta

Depois de armazenar e indexar os embeddings no banco de dados, você pode começar a consultar usando a funcionalidade de consulta pgvector.

Para encontrar os vizinhos semânticos mais próximos de um vetor de embedding, execute a consulta de exemplo a seguir, em que você define a mesma função de distância usada durante a criação do índice.

  SELECT * FROM TABLE
    ORDER BY EMBEDDING_COLUMN DISTANCE_FUNCTION_QUERY ['EMBEDDING']
    LIMIT ROW_COUNT

Substitua o seguinte:

  • TABLE: a tabela que contém o embedding com o qual você vai comparar o texto.

  • INDEX_NAME: o nome do índice que você quer usar. Por exemplo, my-scann-index.

  • EMBEDDING_COLUMN: a coluna que contém os embeddings armazenados.

  • DISTANCE_FUNCTION_QUERY: a função de distância a ser usada com essa consulta. Escolha uma das seguintes opções com base na função de distância usada ao criar o índice:

    • Distância de L2: <->

    • Produto interno: <#>

    • Distância do cosseno: <=>

  • EMBEDDING: o vetor de embedding para encontrar os vizinhos semânticos armazenados mais próximos.

  • ROW_COUNT: o número de linhas que serão retornadas.

    Especifique 1 se você quiser apenas a melhor correspondência.

Para mais exemplos de consultas, consulte Consultas.

Você também pode usar a função embedding() para traduzir o texto em um vetor. Você aplica o vetor a um dos operadores de vizinho mais próximo pgvector, <-> para distância L2, para encontrar as linhas do banco de dados com os embeddings mais semanticamente semelhantes.

Como embedding() retorna uma matriz real, é necessário transmitir explicitamente a chamada embedding() para vector para usar esses valores com operadores pgvector.

A seguir