Busca vetorial e índices vetoriais no SQL Database do Fabric

O SQL Database no Microsoft Fabric agora possui suporte geral para o tipo de dado VECTOR, funções de distância e índices vetoriais. Isso permite armazenar embeddings diretamente ao lado dos dados relacionais e executar buscas por similaridade sem precisar de serviços externos.

Para que serve

Imagine que você tem um banco de dados de artigos e precisa buscar conteúdos por similaridade semântica para responder perguntas de usuários.

• Armazenar arrays de números (embeddings) de forma otimizada.
• Calcular a distância entre vetores com a função VECTOR_DISTANCE.
• Executar buscas exatas (kNN) e aproximadas (ANN) usando índices baseados no algoritmo DiskANN.

Como usar

Você pode criar vetores convertendo arrays JSON ou usando funções de embedding e realizar consultas de busca exata.

DECLARE @qv VECTOR(1536) = AI_GENERATE_EMBEDDINGS(N'Pink Floyd music style' USE MODEL Ada2Embeddings);
SELECT TOP (10) id, VECTOR_DISTANCE('cosine', @qv, [content_vector]) AS distance, title
FROM [dbo].[wikipedia_articles_embeddings]
ORDER BY distance;

O que acontece nesse código:

1. Declara uma variável @qv do tipo VECTOR(1536) preenchida com o embedding gerado a partir de um texto.
2. Consulta a tabela wikipedia_articles_embeddings buscando os registros mais próximos.
3. Utiliza a função VECTOR_DISTANCE com a métrica 'cosine' para calcular a distância entre o vetor de consulta e a coluna armazenada.
4. Ordena pelo menor valor de distância e retorna os 10 principais resultados.

Limitações e requisitos

• O recurso está em disponibilidade geral (GA) no SQL database em Microsoft Fabric.
• A busca exata é recomendada para volumes menores que 50.000 vetores, enquanto índices vetoriais auxiliam na escala com busca aproximada.