AI Search agora suporta colunas struct, map e consultas de filtro puro

O Databricks AI Search expandiu suas capacidades de indexação e recuperação, permitindo trabalhar com estruturas de dados complexas e realizar consultas puramente relacionais sem vetores ou palavras-chave.

Para que serve

Imagine que você precisa buscar documentos técnicos que contêm metadados aninhados e atributos mapeados, ou quer recuperar registros apenas aplicando regras de negócio condicionais. Com esta novidade, você pode:

• Indexar e filtrar colunas do tipo struct e map.
• Executar consultas que retornam apenas as linhas correspondentes a um filtro, dispensando a busca por similaridade vetorial.

Como usar

Você pode consultar os índices usando o SDK Python do AI Search.

from databricks.ai_search.client import AISearchClient

client = AISearchClient()
index = client.get_index(index_name="meu_catalogo.meu_schema.meu_indice")

results = index.similarity_search(
    query_vector=[0.2, 0.33, 0.19, 0.52],
    columns=["id", "texto"],
    filters="status = 'ativo' AND categoria = 'tecnologia'",
    num_results=10
)

O que acontece nesse código:

1. O cliente do AI Search conecta-se ao índice especificado no Unity Catalog.
2. A função de busca executa a consulta utilizando o vetor fornecido.
3. O parâmetro de filtros aplica uma cláusula condicional estilo SQL para restringir os resultados.
4. Até 10 registros correspondentes são retornados.

Limitações e requisitos

• Para consultar o índice, o usuário precisa ter permissões de USE CATALOG, USE SCHEMA e SELECT no objeto, caso não seja o proprietário.
• O comportamento de sobrecarga de resultados (overfetch) pode ocorrer em endpoints otimizados para armazenamento.