Databricks: veja quais trechos apoiam cada resposta do ai_search

A função ai_search agora conta com a opção generate_citations, permitindo rastrear quais documentos recuperados deram suporte à resposta sintetizada pelo modelo.

Para que serve

Imagine que você construiu um fluxo de RAG utilizando buscas em índices vetoriais ou tabelas sincronizadas e precisa auditar a precisão das respostas fornecidas.

• Rastrear os trechos exatos de documentos usados em respostas geradas por IA.
• Auditoria e validação de respostas em pipelines de RAG em lote.
• Exposição de buscas contextuais em sistemas de IA compostos.

Como usar

Execute a função ai_search no editor SQL passando a opção de gerar citações junto com a fonte de conhecimento.

SELECT ai_search(
  'Como configuro o auto-scaling para o meu SQL warehouse?',
  PARSE_JSON('[{
    "type": "vector_search",
    "config": {
      "index_name": "prod_catalog.docs.support_articles",
      "text_col": "article_body",
      "doc_uri_col": "article_url"
    }
  }]'),
  options => map('generate_answer', 'true', 'generate_citations', 'true')
) AS result;

O que acontece nesse código:

1. A função realiza a busca semântica no índice vetorial especificado com base na pergunta em linguagem natural.
2. O modelo gera uma resposta sintetizada a partir dos documentos encontrados.
3. A opção generate_citations retorna o índice dos trechos utilizados para fundamentar o texto gerado.

O que retorna

Campo	Descrição
document	Array de documentos recuperados ordenados por relevância.
document[].page_content	Conteúdo textual do trecho recuperado.
document[].doc_uri	URI do documento de origem.
document[].metadata	Metadados adicionais do índice.
answer	Resposta sintetizada em linguagem natural a partir dos documentos.
citations	Array contendo a posição (document_index) dos trechos usados pelo modelo para apoiar a resposta.

Limitações e requisitos

• Recurso em estágio Beta.
• Requer Databricks Runtime 18.2 ou superior.
• A opção generate_citations exige que generate_answer esteja configurada como true.
• Requer computação serverless com versão 3 ou superior se utilizar serverless.

Como aplicar num pipeline

Essa função entra na camada de consumo ou em pipelines de RAG para enriquecer dados operacionais, permitindo que aplicações alimentadas por IA retornem tanto a resposta quanto a evidência documental correspondente.