Função ai_parse_document extrai dados de gráficos como JSON estruturado

A função ai_parse_document converte documentos não estruturados em elementos formatados em VARIANT. Agora, elementos de gráficos identificados como figuras também retornam os dados do gráfico em formato JSON estruturado dentro do conteúdo, facilitando o uso por agentes de busca e IA.

Para que serve

Imagine que você tem relatórios em PDF com gráficos de desempenho financeiro e precisa alimentar uma base de busca com esses números.

• Extrair dados de séries, legendas e eixos de gráficos em documentos.
• Integrar informações visuais de gráficos com buscas e agentes de IA.
• Processar arquivos como PDF, DOCX e imagens em pipelines do Databricks.

Como usar

Abaixo temos um exemplo de como aplicar a função em arquivos binários salvos em um volume do Unity Catalog:

SELECT
  path,
  ai_parse_document(
    content,
    map(
      'version', '2.0',
      'imageOutputPath', '/Volumes/catalog/schema/volume/directory/',
      'descriptionElementTypes', '*'
    )
  ) as parsed_doc
FROM READ_FILES('/Volumes/data/documents/', format => 'binaryFile');

O que acontece nesse código:

1. Lê os arquivos binários do diretório especificado usando a função READ_FILES.
2. Aplica a função ai_parse_document informando a versão 2.0 do esquema.
3. Salva imagens renderizadas das páginas no volume do Unity Catalog indicado.
4. Retorna a estrutura completa do documento em formato VARIANT, incluindo gráficos convertidos em JSON.

Limitações e requisitos

• Requer Databricks Runtime 17.3 ou superior.
• Se usar computação serverless, a versão do ambiente deve ser 3 ou superior.
• Disponível apenas em regiões selecionadas com suporte a funções de IA.
• A entrada de arquivos deve estar em formato binário (BINARY), como leituras de volumes via formato binaryFile.