Construa pipelines de documentos com o Genie Code

O Genie Code agora automatiza a criação de pipelines de processamento de documentos não estruturados, orquestrando etapas de parsing, classificação, extração e validação. Ele utiliza funções de IA para transformar PDFs, contratos e faturas em dados estruturados salvos no Unity Catalog. ### Para que serve Imagine que você precisa processar milhares de contratos ou faturas em PDF e salvá-los em tabelas estruturadas. Com o Genie Code, você pode: - Descobrir e monitorar arquivos de origem em volumes do Unity Catalog. - Analisar e extrair conteúdo estruturado, texto, tabelas e layouts de documentos. - Classificar documentos em categorias personalizadas. - Avaliar a qualidade das extrações usando dados rotulados e iterar para melhorar os resultados. ### Como usar Para criar um pipeline ou interagir com seus dados, abra o Genie Code na página de Jobs & Pipelines ou no SQL editor e informe o seu objetivo por meio de comandos em linguagem natural. Exemplos de prompts: ```sql -- Construir um pipeline de ponta a ponta a partir de um volume "Contracts land in @my_catalog.raw.contracts. Build a daily job that classifies each into affiliate, marketing, consulting, hosting, and escrow; extracts the fields that matter for each type of contract; and writes gold tables."

-- Avaliar e melhorar a qualidade da extração "How do I know this is good enough to run on millions of rows? Evaluate the extraction against my labeled table @my_catalog.default.eval_table and tell me which fields are weakest." ``` O que acontece nesse código: 1. O Genie Code interpreta o prompt em linguagem natural para entender o objetivo e as fontes de dados especificadas. 2. Ele cria ou ajusta automaticamente a estrutura do Lakeflow job e aplica as funções de IA necessárias. 3. O sistema avalia a qualidade da extração ou executa o fluxo conforme solicitado, permitindo revisões antes de rodar em escala. ### Limitações e requisitos - Requisitos de recursos do Genie Code e das AI Functions (ai_parse_document, ai_extract e ai_classify), que rodam em computação serverless ou SQL warehouse em regiões suportadas. - Acesso via Unity Catalog a um volume contendo os documentos de origem e a um esquema para os resultados.