Pular para o conteúdo
Lucas Lessa
Voltar para as notícias
DatabricksGAImpacto: Alto

CDF Automático: rastreio de alterações sem configuração de tabela

O Auto CDF calcula alterações em tempo de consulta usando rastreio de linhas, eliminando o custo de escrita e acelerando comandos MERGE e UPDATE.

O que mudou

O Automatic Change Data Feed (Auto CDF) calcula modificações a nível de linha durante a leitura dos dados, aproveitando o rastreio de linhas no Delta Lake e a linhagem de linhas em tabelas Apache Iceberg v3. Diferente da versão legada, ele não exige configuração manual por tabela e acelera operações de escrita em cerca de 15%. ### Para que serve Imagine que você precisa alimentar pipelines incrementais ou manter trilhas de auditoria sem penalizar a performance de gravação das suas tabelas. - Processar apenas as linhas alteradas em pipelines ETL incrementais. - Sincronizar modificações com sistemas externos ou caches. - Criar trilhas de auditoria para conformidade e governança. ### Como usar Para ler o change data feed em lote usando SQL: sql SELECT * FROM table_changes(' minha_tabela', 0) O que acontece nesse código: 1. A função lê a tabela especificada. 2. O parâmetro 0 define a versão inicial de rastreio. 3. O motor calcula as alterações no momento da consulta. Para ler em streaming utilizando Python: ```python (spark.readStream .option("readChangeFeed", "true") .table("minha_tabela") )

Ver nota oficial do Databricks

Automatic change data feed is now generally available

Resumo e explicação gerados por IA a partir da release note oficial. Em caso de dúvida, a documentação oficial da plataforma prevalece.

Relacionadas