CDF Automático: rastreio de alterações sem configuração de tabela
O Auto CDF calcula alterações em tempo de consulta usando rastreio de linhas, eliminando o custo de escrita e acelerando comandos MERGE e UPDATE.
O que mudou
O Automatic Change Data Feed (Auto CDF) calcula modificações a nível de linha durante a leitura dos dados, aproveitando o rastreio de linhas no Delta Lake e a linhagem de linhas em tabelas Apache Iceberg v3. Diferente da versão legada, ele não exige configuração manual por tabela e acelera operações de escrita em cerca de 15%. ### Para que serve Imagine que você precisa alimentar pipelines incrementais ou manter trilhas de auditoria sem penalizar a performance de gravação das suas tabelas. - Processar apenas as linhas alteradas em pipelines ETL incrementais. - Sincronizar modificações com sistemas externos ou caches. - Criar trilhas de auditoria para conformidade e governança. ### Como usar Para ler o change data feed em lote usando SQL: sql SELECT * FROM table_changes(' minha_tabela', 0) O que acontece nesse código: 1. A função lê a tabela especificada. 2. O parâmetro 0 define a versão inicial de rastreio. 3. O motor calcula as alterações no momento da consulta. Para ler em streaming utilizando Python: ```python
(spark.readStream
.option("readChangeFeed", "true")
.table("minha_tabela")
)
- delta lake
- change data feed
- unity catalog
- databricks runtime
- iceberg
Automatic change data feed is now generally available
Resumo e explicação gerados por IA a partir da release note oficial. Em caso de dúvida, a documentação oficial da plataforma prevalece.
Relacionadas
- DatabricksGA
Repositórios de pacotes em nível de workspace para Databricks Apps
Administradores de workspace podem configurar repositórios padrão de pacotes Python e npm para Databricks Apps.
databricks apps · workspace settings - DatabricksGA
Redimensione partições de stateful streaming sem perder o checkpoint no Databricks
Agora é possível alterar o número de partições de shuffle em queries Structured Streaming e pipelines Lakeflow sem descartar o estado do checkpoint.
structured streaming · lakeflow - DatabricksAtualização
Google Gemini 4 Argon disponível no Unity Gateway do Databricks
O modelo multimodal Google Gemini 4 Argon já pode ser acessado via Foundation Model APIs e Unity Gateway.
unity catalog · foundation model apis