Pipelines integrados de CDC para MySQL chegam em GA no Databricks

O pipeline integrado de CDC para MySQL já está em disponibilidade geral (GA). O recurso unifica a extração do binlog e a aplicação das alterações em uma única execução de pipeline, dispensando o uso de gateways dedicados.

Para que serve

Imagine que você precisa replicar tabelas relacionais do MySQL para o Databricks em lotes agendados, sem pagar por computação contínua nem gerenciar infraestrutura intermediária. Com o pipeline integrado, você pode:

• Executar extração e merge em um só ciclo de atualização.
• Replicar tabelas individuais ou esquemas inteiros via conexão do Unity Catalog.
• Fazer refresh completo automático quando necessário, capacidade não suportada na arquitetura baseada em gateway.

Como usar

A configuração pode ser feita via Databricks Asset Bundles, SDK em Python, CLI ou REST API. Veja a definição em um arquivo de bundle YAML:

resources:
  pipelines:
    meu_pipeline_cdc:
      name: "cdc-mysql-lakeflow"
      catalog: "meu_catalogo"
      schema: "bronze"
      ingestion_definition:
        connection_name: "conexao_mysql_uc"
        connector_type: CDC
        objects:
          - table:
              source_schema: "meu_banco"
              source_table: "clientes"
              destination_catalog: "meu_catalogo"
              destination_schema: "bronze"
              destination_table: "clientes"
              table_configuration:
                scd_type: "SCD_TYPE_1"

O que acontece nesse código:

1. Define o pipeline gerenciado apontando para uma conexão do Unity Catalog (conexao_mysql_uc).
2. Especifica o tipo de conector como CDC para a tabela de origem clientes.
3. Grava as alterações na tabela de destino em meu_catalogo.bronze utilizando a estratégia SCD_TYPE_1.

Limitações e requisitos

• Estágio: Geralmente disponível (GA).
• Computação: Exige classic compute (mínimo recomendado de 8 núcleos para a extração). Computação serverless não é suportada. O plano de computação precisa alcançar a instância MySQL via rede (VPC peering, endpoints públicos, Direct Connect ou VPN).
• Modo de execução: Opera por padrão no modo disparado (triggered). Modo contínuo está em Beta. O intervalo recomendado de agendamento é de 60 minutos ou mais.
• Permissões: Exige USE CONNECTION (ou CREATE CONNECTION) no Unity Catalog, USE CATALOG no catálogo de destino, além de USE SCHEMA, CREATE TABLE e CREATE VOLUME no esquema de destino ou de staging.

Como aplicar num pipeline

O pipeline alimenta a camada Bronze como streaming tables no Unity Catalog com garantia de entrega exactly-once, deixando os dados prontos para transformações incrementais nas camadas Silver e Gold.