Parâmetros para pipelines do Lakeflow agora estão disponíveis

Para que serve

Imagine que você precisa rodar a mesma lógica de transformação de dados tanto no ambiente de desenvolvimento quanto em produção, alterando apenas o catálogo de destino ou o caminho de origem. Os parâmetros de pipeline evitam que você precise editar o código-fonte manualmente a cada mudança.

• Reutilizar o mesmo código SQL em diferentes catálogos, schemas ou tabelas.
• Definir valores padrão nas configurações do pipeline ou sobrescrevê-los ao iniciar uma atualização.
• Referenciar parâmetros diretamente no código SQL com sintaxe de nomeação.

Como usar

Você pode definir parâmetros em formato JSON nas configurações do seu pipeline e referenciá-los no código SQL.

{
  "name": "Sales pipeline",
  "parameters": {
    "source_catalog": "dev_catalog",
    "source_schema": "sales",
    "start_date": "2026-01-01"
  }
}

O que acontece nesse código:

1. O objeto JSON define o nome do pipeline e o mapa de parâmetros.
2. As chaves source_catalog, source_schema e start_date recebem valores padrão.
3. Esses valores podem ser injetados em consultas SQL durante a execução do pipeline.

Para usar o parâmetro no código SQL, utilize dois pontos na frente do nome:

CREATE OR REFRESH MATERIALIZED VIEW transaction_summary AS
SELECT account_id,
  COUNT(txn_id) AS txn_count,
  SUM(txn_amount) AS account_revenue
FROM :source_catalog.sales.transactions
WHERE txn_date >= :start_date
GROUP BY account_id

O que acontece nesse código:

1. O Databricks substitui :source_catalog pelo valor configurado para o parâmetro.
2. O filtro de data utiliza :start_date para limitar o escopo dos dados processados.
3. A view materializada é criada ou atualizada usando os valores dinâmicos da execução.

Limitações e requisitos

• Recurso disponível em General Availability (GA).
• A sintaxe de parâmetros nomeados funciona exclusivamente em códigos-fonte SQL.
• Pipelines executam apenas uma atualização por vez; o Databricks limita a concorrência para 1 em tarefas encadeadas ou loops para evitar falhas.
• Filtros de data com limites em ambos os lados (início e fim) podem invalidar o processamento incremental e forçar um reprocessamento completo.

Como aplicar num pipeline

Insira os parâmetros na camada Bronze ou Silver dos seus fluxos ETL para alternar dinamicamente entre fontes de dados de teste e produção sem alterar a base de código.