Disparadores de jobs por atualização em OpenSharing e tabelas do sistema

Os gatilhos de atualização de tabela em Lakeflow Jobs agora suportam o monitoramento de objetos compartilhados via OpenSharing e tabelas do sistema. Isso permite automatizar execuções de jobs assim que novos dados chegarem em fontes externas ou em registros internos da plataforma.

Para que serve

Imagine que você precisa rodar um job de transformação assim que novos registros de faturamento caírem nas tabelas do sistema ou quando um parceiro atualizar uma tabela compartilhada.

• Iniciar pipelines quando tabelas do sistema recebem novos dados.
• Automatizar processamentos baseados em atualizações de objetos OpenSharing.
• Controlar o fluxo usando critérios de tempo mínimo e espera após a última alteração.

Como usar

Configure os gatilhos diretamente na interface do Databricks na seção de agendamentos ou via Jobs API.

1. No painel esquerdo do workspace, clique em Jobs & Pipelines.
2. Selecione o job desejado e vá em Schedules & Triggers.
3. Clique em Add trigger e selecione Table update.
4. Adicione as tabelas do sistema ou objetos OpenSharing desejados e salve.

Limitações e requisitos

• O principal configurado no campo Run as precisa ter permissão SELECT em cada objeto monitorado.
• O limite máximo é de 1.000 gatilhos de atualização de tabela em objetos OpenSharing ou tabelas do sistema por workspace.
• Domínios regulatórios cruzados no OpenSharing não são suportados para esses gatilhos.

Como aplicar num pipeline

Use essa funcionalidade para iniciar camadas Silver ou Gold logo após a ingestão de dados em tabelas do sistema ou recebimento de dados via OpenSharing, eliminando a necessidade de clusters contínuos.