Exclusão de pipeline do Unity Catalog agora retém tabelas por padrão

Ao excluir um pipeline do Unity Catalog que usa o modo padrão de publicação, a interface e a API de exclusão mantêm as tabelas, visões e visões materializadas associadas. As tabelas retidas continuam acessíveis para consulta, mas não podem sofrer atualizações até serem vinculadas a um novo pipeline ativo. Para remover o pipeline e todas as tabelas conjuntamente, é necessário configurar o parâmetro de exclusão em cascata na requisição.

Para que serve

Imagine que você precisa remover um pipeline de ingestão obsoleto, mas quer garantir que os dados já processados e as tabelas downstream não sejam apagados por engano.

• Evita a perda acidental de dados ao excluir um pipeline.
• Permite consultar tabelas órfãs até que sejam realocadas.
• Garante controle explícito via API para remoção completa.

Como usar

Para excluir o pipeline e manter as tabelas associadas, utilize o método HTTP DELETE na API de pipelines.

curl -X DELETE "https://<databricks-instance>/api/2.0/pipelines/<pipeline_id>" \
  -H "Authorization: Bearer <token>"

O que acontece nesse código:

1. A requisição DELETE é enviada para o endpoint do pipeline específico.
2. O Databricks remove o pipeline.
3. As tabelas e visões associadas são mantidas no Unity Catalog no estado de retenção.

Para excluir o pipeline e remover todas as tabelas em cascata, adicione o parâmetro correspondente.

curl -X DELETE "https://<databricks-instance>/api/2.0/pipelines/<pipeline_id>?cascade=true" \
  -H "Authorization: Bearer <token>"

O que acontece nesse código:

1. A requisição DELETE inclui o parâmetro para exclusão em cascata.
2. O Databricks remove tanto o pipeline quanto os recursos associados.

Limitações e requisitos

• Válido apenas para pipelines do Unity Catalog que usam o modo de publicação padrão.
• Não afeta pipelines baseados no Hive metastore.
• Tabelas retidas não podem ser atualizadas até serem associadas a um novo pipeline ativo.