API de Classificação de Dados e recurso Terraform entram em GA

A Data Classification API e seu respectivo recurso no provedor Terraform do Databricks atingiram disponibilidade geral (GA). A novidade permite gerenciar a detecção de dados sensíveis em catálogos do Unity Catalog de forma programática.

Para que serve

Imagine que você precisa padronizar a governança em dezenas de catálogos via pipelines de CI/CD ou IaC (Infraestrutura como Código), sem configurar escaneamentos manualmente pela interface.

Com a API, você pode:

• Ativar a classificação de dados em um catálogo criando sua configuração.
• Delimitar o escopo definindo schemas específicos para incluir ou excluir da varredura.
• Atualizar parâmetros pontuais via PATCH usando máscaras de atualização (update_mask).
• Desativar a classificação removendo o recurso com DELETE.

Como usar

A API opera sob o modelo de no máximo uma configuração por catálogo, usando o endpoint /api/data-classification/v1/{parent=catalogs/*}/config.

curl -X POST https://<databricks-instance>/api/data-classification/v1/catalogs/meu_catalogo/config \
  -H "Authorization: Bearer <seu-token>" \
  -H "Content-Type: application/json" \
  -d '{
    "included_schemas": {
      "names": ["bronze", "silver"]
    }
  }'

O que acontece nesse código:

1. Envia uma requisição POST para registrar a configuração no catálogo meu_catalogo.
2. Define included_schemas para limitar a varredura exclusivamente aos schemas bronze e silver.
3. Cria o recurso e ativa automaticamente o escaneamento para os alvos informados.

Para atualizar os schemas sem recriar o recurso:

curl -X PATCH "https://<databricks-instance>/api/data-classification/v1/catalogs/meu_catalogo/config?update_mask=excluded_schemas" \
  -H "Authorization: Bearer <seu-token>" \
  -H "Content-Type: application/json" \
  -d '{
    "excluded_schemas": {
      "names": ["temp_staging"]
    }
  }'

O que acontece nesse código:

1. Utiliza o verbo PATCH apontando para o identificador do catálogo.
2. Passa o parâmetro update_mask=excluded_schemas na query string para indicar qual campo será alterado.
3. Troca a regra de inclusão para ignorar apenas o schema temp_staging, analisando os demais.

O que retorna

A API retorna a estrutura CatalogConfig:

Campo	Descrição
name	Identificador imutável no formato catalogs/{catalog_name}/config.
included_schemas	Lista de schemas analisados. Mutuamente exclusivo com excluded_schemas.
excluded_schemas	Lista de schemas ignorados na varredura. Mutuamente exclusivo com included_schemas.
auto_tag_configs	Lista de configurações de auto-tagging (tags do sistema ou customizadas) e modos de ativação.

Limitações e requisitos

• Estágio: A API de configuração e o recurso do Terraform estão em GA. A configuração de auto-tagging (auto_tag_configs) continua em Public Preview.
• Permissões: As chamadas exigem o escopo de autenticação dataclassification.
• Regras de escopo: Os campos included_schemas e excluded_schemas são mutuamente exclusivos em uma mesma requisição. Se nenhum dos dois for fornecido, todos os schemas do catálogo são escaneados por padrão.
• Cardinalidade: Existe no máximo uma configuração por catálogo. Criar uma nova configuração onde já existe uma resulta em erro.