Lakeflow Connect adiciona conector gerenciado para logs do Box

O Databricks disponibilizou em Beta o conector gerenciado de Box Audit Logs no Lakeflow Connect. O recurso permite ingerir registros corporativos de auditoria da plataforma Box diretamente em tabelas governadas no Databricks.

Para que serve

Imagine que a equipe de segurança e compliance precisa centralizar logs de acesso a arquivos, ações de usuários e alterações de configuração realizadas no Box para análise em conjunto com outros logs de infraestrutura. Com este conector, você pode:

• Ingerir dados de auditoria do Box de forma incremental e automatizada.
• Centralizar a governança dos dados ingeridos sob o Unity Catalog.
• Orquestrar a ingestão de registros via Databricks Workflows ou Declarative Automation Bundles (DABs).

Como usar

A configuração do conector é gerenciada através de conexões no Unity Catalog e pipelines no Lakeflow Connect. As etapas incluem:

1. Configuração no Box: O administrador configura a autenticação de servidor do Box usando o fluxo OAuth Machine-to-Machine com Client Credentials Grant (CCG).
2. Criação da conexão no Databricks: O administrador cria a conexão no Catalog Explorer ou via API para permitir que os usuários criem pipelines de dados.
3. Criação do pipeline de ingestão: Administradores ou usuários autorizados criam o pipeline pela interface web, API ou Declarative Automation Bundles apontando para a conexão existente.

Limitações e requisitos

• Estágio: Disponível em Beta. O administrador do workspace precisa habilitar a opção Lakeflow Connect for Box Audit Logs na página de Previews.
• Autenticação: Suporta apenas OAuth M2M (Box Server Authentication via CCG). Autenticação básica e OAuth U2M não são suportados.
• Evolução de esquema: Suporta adição e remoção de colunas. Colunas renomeadas são tratadas como nova coluna e exclusão da antiga. Alterações de tipo de dado não são suportadas.
• Recursos indisponíveis: Não há suporte para filtragem de linhas via API nem modelagem de SCD Tipo 2 nativa no conector.

Como aplicar num pipeline

Os eventos de auditoria do Box são carregados de forma incremental em uma tabela Bronze governada pelo Unity Catalog. A partir dessa tabela bruta, pipelines subsequentes podem filtrar e tratar os dados na camada Silver para monitoramento de segurança e alimentar dashboards de compliance na Gold.