Conector nativo do Cribl no Lakeflow Connect para ingestão de metadados e logs

O Databricks disponibilizou em Beta o conector gerenciado do Cribl no Lakeflow Connect. O recurso permite centralizar configurações, telemetria de workers e logs de auditoria do Cribl.Cloud diretamente no lakehouse.

Para que serve

Imagine que você usa o Cribl.Cloud para coletar e rotear dados de telemetria e precisa auditar a segurança ou monitorar a integridade dos coletores dentro do Databricks. Com este conector, você pode:

• Ingerir configurações de Worker Groups e metadados organizacionais.
• Coletar métricas operacionais e status de saúde de workers.
• Carregar logs de acesso e auditoria do Leader de forma incremental.

Limitações e requisitos

• Estágio: Em Beta. O administrador do workspace precisa ativar o recurso na página de Previews.
• Autenticação: Suporta apenas OAuth máquina a máquina (M2M) utilizando Client ID e Client Secret gerados nas credenciais de API do Cribl.Cloud. Não há suporte para OAuth U2M ou autenticação básica (usuário e senha).
• Criação de pipelines: Suportada via interface gráfica (UI), API e Declarative Automation Bundles (DABs), com orquestração pelo Databricks Workflows.
• Filtros e colunas: Permite selecionar ou desmarcar colunas via API, mas não suporta filtragem de linhas via API.
• SCD Type 2: Suportado em tabelas convencionais, mas não funciona em tabelas com colunas VARIANT (como workers, pipelines, sources, destinations, parsers, breakers, collectors, packs, inputs_status, outputs_status, functions, api_credentials, audit_log e access_log).
• Evolução de esquema: Detecta automaticamente novas colunas ou colunas removidas. Alterações de tipo de dados e renomeação de colunas não são automáticas e exigem uma carga completa (full refresh).
• Fluxo de configuração: Exige configurar o Cribl.Cloud para autenticação, cadastrar uma conexão no Catalog Explorer do Unity Catalog e criar o pipeline apontando para essa conexão.

Como aplicar num pipeline

Os dados brutos de telemetria e auditoria entram diretamente na camada Bronze. Na camada Silver, você pode cruzar os logs de auditoria do Cribl com os logs de governança do Unity Catalog para criar alertas automáticos sobre integridade de workers e trilhas de conformidade.