Ingestão gerenciada do Azure DevOps com Lakeflow Connect

O Databricks adicionou ao Lakeflow Connect um conector gerenciado para o Azure DevOps. O recurso permite carregar dados de projetos, código, tarefas e pipelines de CI/CD diretamente para tabelas governadas no Unity Catalog.

Para que serve

Imagine que você precisa analisar métricas de engenharia (como DORA metrics), produtividade de times ou auditoria de entregas. Em vez de criar scripts manuais consumindo a API REST do Azure DevOps, o conector gerencia a extração e a ingestão dos dados.

Com ele, você pode carregar:

• Projetos, repositórios git e histórico de commits (com suporte a ingestão incremental).
• Work items, iterações e caminhos de área (area paths).
• Pipelines de build, execuções de teste e releases.
• Identidades, times, grupos de usuários e service principals.

Como usar

A configuração ocorre em três etapas principais pela interface ou via APIs e Databricks Asset Bundles (DABs):

1. Configurar o Azure DevOps: Crie um service principal no Microsoft Entra com permissões de acesso aos projetos e recursos desejados da organização.
2. Criar a conexão no Unity Catalog: No Catalog Explorer, crie uma conexão do tipo Azure DevOps informando as credenciais de autenticação M2M (Machine-to-Machine) do service principal.
3. Criar o pipeline de ingestão: Defina um pipeline a partir da conexão existente, escolhendo o catálogo e schema de destino no Unity Catalog, além de selecionar as tabelas e colunas que deseja sincronizar.

O conector permite orquestração via Databricks Workflows e suporta evolução automática de esquema para colunas novas e removidas.

Limitações e requisitos

• Estágio: Beta. Um administrador do workspace precisa habilitar a opção correspondente na página de Previews.
• Autenticação: Suporta apenas OAuth M2M (service principal do Microsoft Entra). Não há suporte para credenciais de usuário (U2M) ou autenticação básica.
• Filtros e esquemas: Suporta seleção e deseleção de colunas via API, mas não suporta filtros de linha via API. Mudanças de tipo de dado ou renomeação de colunas exigem refresh completo (full refresh).
• SCD Tipo 2: Não é suportado em tabelas com colunas do tipo VARIANT (como commits, work_items, builds, pull_requests e git_repositories).

Como aplicar num pipeline

Os dados brutos do Azure DevOps são entregues em tabelas bronze gerenciadas no Unity Catalog. Em seguida, pipelines silver e gold em SQL ou Python podem tratar esses eventos para criar painéis de tempo de ciclo de pull requests, frequência de deploys ou rastreabilidade de chamados.