Clean Rooms agora compartilham tabelas de saída com todos os participantes

O Databricks disponibilizou em disponibilidade geral (GA) a saída compartilhada em Clean Rooms. Com essa novidade, execuções de notebooks podem gravar tabelas em um schema que todos os colaboradores conseguem consultar em tempo real, sem precisar esperar o término do job.

Para que serve

Imagine que duas empresas usam um Clean Room para cruzar bases de clientes ou medir sobreposição de audiência. Antes, apenas o participante que executava o notebook conseguia ver os resultados na própria conta. Com a saída compartilhada, você pode:

• Compartilhar métricas agregadas e relatórios finais com todos os participantes simultaneamente.
• Disponibilizar tabelas intermediárias e logs de depuração antes mesmo do notebook finalizar a execução.
• Integrar os resultados compartilhados em pipelines orquestrados pelo Lakeflow Jobs.

Como usar

No notebook executado dentro do Clean Room, monte a referência de três partes usando os parâmetros :cr_output_catalog e :cr_shared_output_schema:

CREATE TABLE identifier(:cr_output_catalog || '.' || :cr_shared_output_schema || '.audiencia_sobreposta') AS
SELECT
  origem.segmento_id,
  COUNT(DISTINCT parceiro.email) AS total_sobreposicao
FROM parceiro.base.perfis AS parceiro
JOIN criador.base.perfis AS origem
  ON parceiro.email = origem.email
GROUP BY origem.segmento_id;

O que acontece nesse código:

1. O parâmetro :cr_output_catalog aponta para o catálogo de saída configurado no metastore do Unity Catalog.
2. O parâmetro :cr_shared_output_schema direciona a criação para o schema visível a todas as partes do Clean Room.
3. A tabela gerada fica acessível para leitura imediata por todos os participantes da sala limpa assim que a instrução SQL conclui, mesmo que haja mais células no notebook a serem executadas.

Se precisar gerar dados restritos apenas a quem disparou a execução, utilize :cr_output_schema em vez de :cr_shared_output_schema.

Limitações e requisitos

• Estágio: Geralmente disponível (GA).
• Habilitação: Em contas corporativas (Enterprise e Azure Premium), a opção precisa ser habilitada pelo administrador da conta na página de Previews do console de administração. Todos os participantes devem ter a mesma configuração ativada.
• Criação da sala: O Clean Room deve ser configurado com saída compartilhada no momento de sua criação; salas existentes não podem ser alteradas.
• Catálogo de saída: Cada participante deve criar o catálogo de saída na interface do workspace (em Catalog > Clean Rooms > Output > Create catalog) antes ou logo após a execução. É necessária a permissão EXECUTE CLEAN ROOM TASK.
• Computação: Consultas nas tabelas geradas exigem computação serverless.
• Formatos e retenção: Apenas tabelas são suportadas (views e volumes não são permitidos). Os dados são somente leitura e expiram automaticamente em 30 dias, a menos que sejam copiados para um armazenamento local.

Como aplicar num pipeline

Você pode configurar um notebook de Clean Room disparado via Lakeflow Jobs. Assim que as tabelas compartilhadas forem geradas no catálogo de saída, pipelines analíticos locais de ambos os parceiros podem ler essas tabelas e ingestioná-las em camadas Silver ou Gold internas para dashboards.