Horizon Context: Conectores de metadados e linhagem externa no Snowflake

Para que serve

Imagine que você precisa rastrear a origem de um dado que passa por ferramentas de BI, bancos de dados externos e modelos dbt antes de chegar ao Snowflake. Com o Horizon Context, você pode:

• Conectar o Horizon Catalog a 18 fontes externas, incluindo Power BI, Tableau, dbt, Databricks e BigQuery.
• Rastrear linhagem em nível de coluna entre diferentes plataformas.
• Gerenciar metadados externos, como descrições e tags, diretamente no Horizon Catalog.
• Delegar a curadoria de descrições usando a permissão APPLY COMMENT sem precisar de papéis administrativos.
• Propagar automaticamente comentários de colunas por meio da linhagem.

Como usar

Para gerenciar o acesso aos metadados sem conceder permissões de modificação nos dados, utilize a privilégio APPLY COMMENT.

GRANT APPLY COMMENT ON TABLE meu_catalogo.meu_schema.minha_tabela TO ROLE meu_cargo_de_dados;

O que acontece nesse código:

1. Concede a permissão específica para atualizar comentários.
2. Permite que data stewards curem metadados sem privilégios de owner.

Limitações e requisitos

• O recurso está em Public Preview.
• Disponível em todas as regiões comerciais da AWS e do Azure.
• Não está disponível em regiões governamentais ou na China.
• A linhagem através de tabelas temporárias já está em General Availability.

Como aplicar num pipeline

Você conecta ferramentas como dbt e Databricks ao Horizon Catalog para que a linhagem dos dados seja preservada e visível de ponta a ponta, facilitando a governança desde a ingestão até os relatórios finais.