Linhagem externa no Snowflake agora está geralmente disponível

A linhagem externa estende a linhagem nativa do Snowflake para incluir fontes e destinos de dados externos, usando o padrão aberto OpenLineage. Ferramentas como dbt e Apache Airflow enviam eventos via endpoint REST para unificar a visualização do fluxo de dados no Snowsight e permitir consultas SQL.

Para que serve

Imagine que você precisa auditar pipelines que passam por sistemas externos antes de chegar ao Snowflake ou apenas entre ferramentas de terceiros.

• Enviar eventos OpenLineage para o endpoint dedicado do Snowflake.
• Rastrear dependências entre objetos externos sem passar por tabelas do Snowflake.
• Consultar a linhagem combinada usando a função GET_LINEAGE.

Como usar

Configure permissões de conta e envie eventos via API REST usando ferramentas integradas como dbt ou Airflow.

CREATE ROLE dbt_lineage_role;
GRANT INGEST LINEAGE ON ACCOUNT TO ROLE dbt_lineage_role;
GRANT ROLE dbt_lineage_role TO USER dbt_integration_user;

O que acontece nesse código:

1. Cria uma nova role dedicada no Snowflake.
2. Concede o privilégio de ingestão de linhagem para a role.
3. Atribui a role ao usuário de serviço da ferramenta de integração.

Limitações e requisitos

Disponível na edição Enterprise ou superior. O envio de eventos exige a permissão INGEST LINEAGE na conta e a remoção exige DELETE LINEAGE.