Data lineage do Snowflake agora rastreia integrações e Cortex Search

O recurso de data lineage do Snowflake foi expandido para mapear novas conexões entre objetos de armazenamento, inteligência artificial e serviços de busca. Agora é possível visualizar de forma integrada como integrações de armazenamento alimentam stages, como stages alimentam external tables, além de rastrear versões de modelos em monitoramento e a relação de stages com serviços do Cortex Search.

Para que serve

Imagine que você precisa auditar a origem dos dados de uma tabela externa ou entender quais fontes alimentam um serviço de busca semântica. Com essa atualização, você consegue:

• Rastrear a dependência desde a storage integration até o stage e a tabela externa.
• Visualizar a relação entre versões de modelos de ML e seus respectivos model monitors.
• Identificar a origem de tabelas e tabelas dinâmicas usadas por serviços do Cortex Search criados a partir de um stage.

Como usar

Para visualizar o lineage atualizado, acesse o catálogo no Snowsight e abra a aba Lineage do objeto desejado.

SELECT * FROM TABLE(SNOWFLAKE.CORE.GET_LINEAGE('meu_banco.meu_schema.minha_tabela'));

O que acontece nesse código:

1. A função GET_LINEAGE é chamada passando o caminho completo do objeto no Snowflake.
2. O Snowflake recupera as informações programáticas de linhagem para o objeto especificado.

Limitações e requisitos

• O recurso de data lineage requer a edição Enterprise ou superior do Snowflake.
• As novas relações são registradas apenas no momento da criação do objeto. Objetos criados antes desta atualização exigem que você recrie o recurso para que o lineage apareça.
• A criação de um serviço Cortex Search a partir de um stage está em preview.