Suporte a escrita em namespaces aninhados em databases vinculadas a catálogo

Bases de dados vinculadas a catálogo agora permitem criar e gerenciar tabelas Iceberg em namespaces aninhados de catálogos remotos. O Snowflake também adicionou a coluna is_nested no comando SHOW SCHEMAS para identificar namespaces estruturados em níveis superiores.

Para que serve

Imagine que você organiza suas tabelas Iceberg em namespaces pai e filho em um catálogo externo e precisa gravar dados diretamente nessas estruturas a partir do Snowflake.

• Criar schemas que apontam para namespaces aninhados.
• Gravar e consultar dados em tabelas Iceberg em namespaces hierárquicos.
• Identificar rapidamente namespaces aninhados usando metadados de schemas.

Como usar

Configure o parâmetro NAMESPACE_MODE como FLATTEN_NESTED_NAMESPACE e defina um delimitador válido em NAMESPACE_FLATTEN_DELIMITER. Depois, crie o schema filho usando o nome achatado.

CREATE SCHEMA namespace1_namespace1a;

O que acontece nesse código:

1. O Snowflake interpreta o nome composto pelo delimitador configurado.
2. Um novo schema correspondente ao namespace aninhado é criado no catálogo externo.

Para verificar se um schema pertence a um namespace aninhado, execute:

SHOW SCHEMAS IN DATABASE my_db;

O que acontece nesse código:

1. O comando lista os schemas da base de dados vinculada ao catálogo.
2. A coluna is_nested retorna 'Y' para namespaces aninhados e 'N' para namespaces de nível superior.

Limitações e requisitos

• O namespace pai já deve existir previamente no catálogo remoto; o Snowflake não cria namespaces pai automaticamente.
• O parâmetro NAMESPACE_FLATTEN_DELIMITER aceita apenas pontuação, símbolos ou dígitos (letras e espaços em branco não são permitidos).
• Não utilize pontos (.) no nome do schema, a menos que o ponto seja o delimitador configurado.

Como aplicar num pipeline

Útil na camada Bronze ou Silver ao integrar o Snowflake com catálogos externos em nuvem que utilizam estruturas de pastas e namespaces hierárquicos para organizar dados em formato Iceberg.