Cortex AI Gateway chega à Azure, GCP e novas regiões AWS no Snowflake

O Cortex AI Gateway expandiu sua disponibilidade e agora atende contas nas regiões comerciais da Microsoft Azure, Google Cloud Platform (GCP) e AWS Nova Zelândia. O recurso oferece um ponto de acesso centralizado e governado para gerenciar como aplicações e clientes de IA consomem modelos na sua conta.

Para que serve

Imagine que sua empresa possui diversas aplicações e agentes de IA fazendo chamadas a modelos de linguagem, e você precisa controlar quem acessa o quê, atribuir custos e monitorar chamadas. Com o Cortex AI Gateway, a equipe de plataforma centraliza permissões, rastreia requisições e aplica cotas em um único endpoint.

Como usar

Cada conta do Snowflake já possui um objeto de gateway pré-criado chamado SNOWFLAKE. Você não precisa criar o recurso do zero, apenas gerenciar suas permissões e especificação.

Para verificar os gateways disponíveis e obter a URL do endpoint:

SHOW AI GATEWAYS;

O que acontece nesse código:

1. Lista os AI Gateways existentes na conta.
2. Retorna a URL exata do endpoint que deve ser configurada nos clientes e aplicações.

Para conceder permissão de uso ou monitoramento a uma role:

GRANT USAGE ON AI GATEWAY SNOWFLAKE TO ROLE engenharia_ai;
GRANT MONITOR ON AI GATEWAY SNOWFLAKE TO ROLE finops_admin;

O que acontece nesse código:

1. Libera a role engenharia_ai para enviar requisições de inferência pelo gateway.
2. Dá permissão à role finops_admin para consultar históricos de uso e custos sem enviar requisições.

Para consultar e atualizar as configurações de modelos e logs do gateway:

DESCRIBE AI GATEWAY SNOWFLAKE;

ALTER AI GATEWAY SNOWFLAKE FROM SPECIFICATION $$
schema_version: 1
models:
  - name: '*'
logging:
  enabled: true
  capture_payload:
    request_response: false
$$;

O que acontece nesse código:

1. O comando DESCRIBE exibe a especificação YAML atual.
2. O comando ALTER reescreve a especificação por completo, habilitando acesso a todos os modelos disponíveis ('*') e ativando o registro de métricas de execução sem armazenar o conteúdo dos prompts.

Limitações e requisitos

• O recurso está em Public Preview aberto nas regiões comerciais da AWS, Azure e GCP (com exceção de AWS Europa/Espanha).
• Exige concessão explícita da permissão USAGE no gateway para envio de requisições de inferência.
• O acesso ao gateway não ignora permissões nos modelos subjacentes: o usuário ainda precisa das permissões de banco de dados adequadas, como SNOWFLAKE.CORTEX_USER.
• O comando ALTER substitui toda a especificação YAML; omitir campos faz com que eles assumam os valores padrão.