Suporte à Responses API da OpenAI na Cortex REST API

O Snowflake disponibilizou em preview o endpoint Responses API na Cortex REST API e no Cortex AI Gateway. O recurso permite que aplicações criadas sobre a especificação Responses API da OpenAI acessem modelos compatíveis diretamente no Snowflake.

Para que serve

Imagine que você desenvolveu microsserviços ou ferramentas internas integradas diretamente à especificação Responses API da OpenAI e precisa direcionar essas chamadas para a governança do Snowflake sem reescrever seus clientes para o formato Chat Completions. Com esse recurso, você pode:

• Conectar SDKs e clientes da OpenAI diretamente ao endpoint do Snowflake.
• Executar inferência de modelos OpenAI mantendo os dados no perímetro de segurança da sua conta.
• Centralizar o controle de acesso e auditoria de consumo via Snowflake.

Como usar

A integração funciona apontando o SDK da OpenAI para o endpoint da Cortex REST API (/api/v2/cortex/v1) ou do Cortex AI Gateway (/v1/responses), autenticando com um Programmatic Access Token (PAT).

from openai import OpenAI

client = OpenAI(
  api_key="<SNOWFLAKE_PAT>",
  base_url="https://<account-identifier>.snowflakecomputing.com/api/v2/cortex/v1"
)

response = client.responses.create(
  model="openai-gpt-5.6-sol",
  instructions="You are a helpful assistant.",
  input="How does a snowflake get its unique pattern?",
  store=False,
)

print(response.output_text)

O que acontece nesse código:

1. O cliente da OpenAI é inicializado com a URL base do endpoint Cortex REST API e o token PAT de autenticação.
2. O método client.responses.create envia o modelo desejado, as instruções do sistema e o texto de entrada.
3. O parâmetro store=False desativa a retenção do prompt no provedor, e o resultado gerado é retornado em response.output_text.

Também é possível enviar a requisição diretamente via linha de comando:

curl "https://<account-identifier>.snowflakecomputing.com/api/v2/cortex/v1/responses" \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer <SNOWFLAKE_PAT>" \
  -d '{
    "model": "openai-gpt-5.6-sol",
    "input": "How does a snowflake get its unique pattern?",
    "store": false
  }'

O que acontece nesse código:

1. Uma requisição POST é disparada para a URL do endpoint Cortex com o token Bearer no cabeçalho de autorização.
2. O corpo JSON especifica o modelo OpenAI e a mensagem de entrada.
3. A resposta JSON é retornada diretamente para processamento pelo cliente.

Limitações e requisitos

• Estágio: Public preview, disponível para todas as contas.
• Modelos compatíveis: Funciona exclusivamente com modelos da família OpenAI (modelos Anthropic Claude utilizam o endpoint /messages, e demais modelos utilizam /chat/completions).
• Sem estado de sessão: A API não armazena contexto de conversas anteriores; todo o histórico necessário deve ser enviado no campo input a cada chamada.
• Recursos não suportados: O parâmetro previous_response_id e chamadas em segundo plano (background mode) não estão disponíveis.
• Permissões: O papel padrão (default role) do usuário precisa da concessão da database role SNOWFLAKE.CORTEX_USER ou SNOWFLAKE.CORTEX_REST_API_USER.
• Observabilidade: As chamadas dessa API não gravam na tabela AI_OBSERVABILITY_EVENTS; a auditoria de tokens e créditos consumidos deve ser monitorada pela view CORTEX_REST_API_USAGE_HISTORY em ACCOUNT_USAGE.