Cache de resposta automático para funções do Snowflake Cortex AI

O Snowflake Cortex AI agora aplica cache automático em chamadas da função AI_COMPLETE. Quando uma query executa chamadas idênticas mais de uma vez, a plataforma reaproveita o resultado armazenado em vez de rodar a inferência novamente, sem cobrança extra por esses hits de cache.

Para que serve

Imagine que você processa uma tabela grande com várias linhas contendo o mesmo texto ou prompt repetido para tradução ou extração:

• Reduzir o custo de tokens em consultas com linhas repetidas.
• Acelerar a execução de queries que utilizam IA em larga escala.

Como usar

Nenhuma configuração é necessária. O cache opera de forma automática e por melhor esforço em chamadas de texto da função AI_COMPLETE dentro da mesma query.

SELECT AI_COMPLETE(
  'mi-modelo',
  'Resuma este texto: Manutenção programada para o próximo domingo.'
) AS resposta
FROM minha_tabela;

O que acontece nesse código:

1. O Snowflake envia o texto para o modelo escolhido via AI_COMPLETE.
2. Se houver chamadas idênticas repetidas na mesma execução, o motor reaproveita o resultado em cache.
3. A consulta retorna os dados com menor latência e sem cobrar tokens adicionais pelos hits.

Limitações e requisitos

• O recurso aplica-se a chamadas de texto da função AI_COMPLETE.
• O funcionamento é baseado em melhor esforço e restrito ao escopo de uma única query.