Snowflake Cortex AI: Avaliação de qualidade de funções de IA

O Snowflake Cortex AI Function Evaluation permite medir a qualidade de saída, o custo e o uso de tokens de chamadas de IA e funções personalizadas em comparação com datasets rotulados. Ele utiliza o tipo de experimento AI_FUNCTION_EVALUATION para estabelecer bases de comparação consistentes por meio de SQL ou pelo Cortex AI Function Studio.

Para que serve

Imagine que você tem um modelo de classificação de sentimentos em produção e quer testar novas instruções de prompt com segurança:

• Estabelecer uma linha de base de qualidade mensurável antes de colocar uma função de IA em produção.
• Comparar diferentes prompts, modelos e implementações usando o mesmo dataset e métrica.
• Avaliar diferentes tipos de saída com métricas baseadas em regras, llm_judge ou funções UDF personalizadas.
• Medir a estabilidade e variação em saídas não determinísticas repetindo execuções.

Como usar

Execute a criação do experimento definindo a especificação em um documento YAML e depois execute o comando correspondente:

CREATE OR REPLACE EXPERIMENT my_db.my_schema.sentiment_eval
  TYPE = 'AI_FUNCTION_EVALUATION'
  FROM SPECIFICATION $$
query_text: "AI_COMPLETE('claude-sonnet-4-5',
  'Reply with exactly one word - POSITIVE, NEGATIVE, or NEUTRAL - '
  || 'for the sentiment of: ' || review)"
metrics:
  - name: exact_match
dataset:
  name: my_db.my_schema.reviews_labeled
  version: v1
  ground_truth: expected_sentiment
$$;

EXECUTE EXPERIMENT my_db.my_schema.sentiment_eval;

O que acontece nesse código:

1. Cria um objeto de experimento chamado sentiment_eval do tipo AI_FUNCTION_EVALUATION no banco e schema informados.
2. Define a consulta a ser testada utilizando a função de IA e o modelo correspondente.
3. Configura a métrica de avaliação como exact_match em relação à coluna de rótulo correto (expected_sentiment) do dataset.
4. Dispara a execução assíncrona do experimento usando computação serverless.

Limitações e requisitos

• Recurso em Public Preview, disponível para todas as contas.
• O dataset deve ser do tipo Snowflake (SNOWFLAKE.ML.DATASET) e conter no máximo 1.000 linhas (recomenda-se entre 50 e 200).
• É permitida apenas uma métrica por avaliação.
• O parâmetro num_eval_runs aceita valores inteiros de 1 a 20.
• Requer a função de banco de dados SNOWFLAKE.CORTEX_USER (ou SNOWFLAKE.AI_FUNCTIONS_USER) e privilégios de acesso ao dataset e schema de criação.