Imagens de runtime personalizadas agora disponíveis para ML Jobs

As imagens de runtime personalizadas para ML Jobs estão oficialmente disponíveis em GA, permitindo o uso de bibliotecas específicas, atendimento a regras de segurança e integração com pipelines de CI/CD. Imagine que você precisa rodar treinamentos de machine learning com dependências exatas que não estão presentes no ambiente padrão do Snowflake; com os CREs, você empacota tudo em uma imagem de container derivada da base oficial e a registra no seu ambiente. ### Para que serve - Atender a políticas rígidas de segurança e conformidade corporativa - Integrar a construção de imagens a pipelines de CI/CD existentes - Garantir reprodutibilidade exata de pacotes e versões entre ambientes ### Como usar Para registrar e usar uma imagem personalizada, siga os passos abaixo usando a CLI e comandos SQL do Snowflake. 1. Faça login no registro de imagens: bash snow spcs image-registry login O que acontece nesse código: - Autentica o cliente Docker local no registro de imagens do Snowflake utilizando a CLI. 2. Crie o Ambiente de Runtime Customizado via SQL: sql CREATE CUSTOM RUNTIME ENVIRONMENT my_cre IMAGE_PATH = '/mydb/myschema/my_repo/sklearn_custom:v1' BASE_IMAGE_TYPE = CPU; O que acontece nesse código: - Registra um novo objeto CRE no Snowflake apontando para o caminho da imagem no repositório. - Valida automaticamente a estrutura do container durante a execução do comando. 3. Referencie o ambiente em um job de machine learning: python from snowflake.ml import jobs @jobs.remote( "MY_COMPUTE_POOL", stage_name="payload_stage", runtime_environment="cre@my_cre" ) def test_function(): ... job = test_function() O que acontece nesse código: - Submete o ML Job utilizando o decorador @jobs.remote. - Configura o parâmetro runtime_environment para usar o CRE registrado chamado my_cre. ### O que retorna O comando DESCRIBE CUSTOM RUNTIME ENVIRONMENT retorna as seguintes colunas com os detalhes do ambiente: Campo | Descrição --- | --- name | Nome do ambiente de runtime customizado. image_name | Nome da imagem. tag | Tag da imagem. digest | Hash SHA256 da imagem. created_on | Data e hora de criação. updated_on | Data e hora da última atualização. owner | Papel proprietário do objeto. cre_status | Estado atual do ambiente (RESOLVED ou DEPRECATED). base_image_type | Tipo de hardware (CPU ou GPU). image | Caminho lógico da imagem no repositório. ### Limitações e requisitos - O recurso de imagens personalizadas para ML Jobs está em General Availability (GA), enquanto para Snowflake Notebooks continua em preview. - É necessário usar a versão 1.37.0 ou superior do pacote snowflake-ml-python. - A imagem customizada deve derivar de uma imagem base oficial do Snowflake e conter os pacotes obrigatórios e o entrypoint correto. - O papel ativo precisa ter privilégios de USAGE no CRE e acesso ao repositório de imagens. ### Como aplicar num pipeline Isso entra na etapa de treinamento e inferência de modelos em MLOps, permitindo que a equipe de engenharia de dados empacote dependências complexas na fase de build (CI/CD) para garantir execuções previsíveis e seguras na camada Gold ou em pipelines de ML.