Ambientes base agora suportados em compute clássico no Databricks

O uso de ambientes base em compute clássico permite gerenciar dependências do Python por workload em vez de instalar bibliotecas direto no cluster. Isso isola as configurações, evita quebras quando o cluster muda e acelera a inicialização porque o Databricks faz cache dos ambientes, eliminando a resolução de pacotes no startup.

Para que serve

Imagine que você precisa rodar notebooks com bibliotecas diferentes sem que uma alteração afete o cluster inteiro ou cause falhas de rede na instalação de pacotes.

• Isolar dependências por notebook ou job task.
• Usar ambientes padrão, de ML ou personalizados.
• Evitar reinstalações a cada retomada de sessão.

Como usar

Para criar um compute com o modo de dependência adequado, configure as opções avançadas ao criar o recurso.

// Configuração típica na criação do compute via UI:
Runtime: Databricks Runtime 19 (Beta) ou superior
Acesso: Standard access mode
Modo de dependência: Manual (Environments) ou Auto

O que acontece nesse código:

1. Seleciona-se um Databricks Runtime 19 ou superior.
2. O modo de dependência é definido como Environments.
3. As bibliotecas de cluster tradicionais ficam desativadas em favor dos ambientes base.

Limitações e requisitos

• Recurso em estágio Beta.
• Requer Databricks Runtime 19 ou superior.
• Compatível apenas com Standard access mode em All-purpose compute ou classic jobs compute.
• O modo Environments desativa Docker, variáveis de ambiente do Spark, init scripts e bibliotecas de cluster.
• Código em Scala (%scala) e tarefas Spark JAR não são suportados.

Como aplicar num pipeline

Use os ambientes base nas etapas de engenharia de dados e machine learning em notebooks ou jobs para garantir que pacotes específicos de bibliotecas Python sejam carregados de forma previsível e isolada.