Configure o ambiente de jobs serverless com pyproject.toml

O Databricks adicionou suporte ao arquivo standard pyproject.toml para configurar o ambiente de execução em tarefas de jobs serverless. A novidade permite padronizar as dependências e configurações de notebooks e scripts Python que rodam sobre computação serverless.

Para que serve

Imagine que você mantém um projeto Python estruturado e quer executar suas tarefas serverless sem ter que instalar bibliotecas manualmente a cada execução ou espalhar comandos %pip install pelo código. Com essa integração, você pode:

• Padronizar o gerenciamento de dependências do job com o padrão moderno do ecossistema Python (pyproject.toml).
• Configurar o ambiente do projeto diretamente pela interface de Jobs, via Jobs API ou por Databricks Asset Bundles.
• Isolar as dependências do seu script ou notebook em computação serverless compartilhada.

Como usar

Você define suas dependências no arquivo de projeto do seu repositório:

[project]
name = "meu_projeto_dados"
version = "0.1.0"
dependencies = [
    "pandas>=2.0.0",
    "polars>=1.0.0",
    "pydantic>=2.0.0"
]

O que acontece nesse código:

1. O bloco declara os metadados do pacote e suas dependências diretas.
2. O ambiente serverless lê o arquivo ao iniciar a tarefa e prepara as bibliotecas solicitadas antes de executar o script ou notebook.

A associação do arquivo pode ser configurada diretamente na interface de criação da tarefa no Jobs UI, por meio da Jobs API ou configurando o ambiente dentro de um bundle.

Limitações e requisitos

• O recurso está em Beta.
• Requer que o administrador do workspace habilite a opção "Project-Scoped Shared Compute" na página de Previews do workspace.
• Aplica-se a tarefas de notebooks e scripts Python executados em computação serverless.

Como aplicar num pipeline

Em um pipeline de dados com Databricks Asset Bundles, você pode versionar o arquivo pyproject.toml na raiz do repositório. As tarefas de ingestão e transformação serverless utilizam automaticamente o mesmo arquivo de dependências da equipe, garantindo que o código rode exatamente com as versões homologadas de cada biblioteca.