Aba de logs do MLflow para AI Runtime ganha filtros e busca em tempo real

A aba Logs na página de execuções do MLflow foi reformulada para tarefas executadas no AI Runtime. A nova experiência substitui os arquivos de log que ficavam na aba Artifacts e adiciona ferramentas interativas de depuração direto na interface.

Para que serve

Imagine que você executou um treinamento distribuído em múltiplos nós com o AI Runtime e precisa investigar por que um worker específico falhou, sem precisar baixar manualmente arquivos de texto completos da aba de artefatos.

Com a nova aba, você consegue:

• Isolar a saída de um único nó em clusters multi-node.
• Filtrar mensagens por nível de severidade (info, warning ou error) e por intervalo de tempo.
• Acompanhar a saída em tempo real (live tailing) enquanto a carga ainda está rodando.
• Buscar termos específicos na tela e baixar apenas as linhas que atendem aos filtros aplicados.

Como usar

Na interface do workspace, acesse a página da execução do MLflow e clique na aba Logs. Durante a execução ativa, a tela rola automaticamente com as novas mensagens recebidas; rolar para cima pausa o acompanhamento automático.

Se você gerencia suas execuções pela linha de comando, também pode consultar os mesmos logs pelo terminal usando a CLI do Databricks:

# Exibe o log consolidado da execução
databricks air logs <job-run-id>

# Filtra a saída apenas para o nó 2
databricks air logs <job-run-id> --node 2

# Baixa os arquivos de log para um diretório local
databricks air logs <job-run-id> --download-to ./logs/

O que acontece nesse código:

1. O comando busca os logs diretamente da execução de job associada ao AI Runtime.
2. O parâmetro --node restringe o stream para analisar o comportamento de um worker específico.
3. O parâmetro --download-to salva localmente os arquivos para análises externas ou arquivamento.

Limitações e requisitos

• Retenção: os logs ficam disponíveis na aba por 60 dias.
• Permissões: ter acesso ao experimento do MLflow não basta. É necessário ter pelo menos a permissão Can View no job do Databricks subjacente para visualizar os logs transmitidos.
• Execuções legadas: execuções criadas antes da mudança continuam acessando seus arquivos de log na aba Artifacts. Nas novas execuções, o armazenamento de logs em Artifacts foi depreciado.
• Versão: para os recursos mais recentes de tracking e observabilidade, recomenda-se o MLflow 3.7 ou superior.