Conector do Shopify no Lakeflow Connect para engenharia de dados
O novo conector do Shopify no Lakeflow Connect traz dados de e-commerce diretamente para o Databricks com suporte a atualizações e rastreamento.
O que mudou
Para que serve
Imagine que você precisa centralizar dados de vendas, clientes e produtos de uma loja virtual no Databricks. Com este conector gerenciado, você traz dados de e-commerce de forma automatizada.
- Ingerir produtos, pedidos, clientes, inventário, entregas e descontos.
- Capturar exclusões de itens como produtos, variantes e coleções.
- Integrar com o Unity Catalog e o Databricks Workflows.
Como usar
A configuração é feita em três etapas principais:
- Configure a aplicação no Shopify para usar autenticação OAuth M2M (Client Credentials).
- Crie uma conexão no Catalog Explorer usando a interface do Databricks.
- Crie e execute o pipeline de ingestão utilizando a interface visual, API ou Databricks Asset Bundles.
Limitações e requisitos
- O recurso está em Beta e precisa ser habilitado pelo administrador do workspace na página de Previews.
- A autenticação suportada é OAuth M2M (Client Credentials); autenticação básica e OAuth U2M não são suportadas.
- Mudanças de tipo de dado ou renomeação de colunas exigem um full refresh.
Como aplicar num pipeline
Use este conector na camada Bronze para carregar os dados brutos de e-commerce da sua loja Shopify antes de tratá-los nas tabelas Silver e Gold.
- lakeflow connect
- shopify
- unity catalog
- ingestion
- pipelines
Shopify connector (Beta)
Resumo e explicação gerados por IA a partir da release note oficial. Em caso de dúvida, a documentação oficial da plataforma prevalece.
Relacionadas
- DatabricksGA
Repositórios de pacotes em nível de workspace para Databricks Apps
Administradores de workspace podem configurar repositórios padrão de pacotes Python e npm para Databricks Apps.
databricks apps · workspace settings - DatabricksGA
Redimensione partições de stateful streaming sem perder o checkpoint no Databricks
Agora é possível alterar o número de partições de shuffle em queries Structured Streaming e pipelines Lakeflow sem descartar o estado do checkpoint.
structured streaming · lakeflow - DatabricksAtualização
Google Gemini 4 Argon disponível no Unity Gateway do Databricks
O modelo multimodal Google Gemini 4 Argon já pode ser acessado via Foundation Model APIs e Unity Gateway.
unity catalog · foundation model apis