Conector do SurveyMonkey chega ao Lakeflow Connect no Databricks

O conector gerenciado do SurveyMonkey já pode ser utilizado no Lakeflow Connect em estágio Beta. O recurso permite extrair pesquisas, respostas e listas de contatos diretamente para o Databricks com suporte a ingestão incremental.

Para que serve

Imagine que a sua empresa realiza pesquisas de satisfação de clientes ou NPS no SurveyMonkey e precisa cruzar esses resultados com a base de clientes no Lakehouse. Em vez de criar scripts manuais de extração via API ou manter ferramentas externas, o conector gerencia essa transferência de dados de ponta a ponta.

Com ele, é possível carregar:

• Pesquisas e sua estrutura de perguntas
• Coletores e seus destinatários
• Respostas completas de formulários
• Listas de contatos e contatos individuais

Como usar

A configuração é feita sem necessidade de código de extração, estruturada em três etapas:

1. Configuração no SurveyMonkey: preparar a conta do SurveyMonkey para autenticar com o Databricks.
2. Conexão no Unity Catalog: criar uma conexão no Catalog Explorer para armazenar as credenciais usando autenticação OAuth user-to-machine (U2M).
3. Criação do pipeline: criar o pipeline de ingestão a partir da interface visual, por API ou via Declarative Automation Bundles (DABs), com orquestração gerenciada por Lakeflow Jobs.

Limitações e requisitos

• Estágio: Beta. Administradores de workspace precisam ativar o recurso previamente na página de Previews.
• Autenticação: suporta unicamente OAuth user-to-machine (U2M). Não há suporte para OAuth machine-to-machine (M2M) nem autenticação básica (API key ou usuário e senha).
• SCD Tipo 2: tabelas contendo colunas do tipo VARIANT (surveys, collectors, survey_responses, contact_list_contacts e collector_recipients) não oferecem suporte a SCD Tipo 2.
• Evolução de esquema: detecta automaticamente novas colunas ou colunas deletadas. Mudanças de tipos de dados ou renomeação de colunas não são suportadas e exigem recarga total (full refresh).
• Filtros: suporta seleção ou exclusão de colunas via API, mas não suporta filtragem de linhas via API.

Como aplicar num pipeline

Em uma arquitetura medalhão clássica, o conector grava as entidades do SurveyMonkey como tabelas Bronze no Unity Catalog. Em seguida, jobs downstream desaninham os dados semiestruturados das colunas VARIANT para alimentar tabelas Silver prontas para análise.