Databricks Certified Data Analyst Associate

Quem é quem

Componente	Em uma linha
Delta Lake	Formato de tabela com ACID, time travel e histórico
Unity Catalog	Governança: permissões, linhagem, auditoria, descoberta
Databricks SQL	SQL editor, SQL warehouses, dashboards, alerts
Lakeflow (Connect, Pipelines, Jobs)	Ingestão, transformação declarativa e orquestração
Mosaic AI	Modelos, serving, agentes, vector search
Data Intelligence Engine	A IA que entende seus dados (metadados, uso) e alimenta Assistant e Genie

Catalog Explorer

Navega catálogo → schema → tabela/view/volume/função. Mostra schema, amostra, permissões, histórico, linhagem (de onde vem e quem usa) e tags. Uma tabela pode ser marcada como certificada (confiável) ou depreciada.

Gerenciada x externa

DROP de gerenciada apaga dados; de externa, só o registro — os arquivos continuam no LOCATION.

Marketplace

Loja aberta (baseada em Delta Sharing) de datasets, notebooks, modelos e soluções, gratuitos ou pagos. O que você instala vira um catálogo no seu UC, sem copiar dados.

Descobrir e confiar

Busque pelo nome/descrição/tag; prefira tabelas certificadas. Veja a linhagem para entender origem e impacto antes de mudar algo.

ALTER TABLE main.gold.vendas SET TAGS ('dominio' = 'comercial');
COMMENT ON TABLE main.gold.vendas IS 'Vendas por loja e dia';

Limpeza em SQL

CREATE OR REPLACE TABLE main.silver.clientes AS
SELECT DISTINCT
  id,
  trim(initcap(nome))                 AS nome,
  COALESCE(cidade, 'Não informada')   AS cidade,
  try_cast(idade AS INT)              AS idade        -- NULL em vez de erro
FROM main.bronze.clientes
WHERE id IS NOT NULL
  AND email RLIKE '^[^@]+@[^@]+\\.[^@]+$';

Ferramentas: COALESCE/IFNULL/NVL, try_cast, NULLIF, TRIM, DISTINCT, filtros com WHERE.

Forma	Quando
Upload pela UI (Add data → Create or modify table)	CSV/JSON/Parquet pequeno do seu computador → tabela ou volume
Object storage (S3/ADLS/GCS)	Arquivos já na nuvem: COPY INTO ou read_files
Auto Loader	Arquivos chegando continuamente
Delta Sharing	Receber/enviar tabelas de/para outra organização sem cópia
API	Sistemas que expõem REST: script em notebook agendado
Marketplace	Datasets públicos ou de provedores

SELECT * FROM read_files('s3://bucket/vendas/*.csv', format => 'csv', header => true);

Assistant

Comandos: /explain (explica a query passo a passo), /fix (corrige erro), /optimize, /doc. Ou escreva em linguagem natural: "contagem de clientes por estado em 2026".

SQL warehouse

É o compute do SQL: executa as queries do editor, dashboards, alerts e ferramentas de BI (via JDBC/ODBC). Serverless sobe em segundos e escala por concorrência. Um warehouse parado não cobra.

Federation

SELECT v.*, c.segmento
FROM main.gold.vendas v
JOIN erp_postgres.public.clientes c ON v.cliente_id = c.id;   -- catálogo estrangeiro

Views, MVs e streaming tables

	Guarda dados?	Quando
View (dinâmica)	Não; roda a query a cada leitura	Simplificar/limitar acesso
Materialized view	Sim; refresh agendado/incremental	Agregações caras lidas muitas vezes
Streaming table	Sim; processa só o novo	Dados chegando continuamente

CREATE MATERIALIZED VIEW main.gold.vendas_mes
SCHEDULE EVERY 1 DAY AS
SELECT date_trunc('MONTH', data) AS mes, SUM(valor) AS total FROM main.silver.vendas GROUP BY 1;

Joins e conjuntos

• INNER só o que casa; LEFT tudo da esquerda; RIGHT tudo da direita; FULL tudo; CROSS combinações.
• UNION remove duplicatas; UNION ALL mantém (mais rápido).

Agregações

COUNT(*), COUNT(DISTINCT x), approx_count_distinct(x), AVG, percentile_approx. Toda coluna não agregada no SELECT precisa estar no GROUP BY; filtro sobre agregado vai no HAVING.

Criar tabelas

CREATE OR REPLACE TABLE warehouse_db.inventario (largura INT, comprimento INT, altura INT);
-- CREATE OR REPLACE mantém histórico e permissões; DROP + CREATE perde os dois.

Time travel

SELECT * FROM main.silver.vendas VERSION AS OF 15;
SELECT * FROM main.silver.vendas TIMESTAMP AS OF '2026-09-30';

Falha se os arquivos daquela versão já foram removidos por VACUUM (retenção padrão de 7 dias).

Photon

Motor vetorizado em C++ compatível com a API do Spark. Acelera SQL e DataFrames (scans, joins, agregações, escrita Delta/Parquet) sem mudar código. Ligado por padrão em SQL warehouses.

Achando a query lenta

• Query history: filtra por usuário, período, warehouse e status; mostra duração e I/O.
• Query profile: árvore de operadores com tempo, linhas e bytes — mostra onde está o gargalo.
• Query insights: dicas automáticas (ex.: "poucos arquivos podados").

Delta para auditoria

DESCRIBE HISTORY tabela mostra versão, operação, usuário e métricas. Compare versões:

SELECT * FROM vendas VERSION AS OF 20
EXCEPT
SELECT * FROM vendas VERSION AS OF 19;

Cache

O SQL warehouse tem cache de resultados (mesma query + mesmos dados = resposta instantânea) e disk cache dos arquivos.

Liquid Clustering

ALTER TABLE main.gold.eventos CLUSTER BY (cliente_id);
OPTIMIZE main.gold.eventos;

Filtros por cliente_id passam a ler muito menos arquivos.

AI/BI Dashboards

Aba Data (datasets = queries ou tabelas) + aba de canvas com páginas. Widgets: visualizações, texto (markdown), imagens, filtros. Você pode pedir ao Assistant para gerar o gráfico.

Parâmetros e filtros

• Parâmetro na query do dataset: WHERE data BETWEEN :data_inicio AND :data_fim → um widget de data alimenta o WHERE.
• Filtro de campo atua sobre os resultados de um ou mais datasets da página.

Compartilhar

Publicar o dashboard, depois: permissões (CAN VIEW, CAN RUN, CAN EDIT, CAN MANAGE); escolher se roda com as credenciais do publicador ou de quem vê; compartilhar com usuários da conta; embed em apps.

Agendar e alertar

• Schedule no dashboard: refresh periódico e envio por e-mail para assinantes.
• Alert: query + condição (avg_temp > 80) + frequência + destino (e-mail, Slack, Teams, webhook).

Qual gráfico

Pergunta	Gráfico
Evolução no tempo	Linha
Comparar categorias	Barra
Parte do todo (poucas fatias)	Pizza/rosca (com moderação)
Relação entre duas medidas	Dispersão
Um número-chave	Counter/KPI
Distribuição	Histograma / box plot
Geografia	Mapa

O que é

Uma interface de perguntas em linguagem natural sobre um conjunto curado de tabelas. A Genie gera SQL, executa no warehouse e responde com tabela/gráfico.

Componentes

• Dados: poucas tabelas/views bem descritas (comentários de tabela e coluna importam muito).
• Instruções: vocabulário do negócio ("receita = valor - descontos", "trimestre fiscal começa em abril").
• SQL de exemplo / trusted assets: queries validadas (inclusive parametrizadas e funções) que a Genie usa como resposta confiável.
• Perguntas de exemplo: mostram aos usuários o que perguntar.
• SQL warehouse: onde roda.

Melhorar com o tempo

Veja as perguntas reais e o feedback (👍/👎), crie benchmarks (pergunta + SQL esperado) para medir precisão, ajuste instruções, adicione trusted assets e melhore comentários no UC.

Permissões

Usuários precisam de acesso ao space e às tabelas (UC) e ao warehouse.

Modelo	Estrutura	Bom para
Estrela	Fato no centro + dimensões desnormalizadas	BI, queries simples e rápidas
Floco de neve	Dimensões normalizadas em subdimensões	Menos redundância, mais joins
Data Vault	Hubs (chaves), Links (relações), Satellites (atributos com histórico)	Integração de muitas fontes, auditoria

No medalhão: Data Vault costuma ficar na silver (integração); estrela na gold (consumo).

SELECT * FROM main.vendas.pedidos;   -- catálogo.schema.tabela
GRANT USE CATALOG ON CATALOG main TO `bi`;
GRANT USE SCHEMA ON SCHEMA main.vendas TO `bi`;
GRANT SELECT ON TABLE main.vendas.pedidos TO `bi`;
ALTER TABLE main.vendas.pedidos OWNER TO `time_dados`;   -- owner = grupo, não pessoa

• Owner controla o objeto e pode conceder acesso; prefira um grupo como owner.
• PII: views que escondem colunas, máscaras de coluna, filtros de linha e tags.
• Volumes guardam arquivos não tabulares com as mesmas permissões.