Feature Views gerais no Databricks para batch e streaming

Feature Views permitem definir e calcular features a partir de fontes como tabelas Delta, streams do Kafka e dados em tempo de execução, integrando-se ao Unity Catalog para treinamento e serving de modelos.

Para que serve

Imagine que você precisa alimentar modelos de machine learning com agregações temporais consistentes e dados em tempo real.

• Criar objetos de feature no Unity Catalog.
• Calcular features pontuais para treinamento e inferência.
• Materializar features para stores offline e online.

Como usar

Instancie a biblioteca e defina as features usando Python.

from databricks.feature_engineering import FeatureEngineeringClient
from databricks.feature_engineering.entities import (
    DeltaTableSource, Feature, AggregationFunction, Avg, TumblingWindow
)
from datetime import timedelta

source = DeltaTableSource(catalog_name="main", schema_name="feature_store", table_name="transactions")

avg_feature = Feature(
    source=source,
    entity=["user_id"],
    timeseries_column="transaction_time",
    function=AggregationFunction(Avg(input="amount"), TumblingWindow(window_duration=timedelta(days=30))),
    name="avg_transaction_30d",
)

fe = FeatureEngineeringClient()
feature_df = fe.compute_features(features=[avg_feature])
feature_df.display()

O que acontece nesse código:

1. Configura a fonte apontando para uma tabela Delta.
2. Define uma feature de média móvel com janela de 30 dias particionada por usuário.
3. Inicializa o cliente de engenharia de features e calcula o DataFrame resultante.

Limitações e requisitos

• Requer compute serverless ou cluster clássico executando Databricks Runtime 17.0 ML ou superior.
• É necessário instalar o pacote databricks-feature-engineering>=0.16.0.
• Features de streaming exigem uma online_config e não suportam offline_config direto.

Como aplicar num pipeline

Elas entram logo após a ingestão na camada Bronze/Silver para unificar a lógica de feature engineering entre o treinamento de modelos offline e o modelo em produção servindo previsões em baixa latência.