Pipelines de dados confiáveis simplificados

Aproveitando a API unificada do Spark para processamento em lotes e streaming, os pipelines declarativos do Lakeflow permitem alternar facilmente entre os modos de processamento.

Os pipelines declarativos do Lakeflow facilitam a otimização do desempenho do pipeline ao declarar um pipeline de dados incremental completo com tabelas de streaming e visualizações materializadas.

Os pipelines declarativos do Lakeflow são compatíveis com um amplo ecossistema de fontes e destinos. Carregue dados de qualquer fonte, incluindo armazenamento em nuvem, barramentos de mensagens, feeds de dados de alteração, bancos de dados e aplicativos corporativos.

As expectativas permitem que você garanta que os dados que chegam às tabelas atendam aos requisitos de qualidade de dados e forneçam insights sobre a qualidade dos dados a cada atualização do pipeline.

Desenvolva pipelines no IDE para data engineering sem alternar de contexto. Visualize o DAG, a pré-visualização de dados e as percepções de execução em uma única interface de usuário. Desenvolva código facilmente com preenchimento automático, erros em linha e diagnósticos.