Ir para o conteúdo principal
PIPELINES DECLARATIVOS DO LAKEFLOW

Pipelines de dados confiáveis simplificados

Simplifique o ETL em lotes e streaming com confiabilidade automatizada e qualidade de dados inte
lakedflow declarative pipelines
EQUIPES DE ALTO DESEMPENHO OBTÊM SUCESSO COM PIPELINES DE DADOS INTELIGENTES
Benefícios

Melhores práticas de pipeline de dados, codificadas

Basta declarar as transformações de dados de que você precisa e deixar que os pipelines declarativos do Lakeflow cuidem do resto.

Ingestão eficiente

A construção de pipelines ETL prontos para produção começa com a ingestão. Os pipelines declarativos do Lakeflow possibilitam uma ingestão eficiente para engenheiros de dados, desenvolvedores de Python, cientistas de dados e analistas de SQL. Carregue dados de qualquer fonte compatível com Apache Spark™ na Databricks, seja em lotes, streaming ou CDC.

Transformação inteligente

Com apenas algumas linhas de código, os pipelines declarativos do Lakeflow determinam a maneira mais eficiente de construir e executar seus pipelines de dados em lotes ou de streaming, otimizando automaticamente para custo ou desempenho enquanto minimiza a complexidade.

Operações automatizadas

Os pipelines declarativos do Lakeflow simplificam o desenvolvimento de ETL codificando as melhores práticas prontas para uso e automatizando a complexidade operacional inerente. Com os pipelines declarativos do Lakeflow, os engenheiros podem se concentrar em fornecer dados de alta qualidade em vez de operar e manter a infraestrutura do pipeline.

Recursos

Projetado para simplificar o pipeline de dados

Construir e operar pipelines de dados pode ser difícil, mas não precisa ser. Os pipelines declarativos do Lakeflow são projetados para oferecer simplicidade poderosa, permitindo que você realize ETL robusto com apenas algumas linhas de código

Aproveitando a API unificada do Spark para processamento em lotes e streaming, os pipelines declarativos do Lakeflow permitem alternar facilmente entre os modos de processamento.

Saiba mais
databricks processing

Os pipelines declarativos do Lakeflow facilitam a otimização do desempenho do pipeline ao declarar um pipeline de dados incremental completo com tabelas de streaming e visualizações materializadas.

Saiba mais
End to end incremental processing

Os pipelines declarativos do Lakeflow são compatíveis com um amplo ecossistema de fontes e destinos. Carregue dados de qualquer fonte, incluindo armazenamento em nuvem, barramentos de mensagens, feeds de dados de alteração, bancos de dados e aplicativos corporativos.

Saiba mais
Load data from anywhere

As expectativas permitem que você garanta que os dados que chegam às tabelas atendam aos requisitos de qualidade de dados e forneçam insights sobre a qualidade dos dados a cada atualização do pipeline.

Saiba mais
Data quality

Desenvolva pipelines no IDE para data engineering sem alternar de contexto. Visualize o DAG, a pré-visualização de dados e as percepções de execução em uma única interface de usuário. Desenvolva código facilmente com preenchimento automático, erros em linha e diagnósticos.

Saiba mais
feature 5 image

Mais recursos

Governança e armazenamento unificados

Construído sobre os padrões fundamentais do lakehouse, Unity Catalog e formatos de tabela abertos.

Saiba mais

Compute serverless

Até 5 vezes melhor relação custo/desempenho para ingestão de dados e 98% de economia de custos para transformações complexas.

Saiba mais

Orquestração de tarefas

Em vez de definir manualmente uma série de tarefas do Apache Spark™ separadas, você define as transformações, e os pipelines declarativos do Lakeflow garantem que elas sejam executadas na ordem correta.

Saiba mais

Tratamento de erros e recuperação de falhas

Recuperação contínua de erros que ocorrem durante a execução de pipelines de dados.

Saiba mais

CI/CD e controle de versões

Especifique facilmente as configurações para isolar pipelines em ambientes de desenvolvimento, teste e produção.

Saiba mais

Monitoramento e observabilidade de pipelines

Funcionalidades integradas de monitoramento e observabilidade, incluindo linhagem de dados, histórico de atualizações e relatórios sobre a qualidade dos dados.

Saiba mais

Agendamento de atualização flexível

Otimize facilmente para latência ou custo, dependendo dos requisitos do seu pipeline.

Saiba mais
Casos de uso

Simplifique seus pipelines de dados

Preços

O preço baseado no uso ajuda a controlar despesas

Pague apenas pelos produtos que usar por segundo.
Produtos relacionados

Descubra mais

Explore outras ofertas integradas e inteligentes na plataforma de inteligência de dados.

LakeFlow Connect

Conectores eficientes de data ingestion de qualquer fonte e integração nativa com a Plataforma de Inteligência de Dados desbloqueiam fácil acesso a analytics e AI, com governança unificada.

Jobs do Lakeflow

O Workflows permite definir, gerenciar e monitorar facilmente fluxos de trabalho multitarefa para ETL, análises e pipelines de machine learning. Com uma ampla variedade de tipos de tarefas compatíveis, recursos de observabilidade detalhada e alta confiabilidade, suas equipes de dados podem automatizar e orquestrar melhor qualquer pipeline e aumentar a produtividade.

Armazenamento lakehouse

Unifique os dados em seu lakehouse, em todos os formatos e tipos, para todas as suas cargas de trabalho de analytics e AI.

Unity Catalog

Governe sem esforço todos os seus ativos de dados com a única solução de governança unificada e aberta do setor para dados e AI, integrada à Databricks Data Intelligence Platform.

Plataforma de Inteligência de Dados

Descubra como a plataforma Databricks Data Intelligence permite seus dados e cargas de trabalho de IA.

Dê um passo adiante

Conteúdo relacionado

BLOG - Chegando em 12 de junho
O Databricks LakeFlow está disponível ao público
BLOG - Chegando em 12 de junho
Anúncio dos pipelines declarativos do Spark
e-books
Big Book of Data Engineering — 3ª Edição
Leia o e-book
Treinamento e certificação
Construa uma base sólida de dados e IA para demonstrar sua competência e acelerar sua carreira
Introdução

PERGUNTAS FREQUENTES SOBRE OS PIPELINES DECLARATIVOS DO LAKEFLOW

Pronto para se tornar uma 
empresa de dados + AI?

Dê os primeiros passos em sua transformação