Lakeflow Declarative Pipeline - Introdução

Esta demonstração é uma introdução ao Lakeflow Declarative Pipeline, um framework ETL que torna a engenharia de dados acessível para todos. Simplesmente declare suas transformações em SQL ou Python, e o Declarative Pipeline lidará com a complexidade da engenharia de dados para você:

• Acelere o desenvolvimento de ETL: Permita que analistas e engenheiros de dados inovem rapidamente com o desenvolvimento e manutenção simples de pipelines
• Remova a complexidade operacional: Automatizando tarefas administrativas complexas e obtendo uma visibilidade mais ampla das operações do pipeline
• Confie nos seus dados: Com controles de qualidade integrados e monitoramento de qualidade para garantir BI, ciência de dados e ML precisos e úteis
• Potencialize seus dados com IA: Realize transformações de última geração com consultas Databricks SQL AI
• Simplifique o processamento em lote e em streaming: Com pipelines de dados de auto-otimização e autoescaláveis para processamento em lote ou em streaming

Nesta demonstração, usaremos um conjunto de dados brutos contendo informações sobre nosso sistema de aluguel de bicicletas como entrada. Nosso objetivo é ingerir esses dados em tempo quase real e construir tabelas para nossa equipe de analistas, garantindo a qualidade dos dados.

Para instalar a demonstração, obtenha uma área de trabalho Databricks gratuita e execute os dois comandos seguintes em um notebook Python

Dbdemos é uma biblioteca Python que instala demonstrações completas do Databricks em seus espaços de trabalho. Dbdemos carregará e iniciará notebooks, pipelines DLT, clusters, painéis de SQL do Databricks, modelos de armazém... Veja como usar o dbdemos

Dbdemos é distribuído como um projeto do GitHub.

Para mais detalhes, por favor, veja o GitHub arquivo README.md e siga a documentação.
Dbdemos é fornecido como está. Veja a Licença e Aviso para mais informações.
A Databricks não oferece suporte oficial para dbdemos e os ativos associados.
Para qualquer problema, por favor, abra um ticket e a equipe de demonstração dará uma olhada com base no melhor esforço.