Lakeflow Declarative Pipeline - Einführung

Diese Demo ist eine Einführung in Lakeflow Declarative Pipeline, ein ETL-Framework, das Datenengineering für alle zugänglich macht. Erklären Sie einfach Ihre Transformationen in SQL oder Python, und Declarative Pipeline kümmert sich um die Datenverarbeitungskomplexität für Sie:

• Beschleunigen Sie die ETL-Entwicklung: Ermöglichen Sie Analysten und Daten-Ingenieuren, mit einfacher Pipeline-Entwicklung und -Wartung schnell zu innovieren
• Entfernen Sie betriebliche Komplexität: Durch Automatisierung komplexer administrativer Aufgaben und Erweiterung der Sichtbarkeit in Pipeline-Operationen
• Vertrauen Sie Ihren Daten: Mit eingebauten Qualitätskontrollen und Qualitätsüberwachung, um genaue und nützliche BI, Datenwissenschaft und ML zu gewährleisten
• Bereichern Sie Ihre Daten mit KI: Führen Sie modernste Transformationen mit Databricks SQL KI-Abfragen durch
• Vereinfachen Sie Batch- und Streaming: Mit selbstoptimierenden und automatisch skalierenden Datenpipelines für Batch- oder Streaming-Verarbeitung

In dieser Demo verwenden wir einen Rohdatensatz, der Informationen über unser Fahrradverleihsystem enthält, als Eingabe. Unser Ziel ist es, diese Daten nahezu in Echtzeit zu erfassen und Tabellen für unser Analystenteam zu erstellen, während wir die Datenqualität sicherstellen.

Um die Demo zu installieren, besorgen Sie sich eine kostenlose Databricks-Arbeitsumgebung und führen Sie die folgenden zwei Befehle in einem Python-Notizbuch aus

Dbdemos ist eine Python-Bibliothek, die vollständige Databricks-Demos in Ihren Arbeitsbereichen installiert. Dbdemos lädt und startet Notizbücher, DLT-Pipelines, Cluster, Databricks SQL-Dashboards, Warehouse-Modelle ... Siehe wie man dbdemos verwendet

Dbdemos wird als GitHub-Projekt verteilt.

Für weitere Details, bitte sehen Sie sich die GitHub README.md Datei an und folgen Sie der Dokumentation.
Dbdemos wird so bereitgestellt, wie es ist. Siehe die Lizenz und Hinweis für weitere Informationen.
Databricks bietet keinen offiziellen Support für dbdemos und die zugehörigen Assets.
Bei Problemen öffnen Sie bitte ein Ticket und das Demo-Team wird sich nach bestem Bemühen darum kümmern.