Data Engineering

Vereinfachte Datenaufnahme

Nehmen Sie Daten in Ihre Lakehouse-Plattform auf und betreiben Sie Ihre Analytics-, KI- und Streaming-Anwendungen von einem Ort aus. Auto Loader verarbeitet inkrementell und automatisch Dateien, die im Cloud-Speicher landen, ohne dass Statusinformationen verwaltet werden müssen, in geplanten oder kontinuierlichen Jobs. Er verfolgt neue Dateien effizient (Skalierung auf Milliarden), ohne sie in einem Verzeichnis auflisten zu müssen, und kann das Schema auch automatisch aus den Quelldaten ableiten und im Laufe der Zeit weiterentwickeln. Der Befehl COPY INTO erleichtert Analysten die Batch-Dateiaufnahme in Delta Lake über SQL.

Mehr Informationen

Automatisierte ETL-Verarbeitung

Nach der Aufnahme müssen Rohdaten transformiert werden, damit sie für Analytics und KI bereit sind. Databricks bietet mit Delta Live Tables (DLT) leistungsstarke ETL-Funktionen für Data Engineers, Data Scientists und Analysten. DLT ist das erste Framework, das einen einfachen deklarativen Ansatz verwendet, um ETL- und ML-Pipelines auf Batch- oder Streaming-Daten zu erstellen und gleichzeitig betriebliche Komplexitäten wie Infrastrukturmanagement, Aufgabenorchestrierung, Fehlerbehandlung und Wiederherstellung sowie Leistungsoptimierung zu automatisieren. Mit DLT können Engineers ihre Daten auch als Code behandeln und Best Practices für die Softwareentwicklung wie Tests, Überwachung und Dokumentation anwenden, um zuverlässige Pipelines in großem Maßstab bereitzustellen.

Mehr Informationen

Zuverlässige Workflow-Orchestrierung

Databricks Workflows is the fully managed orchestration service for all your data, analytics and AI that is native to your Lakehouse Platform. Orchestrate diverse workloads for the full lifecycle including Delta Live Tables and Jobs for SQL, Spark, notebooks, dbt, ML models and more. Deep integration with the underlying Lakehouse Platform ensures you will create and run reliable production workloads on any cloud while providing deep and centralized monitoring with simplicity for end users.

Mehr Informationen

Durchgängige Beobachtbarkeit und Überwachung

Die Lakehouse-Plattform bietet Ihnen Transparenz über den gesamten Daten- und KI-Lebenszyklus, sodass Data Engineers und Betriebsteams den Zustand ihrer Produktionsabläufe in Echtzeit sehen, die Datenqualität verwalten und historische Trends verstehen können. In Databricks Workflows können Sie auf Datenflussdiagramme und Dashboards zugreifen, die den Zustand und die Leistung Ihrer Produktionsaufträge und Delta Live Tables-Pipelines verfolgen. Ereignisprotokolle werden auch als Delta Lake Tables angezeigt, sodass Sie Leistungs-, Datenqualitäts- und Zuverlässigkeits-Metrics aus jedem Blickwinkel überwachen und visualisieren können.

Datenverarbeitungs-Engine der nächsten Generation

Databricks Data Engineering wird von Photon unterstützt, der Engine der nächsten Generation, die mit Apache Spark-APIs kompatibel ist und ein rekordverdächtiges Preis-/Leistungsverhältnis bietet und gleichzeitig automatisch auf Tausende von Knoten skalierbar ist. Spark Structured Streaming bietet eine einzige und einheitliche API für die Batch- und Stream-Verarbeitung, sodass Streaming im Lakehouse ganz einfach eingeführt werden kann, ohne Code zu ändern oder neue Fähigkeiten zu erlernen.

Mehr Informationen

Modernste Data-Governance, Zuverlässigkeit und Leistung

Data Engineering auf Databricks bedeutet, dass Sie von den grundlegenden Komponenten der Lakehouse-Plattform – Unity Catalog und Delta Lake – profitieren. Ihre Rohdaten sind für Delta Lake optimiert, ein Open-Source-Speicherformat, das durch ACID-Transaktionen zuverlässig ist und skalierbare Metadatenbearbeitung mit blitzschneller Leistung bietet. In Kombination mit Unity Catalog erhalten Sie eine detaillierte Governance für alle Ihre Daten- und KI-Assets. So wird die Art und Weise, wie Sie Governance durchsetzen, mit einem einheitlichen Modell vereinfacht, um Daten über Clouds hinweg zu entdecken, darauf zuzugreifen und sie zu teilen. Unity Catalog bietet auch native Unterstützung für Delta Sharing, das branchenweit erste offene Protokoll für den einfachen und sicheren Datenaustausch mit anderen Unternehmen.