Aufbauend auf Open Source

Die Databricks-Ingenieure sind die ursprünglichen Entwickler mehrerer der weltweit beliebtesten Open-Source-Datentechnologien, die auf dieser Seite aufgeführt sind. Apache Spark wird als einheitliche Engine zum Ausführen von Data-Engineering-, Data-Science- und ML-Workloads beschrieben. Die Databricks-Ingenieure haben auch Projekte wie Delta Lake und MLflow ins Leben gerufen. Da diese Projekte von Databricks entwickelt wurden, bleibt die Plattform eng an den Open-Source-Versionen orientiert, die auf spark.apache.org, delta.io und mlflow.org verfügbar sind.

Databricks läuft auf derselben Open-Source-Engine Apache Spark und nicht auf einer anderen oder proprietären Abfrage-Engine. Für Teams, die selbstverwaltetes Open-Source-Spark gegen die Ausführung auf Databricks abwägen, wird die Seite direkt mit dem Vergleich von Spark und Databricks verlinkt. Databricks ergänzt dies zusätzlich um komplementäre Open-Source-Projekte, die es selbst entwickelt hat, wie Delta Lake für Lakehouse-Speicher und Unity Catalog für Governance, die über das hinausgehen, was Apache Spark allein bietet.

Mit Delta Lake und Apache Iceberg können Sie eine Lakehouse-Architektur auf Speichersystemen wie AWS S3, ADLS, GCS und HDFS aufbauen. Unity Catalog wird als der einzige universelle Katalog der Branche für Daten und KI beschrieben, und Delta Sharing wird als das branchenweit erste offene Protokoll für die sichere Datenfreigabe beschrieben, das die gemeinsame Nutzung von Daten mit anderen Organisationen vereinfacht. Weitere Informationen zu diesen Projekten finden Sie auf delta.io, apache.iceberg.org, unitycatalog.io und der Delta Sharing-Website.

Databricks unterstützt MLflow, das den ML-Lebenszyklus einschließlich Experimentierung, Reproduzierbarkeit, Bereitstellung und einer zentralen Modellregistrierung verwaltet, sowie gängige ML-Bibliotheken wie TensorFlow, PyTorch, Keras, Scikit-Learn und XGBoost. TensorFlow wird als Bibliothek für Deep Learning und allgemeine Berechnungen auf Clustern unterstützt. Keras läuft auf TensorFlow als Deep-Learning-API, die in der Databricks Runtime für ML verfügbar ist. Die PyTorch-Integrationen wurden in Zusammenarbeit zwischen Databricks und Facebook, dem Entwickler von PyTorch, entwickelt. XGBoost wird als verteilte Gradient-Boosting-Bibliothek mit Bindungen in Python, R und C++ unterstützt.

Diese Projektreihe richtet sich an Data Engineers, Data Scientists, ML-Experten und Infrastrukturteams, die bekannte Open-Source-Daten- und KI-Tools auf einer einzigen Plattform verwenden möchten, anstatt sie separat zusammenzustellen und zu verwalten. Es ist auch für Entwickler geeignet, die die Infrastruktur als Code verwalten, da der Terraform-Anbieter von Databricks Kunden es ermöglicht, ihre gesamten Databricks-Workspaces zusammen mit dem Rest ihrer Cloud-Infrastruktur mit HashiCorp Terraform zu verwalten. Community-Mitglieder können sich auch mit anderen Nutzern dieser Projekte verbinden, indem sie einem Meetup beitreten.

Sie können Databricks direkt auf dieser Seite kostenlos testen oder die einzelnen Open-Source-Projekte auf ihren eigenen Websites erkunden, einschließlich spark.apache.org, delta.io, mlflow.org und unitycatalog.io. Die Seite verlinkt auch zu einem Meetup, um sich mit anderen Nutzern dieser Open-Data- und KI-Projekte in Verbindung zu setzen. Für eine tiefere technische Einführung bietet Databricks verknüpfte Tech-Talks zu den ersten Schritten mit Delta Lake und der Verwaltung des Machine-Learning-Lebenszyklus mit MLflow.