Basé sur l'open source

Les ingénieurs de Databricks sont les créateurs originaux de plusieurs des technologies de données open source les plus populaires au monde présentées sur cette page. Apache Spark est décrit comme un moteur unifié pour l'exécution de charges de travail d'ingénierie des données, de data science et de ML, et les ingénieurs de Databricks ont également créé des projets tels que Delta Lake et MLflow. Parce que Databricks a développé ces projets, la plateforme reste étroitement alignée sur les versions open source disponibles sur spark.apache.org, delta.io et mlflow.org.

Databricks fonctionne sur le même moteur Apache Spark open source plutôt que sur un moteur de requête différent ou propriétaire. Pour les équipes qui envisagent de s'appuyer sur Spark open source autogéré ou de l'exécuter sur Databricks, la page renvoie directement à Comparer Spark et Databricks. Databricks superpose également les projets open source complémentaires qu'il a créés, tels que Delta Lake pour le stockage en lac et Unity Catalog pour la gouvernance, qui vont au-delà de ce que Apache Spark fournit seul.

Delta Lake et Apache Iceberg vous permettent de créer une architecture de lakehouse sur des systèmes de stockage tels que AWS S3, ADLS, GCS et HDFS. Unity Catalog est décrit comme le seul catalogue universel de l'industrie pour les données et l'IA, et Delta Sharing est décrit comme le premier protocole ouvert de l'industrie pour le partage sécurisé de données, facilitant le partage de données avec d'autres organisations. Vous pouvez en savoir plus sur ces projets sur delta.io, apache.iceberg.org, unitycatalog.io et sur le site Delta Sharing.

Databricks prend en charge MLflow, qui gère le cycle de vie du ML, y compris l'expérimentation, la reproductibilité, le déploiement et un registre central des modèles, aux côtés de bibliothèques ML populaires telles que TensorFlow, PyTorch, Keras, scikit-learn et XGBoost. TensorFlow est pris en charge en tant que bibliothèque pour l'apprentissage profond et le calcul général sur les clusters, et Keras s'exécute sur TensorFlow en tant qu'API d'apprentissage profond disponible dans Databricks Runtime pour ML. Les intégrations PyTorch ont été construites grâce à une collaboration entre Databricks et Facebook, le créateur de PyTorch, et XGBoost est pris en charge en tant que bibliothèque distribuée de boosting de gradient avec des liaisons en Python, R et C++.

Cet ensemble de projets est destiné aux ingénieurs de données, aux scientifiques de données, aux professionnels du ML et aux équipes d'infrastructure qui souhaitent utiliser des outils de données et d'IA open source bien connus au sein d'une plateforme unique plutôt que de les assembler et de les maintenir séparément. Il sert également les développeurs qui gèrent l'infrastructure en tant que code, puisque le fournisseur Databricks Terraform permet aux clients de gérer l'ensemble de leurs espaces de travail Databricks aux côtés du reste de leur infrastructure cloud à l'aide de HashiCorp Terraform. Les membres de la communauté peuvent également entrer en contact avec d'autres utilisateurs de ces projets en rejoignant un meetup.

Vous pouvez essayer Databricks gratuitement directement à partir de cette page, ou explorer les projets open source individuels sur leurs propres sites, y compris spark.apache.org, delta.io, mlflow.org et unitycatalog.io. La page renvoie également à un meetup permettant de se connecter avec d'autres utilisateurs de ces projets de données ouvertes et d'IA. Pour une introduction technique plus approfondie, Databricks fournit des conférences techniques liées sur les premiers pas avec Delta Lake et la gestion du cycle de vie de l'apprentissage automatique avec MLflow.