オープンソースを基盤として構築

Databricks のエンジニアは、このページにご紹介する世界で最も人気のあるオープンソースデータテクノロジーのオリジナルクリエーターです。 Apache Spark は、データエンジニアリング、データサイエンス、機械学習ワークロードを実行するための統合エンジンとして説明されています。また、Databricks のエンジニアは Delta Lake や MLflow といったプロジェクトを生み出しました。 Databricks がこれらのプロジェクトを構築したため、プラットフォームは spark.apache.org、delta.io、mlflow.org で利用可能なオープンソースリリースと緊密に連携しています。

Databricks は、異なるクエリ エンジンまたは独自のクエリ エンジンではなく、同じオープンソース Apache Spark エンジンで実行されます。 Databricks での実行を比較検討中のチーム向けに、このページは Spark と Databricks の比較に直接リンクしています。 さらに Databricks は、レイクハウスストレージ向けの Delta Lake やガバナンス向けの Unity Catalog など、Apache Spark 単体で提供される機能を超えて拡張する、Databricks が作成した補完的なオープンソースプロジェクトを組み込んでいます。

Delta Lake と Apache Iceberg は、AWS S3、ADLS、GCS、HDFS などのストレージシステムの上に、レイクハウスアーキテクチャを構築することを可能にします。 Unity Catalogは、データと AI のための業界唯一のユニバーサルカタログ、Delta Sharingは、業界初のセキュアなデータ共有のためのオープンプロトコルとして説明され、他の組織とのデータ共有を容易にします。 これらのプロジェクトの詳細については、delta.io、apache.iceberg.org、unitycatalog.io、および Delta Sharing のサイトで確認できます。

Databricksは、TensorFlow、PyTorch、Keras、scikit-learn、XGBoostなどの一般的なMLライブラリとともに、実験、再現性、デプロイメント、中央モデルレジストリを含むMLライフサイクルを管理するMLflowをサポートしています。TensorFlow は、クラスタ上での Deep Learning や一般的な計算のためのライブラリとしてサポートされており、Keras は、TensorFlow 上で実行され、Databricks Runtime for ML で利用可能なディープラーニング API です。PyTorch の統合は、Databricks と PyTorch のクリエイターである Facebook のコラボレーションによって構築され、XGBoost は Python、R、C++ のバインディングを持つ分散グラデーションブースティングライブラリとしてサポートされています。

このプロジェクトのセットは、よく知られたオープンソースのデータやAIツールを個別に組み立てて保守するのではなく、単一のプラットフォーム内で使用したいデータエンジニア、データサイエンティスト、MLプラクティショナー、インフラチームを対象としています。 Databricks Terraformプロバイダーを使用すると、顧客はHashiCorp Terraformを使用して、クラウドインフラストラクチャの他の部分と併せてDatabricksワークスペース全体を管理できるため、Infrastructure as Code（IaC）でインフラストラクチャを管理する開発者にも役立ちます。コミュニティ メンバーは、ミートアップに参加することで、これらのプロジェクトの他のユーザーと交流することもできます。

Databricks は、このページから直接無料で試すことも、spark.apache.org、delta.io、mlflow.org、unitycatalog.io など、それぞれのオープンソースプロジェクトを詳しく調べることができます。 このページでは、オープンデータやAIプロジェクトの他のユーザーと接続するためのミートアップにもリンクしています。 技術的な紹介として、Databricks では、Delta Lake 入門とMLflow による機械学習ライフサイクルの管理について、リンクされた技術トークを実施しています。