分散MLがもっと手軽に：サーバーレス＆標準クラスターでの提供を Public Preview 開始

サーバレスのノートブックおよびJob、そして標準クラスタリングでのApache Spark MLlib (Python)とOptunaのパブリックプレビューが開始されたことにより、Databricksの統合コンピュート環境に分散型machine learningが導入されます。専用クラスタリングを必要とすることなく、パフォーマンス、セキュリティ、およびコラボレーションの容易さが統合されます。

専用からServerless 機械学習へ

これまで、Apache Spark MLlib を使用したトレーニングや Optuna を使用したハイパーパラメーターチューニングなどの分散型機械学習ワークロードは、専用クラスターでのみ実行可能でした。専用クラスターは効果的である一方、単一 ID 環境（ユーザーまたはグループ）であり、ネイティブのきめ細かなアクセス制御（FGAC）に欠けているため、安全なマルチユーザーコラボレーションが制限されていました。

このリリースにより、Databricks は分散 機械学習 機能をserverlessと標準クラスターの両方に拡張しました。これにより、チームは組み込みのセキュリティとガバナンス機能を使って、machine learningワークロードをスケーリングできるようになります。

これらの機能強化は、Scikit-learn、XGBoost、LightGBM などの既存のシングルノード 機械学習 サポートを補完し、すべての Databricks コンピュートオプションにわたって、統合されたエンドツーエンドのmachine learning体験を提供します。

Databricks コンピュートでの拡張 機械学習 機能

Databricks ユーザーは、serverlessクラスターと標準クラスターの両方で、以下を含む分散型 機械学習 ワークロードをランできるようになりました。

• Apache Spark MLlib (Python) を使用した分散モデルをトレーニングする
• Optunaで大規模なハイパーパラメータチューニングを実行
• MLflow Spark を使用したエクスペリメントの追跡と管理
• Joblib Sparkを使用して、Scikit-learn、LightGBM、XGBoostのシングルノードのワークロードを分散

これらの機能が一体となることで機械学習体験が統合され、チームはローカルでの実験から分散型の本番運用ワークロードまでシームレスにスケーリングできるようになります。

統合されたコンピュートとガバナンス

Spark Connect上に構築されたDatabricksのLakeguardテクノロジーは、きめ細かなアクセス制御（FGAC）とマルチユーザー分離により、標準とserverlessの両方のコンピュートを強化します。これにより、お客様がご自身のクラスターを管理する場合でも、serverless コンピュートを利用する場合でも、データとワークロードが同じガバナンス レイヤーで確実に保護されます。

主なメリット:

• 統合されたコンピュート体験: 標準およびserverlessの両方のコンピュート環境で、アナリティクスワークロードやETLワークロードと並行して分散機械学習をランできます。
• 安全なマルチユーザー コラボレーション: 複数のユーザーが共有環境内で安全に分離された Spark ワークロードを並列にランできます。
• ネイティブのきめ細かいアクセス制御 (FGAC) の適用: 特徴量とモデルへの安全なアクセスを確保するため、権限、属性ベースのアクセス制御 (ABAC)、行フィルター、列マスクがユーザーごとに適用されます。

これらの機能は Spark 4 で導入され、Databricks に統合されたことで、最新のデータチームに次世代の分散型machine learningを提供します。

SAPの製品マネージャーであるHozumi Nakamo氏は、次のように述べています。

"Databricks の serverless コンピュートで Apache Spark MLlib が利用可能になったことで、SAP Databricks のお客様はインフラの悩みを抱えることなく machine learning をスケールさせ、安全かつ効率的にビジネスデータから知見を容易に引き出せるようになります。"

これは、Databricks の serverless コンピュートが分散 機械学習 を簡素化し、顧客がインフラストラクチャではなく知見に集中できることを示しています。

オープンソースコミュニティと共に構築

このマイルストーンは、Apache Spark の長年の貢献者である NVIDIA との協業など、Databricks とオープンソースコミュニティの継続的なコラボレーションを反映したものです。Databricks と NVIDIA は共同で、Spark 4 リリースの一環として Spark ML を Spark Connect に拡張しました。これにより、標準コンピュートとserverlessコンピュートの両方で分散型 機械学習 ワークロードを効率的にランできるようになります。

NVIDIA の GPU ソフトウェア担当バイスプレジデントであるAndrew Feng 氏は、次のように述べています。

"Spark Connect は、Spark ユーザーにとってのアクセシビリティと導入の容易さにおいて、新時代の到来を告げるものです。NVIDIAは7年以上にわたり、オープンソースのSparkコミュニティで積極的に活動してきました。Spark MLlib を Spark Connect に対応するように拡張することで、企業はコードを変更することなく、容易にエンドツーエンドの GPU アクセラレーションを実現でき、コストを最大 80% 削減しながら、最大 9 倍という画期的なパフォーマンス向上を達成できます。これは、NVIDIA社内で採用し、企業の移行も支援してきたアーキテクチャです。大規模なデータとAIで実現できることの可能性を塗り替えています。"

NVIDIAおよび幅広いSparkコミュニティとのこの連携を通じて、Databricksは、あらゆる企業にとって分散機械学習をより高性能で、使いやすく、費用対効果の高いものにするための取り組みを続けています。

無料トライアル

本日より、Databricks で分散機械学習の実行をstartできます:

• サーバーレス コンピュートについて: 環境バージョン 4 以降を使用して、ワークロードをサーバーレス コンピュートにアタッチしてください。現在、これは CPU と GPU (ベータ版) でランできます。
• 標準クラスターの場合：Databricks Runtime 17.0以降を使用して、ワークロードを通常どおり実行します。

詳しく見る

• Databricks で Apache Spark MLlib を使用する
• Optuna ドキュメント
• AWS、Azure、GCP向けのUnity Catalogガイド