によって マーティン・グルンド, Xiangrui Meng, ステファニア・レオーネ, Jakob Mund, Xiaohan Zhang, Xi Lyu, Herman van Hövell, Othon Crelier, Ruifeng Zheng, DB Tsai, Weichen Xu, Lu Wang, Ben Wilson 、 Serano Tannason による投稿
サーバレスのノートブックおよびJob、そして標準クラスタリングでのApache Spark MLlib (Python)とOptunaのパブリックプレビューが開始されたことにより、Databricksの統合コンピュート環境に分散型machine learningが導入されます。専用クラスタリングを必要とすることなく、パフォーマンス、セキュリティ、およびコラボレーションの容易さが統合されます。
これまで、Apache Spark MLlib を使用したトレーニングや Optuna を使用したハイパーパラメーターチューニングなどの分散型機械学習ワークロードは、専用クラスターでのみ実行可能でした。専用クラスターは効果的である一方、単一 ID 環境（ユーザーまたはグループ）であり、ネイティブのきめ細かなアクセス制御（FGAC）に欠けているため、安全なマルチユーザーコラボレーションが制限されていました。
このリリースにより、Databricks は分散 機械学習 機能をserverlessと標準クラスターの両方に拡張しました。これにより、チームは組み込みのセキュリティとガバナンス機能を使って、machine learningワークロードをスケーリングできるようになります。
これらの機能強化は、Scikit-learn、XGBoost、LightGBM などの既存のシングルノード 機械学習 サポートを補完し、すべての Databricks コンピュートオプションにわたって、統合されたエンドツーエンドのmachine learning体験を提供します。
Databricks ユーザーは、serverlessクラスタ ーと標準クラスターの両方で、以下を含む分散型 機械学習 ワークロードをランできるようになりました。
これらの機能が一体となることで機械学習体験が統合され、チームはローカルでの実験から分散型の本番運用ワークロードまでシームレスにスケーリングできるようになります。
Spark Connect上に構築されたDatabricksのLakeguardテクノロジーは、きめ細かなアクセス制御（FGAC）とマルチユーザー分離により、標準とserverlessの両方のコンピュートを強化します。これにより、お客様がご自身のクラスターを管理する場合でも、serverless コンピュートを利用する場合でも、データとワークロードが同じガバナンス レイヤーで確実に保護されます。
主なメリット:
これらの機能は Spark 4 で導入され、Databricks に統合されたことで、最新のデータチームに次世代の分散型machine learningを提供します。
SAPの製品マネージャーであるHozumi Nakamo氏は、次のように述べています。
"Databricks の serverless コンピュートで Apache Spark MLlib が利用可能になったことで、SAP Databricks のお客様はインフラの悩みを抱えることなく machine learning をスケールさせ、安全かつ効率的にビジネスデータから知見を容易に引き出せるようになります。"
これは、Databricks の serverless コンピュートが分散 機械学習 を簡素化し、顧客がインフラストラクチャではなく知見に集中できることを示しています。
このマイルストーンは、Apache Spark の長年の貢献者である NVIDIA との協業など、Databricks とオープンソースコミュニティの継続的なコラボレーションを反映したものです。Databricks と NVIDIA は共同で、Spark 4 リリースの一環として Spark ML を Spark Connect に拡張しました。これにより、標準コンピュートとserverlessコンピュートの両方で分散型 機械学習 ワークロードを効率的にランできるようになります。
NVIDIA の GPU ソフトウェア担当バイスプレジデン トであるAndrew Feng 氏は、次のように述べています。
"Spark Connect は、Spark ユーザーにとってのアクセシビリティと導入の容易さにおいて、新時代の到来を告げるものです。NVIDIAは7年以上にわたり、オープンソースのSparkコミュニティで積極的に活動してきました。Spark MLlib を Spark Connect に対応するように拡張することで、企業はコードを変更することなく、容易にエンドツーエンドの GPU アクセラレーションを実現でき、コストを最大 80% 削減しながら、最大 9 倍という画期的なパフォーマンス向上を達成できます。これは、NVIDIA社内で採用し、企業の移行も支援してきたアーキテクチャです。大規模なデータとAIで実現できることの可能性を塗り替えています。"
NVIDIAおよび幅広いSparkコミュニティとのこの連携を通じて、Databricksは、あらゆる企業にとって分散機械学習をより高性能で、使いやすく、費用対効果の高いものにするための取り組みを続けています。
本日より、Databricks で分散機械学習の実行をstartできます:
詳しく見る
ブログを購読して、最新の投稿を受信トレイにお届けします。