Unity Catalog の共有クラスターが勝利：クラスターライブラリ、Python UDF、Scala、機械学習などのご紹介

Databricks の高効率なマルチユーザー クラスターで、Unity Catalog の新しいセキュリティおよびガバナンス機能により、さらに多くのワークロードを実行できるようになりました。これにより、データチームは共有コンピューティングリソース上で安全に SQL、Python、および Scala ワークロードを開発および実行できるようになります。これにより、Databricks は、Scala、Python、および SQL Spark ワークロード向けの共有コンピューティングに対するきめ細かなアクセス制御を提供する業界唯一のプラットフォームとなります。

Databricks Runtime 13.3 LTS 以降では、共有クラスターで利用可能な以下の機能のおかげで、ワークロードをシームレスに共有クラスターに移行できます。

• クラスターライブラリと初期化スクリプト: クラスターライブラリのインストールと起動時の初期化スクリプトの実行によりクラスターのセットアップを合理化し、誰が何をインストールできるかを定義するための強化されたセキュリティとガバナンスを提供します。
• Scala: Python および SQL と並行してマルチユーザー Scala ワークロードを安全に実行し、同時実行ユーザー間の完全なユーザーコード分離と Unity Catalog のアクセス許可の適用を行います。
• Python および Pandas UDF: 同時実行ユーザー間の完全なユーザーコード分離により、Python および (スカラー) Pandas UDF を安全に実行します。
• シングルノード機械学習: Spark ドライバーノードを使用して scikit-learn、XGBoost、prophet などの一般的な ML ライブラリを実行し、MLflow を使用してエンドツーエンドの機械学習ライフサイクルを管理します。
• 構造化ストリーミング: 構造化ストリーミングを使用してリアルタイムデータ処理および分析ソリューションを開発します。

Unity Catalog でのデータアクセスが容易に

Unity Catalog によって管理されるデータで作業するためのクラスターを作成する際に、2 つのアクセスモードを選択できます。

• 共有アクセスモードのクラスター – または単に共有クラスター – は、ほとんどのワークロードで推奨されるコンピューティングオプションです。共有クラスターを使用すると、多数のユーザーが同じコンピューティングリソースにアタッチして同時にワークロードを実行できるため、大幅なコスト削減、クラスター管理の簡素化、およびきめ細かなアクセス制御を含む包括的なデータガバナンスが可能になります。これは、SQL、Python、および Scala のユーザーコードを低レベルリソースにアクセスせずに完全に分離して実行する Unity Catalog のユーザーワークロード分離によって実現されます。
• シングルユーザーアクセスモードのクラスターは、特権マシンアクセスを必要とするワークロード、または RDD API、分散 ML、GPU、Databricks Container Service、または R を使用するワークロードに推奨されます。

シングルユーザークラスターは、ユーザーコードが特権アクセスで Spark 上で実行される従来の Spark アーキテクチャに従いますが、共有クラスターはコードのユーザー分離を保証します。下の図は、共有クラスターに固有のアーキテクチャと分離プリミティブを示しています。クライアントサイドのユーザーコード (Python、Scala) は完全に分離されて実行され、Spark Executor で実行される UDF は分離された環境で実行されます。このアーキテクチャにより、同じコンピューティングリソース上でワークロードを安全に多重化し、協調的でコスト効率が高く安全なソリューションを同時に提供できます。

共有クラスターの最新の強化機能: クラスターライブラリ、初期化スクリプト、Python UDF、Scala、ML、およびストリーミングサポート

クラスターライブラリと初期化スクリプトを使用した共有クラスターの構成

クラスターライブラリを使用すると、クラスターまたは複数のクラスター間でライブラリをシームレスに共有および管理でき、一貫したバージョンを確保し、繰り返しインストールする必要性を減らすことができます。機械学習フレームワーク、データベースコネクタ、またはその他の必須コンポーネントをクラスターに組み込む必要がある場合でも、クラスターライブラリは、共有クラスターで利用可能になった集中化された簡単なソリューションを提供します。

ライブラリは、Unity Catalog ボリューム (AWS、Azure、GCP)、ワークスペースファイル (AWS、Azure、GCP)、PyPI/Maven、およびクラウドストレージの場所から、既存のクラスター UI または API を使用してインストールできます。

初期化スクリプトを使用すると、クラスター管理者はクラスター作成プロセス中にカスタムスクリプトを実行して、認証メカニズムの設定、ネットワーク設定の構成、またはデータソースの初期化などのタスクを自動化できます。

初期化スクリプトは共有クラスターにインストールできます。クラスター作成時、またはクラスターポリシー (AWS、Azure、GCP) を使用してクラスターフリートにインストールできます。最大限の柔軟性を実現するために、Unity Catalog ボリューム (AWS、Azure、GCP) またはクラウドストレージから初期化スクリプトを使用するかどうかを選択できます。

追加のセキュリティレイヤーとして、クラスターライブラリ (jar) および初期化スクリプトのインストールを管理する許可リスト (AWS、Azure、GCP) を導入します。これにより、管理者は共有クラスターでのそれらの管理を制御できます。各メタストアについて、メタストア管理者は、ライブラリ (jar) および初期化スクリプトをインストールできるボリュームとクラウドストレージの場所を構成できるため、信頼できるリソースの集中リポジトリを提供し、不正なインストールを防ぎます。これにより、クラスター構成に対するより詳細な制御が可能になり、組織のデータワークフロー全体の一貫性を維持するのに役立ちます。

Scala ワークロードの活用

Unity Catalog によって管理される共有クラスターで Scala がサポートされるようになりました。データエンジニアは、Scala の柔軟性とパフォーマンスを活用して、あらゆる種類のビッグデータ課題を、同じクラスターで共同作業しながら、Unity Catalog ガバナンスモデルを活用して処理できます。

既存の Databricks ワークフローに Scala を統合するのは簡単です。共有クラスターを作成する際に Databricks runtime 13.3 LTS 以降を選択するだけで、他のサポートされている言語と並行して Scala コードを記述および実行する準備が整います。

ユーザー定義関数 (UDF)、機械学習、構造化ストリーミングの活用

それだけではありません！共有クラスター向けのさらに画期的な進歩を発表できることを嬉しく思います。

Python および Pandas ユーザー定義関数 (UDF) のサポート: 共有クラスターでも Python および (スカラー) Pandas UDF の両方のパワーを活用できるようになりました。コードの適応は不要で、ワークロードを共有クラスターにシームレスに移行するだけです。Spark Executor での UDF ユーザーコードの実行をサンドボックス化された環境で分離することにより、共有クラスターはデータに追加の保護レイヤーを提供し、不正アクセスや潜在的な侵害を防ぎます。

Spark ドライバーノードと MLflow を使用したすべての一般的な ML ライブラリのサポート: Scikit-learn、XGBoost、prophet、その他の一般的な ML ライブラリを使用している場合でも、共有クラスター上で直接機械学習モデルをシームレスに構築、トレーニング、およびデプロイできるようになりました。すべてのユーザーのために ML ライブラリをインストールするには、新しいクラスターライブラリを使用できます。MLflow (2.2.0 以降) との統合サポートにより、エンドツーエンドの機械学習ライフサイクルの管理がこれまでになく簡単になりました。

構造化ストリーミングも Unity Catalog によって管理される共有クラスターで利用できるようになりました。この変革的な追加機能により、リアルタイムデータ処理と分析が可能になり、データチームがストリーミングワークロードを共同で処理する方法に革命をもたらします。

今日から始めましょう。さらに良いものが登場します

Databricks Runtime 13.3 LTS以降を使用するだけで、Scala、クラスターライブラリ、Python UDF、シングルノードML、共有クラスターでのストリーミングのパワーを今日から体験してください。詳細を確認し、データエクセレンスへの旅を始めるには、クイックスタートガイド（AWS、Azure、GCP）を参照してください。

今後数週間から数ヶ月かけて、Unity Catalogのコンピューティングアーキテクチャをさらに統合し、Unity Catalogでの作業をさらに簡単にしていく予定です。

(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事