クロスクラウドデータガバナンスの一般提供開始（GA）のお知らせ

このたび、発表できることを嬉しく思います。Unity Catalogを介してAzure Databricks上でAWS S3データにアクセスし、クロスクラウドデータガバナンスを実現する機能が一般提供（GA）されました。すべてのデータとAI資産を対象とした業界唯一の統合されたオープンなガバナンスソリューションとして、Unity Catalogは、データが存在する場所に関係なくデータを管理できるようにし、クラウド間でのセキュリティ、コンプライアンス、相互運用性を確保します。このリリースにより、チームはデータセットを移行したりコピーしたりすることなく、Azure DatabricksからAWS S3データを直接構成してクエリを実行できるようになります。これにより、ADLSとS3ストレージの両方でポリシー、アクセス制御、監査を標準化することが容易になります。

このブログでは、次の2つの主要なトピックについて説明します。

• Unity Catalogがどのようにクロスクラウドデータガバナンスを実現するか
• Azure DatabricksからAWS S3データにアクセスして操作する方法

Unity Catalogにおけるクロスクラウドデータガバナンスとは？

企業がハイブリッドアーキテクチャやクロスクラウドアーキテクチャを採用する際、アクセス制御の断片化、セキュリティポリシーの不整合、ガバナンスプロセスの重複といった課題に直面することがよくあります。この複雑さはリスクを高め、運用コストを押し上げ、イノベーションを阻害します。

Unity Catalogによるクロスクラウドデータガバナンスは、AWS S3やAzure Data Lake Storageなど、複数のクラウドに保存されているデータに対して、単一の権限モデル、一元化されたポリシー適用、包括的な監査を拡張することで、これを簡素化します。これらはすべてDatabricksプラットフォーム内から管理できます。

Unity Catalogでクロスクラウドデータガバナンスを活用する主なメリットは以下の通りです。

• 統合されたガバナンス – サイロ化したシステムを個別に管理することなく、アクセスポリシー、セキュリティ管理、コンプライアンス基準を1か所から管理できます
• シームレスなデータアクセス – 単一のワークスペースでクラウド間のデータを安全に検出、クエリ、分析し、サイロを排除して複雑さを軽減します
• セキュリティとコンプライアンスの強化 – すべてのクラウドストレージにわたって、一元化された可視性、タグ付け、リネージ、データ分類、監査を実現します

クラウド間のガバナンスを橋渡しすることで、Unity Catalogは、データやAI資産がどこにあっても、それらすべてを管理し、価値を最大化するための単一の安全なインターフェースをチームに提供します。

仕組み

従来、Azure Databricksを使用する場合、Unity CatalogはADLS内のストレージロケーションのみをサポートしていました。つまり、AWS S3バケットに保存されているデータがあり、それをAzure Databricks上のUnity Catalogでアクセスして処理したい場合、従来のやり方では、そのデータをADLSコンテナに抽出、変換、ロード（ETL）する必要がありました。このプロセスはコストと時間がかかるだけでなく、重複した古いデータコピーを保持するリスクも高まります。

今回のGAリリースにより、Azure Databricks上のUnity Catalogから直接、外部のクロスクラウドS3ロケーションをセットアップできるようになりました。これにより、移行や重複を行うことなく、S3データをシームレスに読み取り、管理できます。

簡単な数ステップで、AWS S3バケットへのアクセスを構成できます。

1. ストレージ資格情報をセットアップし、外部ロケーションを作成します。 AWS IAMおよびS3リソースがプロビジョニングされたら、Azure Databricksのカタログエクスプローラーでストレージ資格情報と外部ロケーションを直接作成できます。
   • ストレージ資格情報を作成するには、カタログエクスプローラー内のCredentials（資格情報）に移動します。AWS IAM Role (Read-only)を選択し、必須フィールドに入力して、プロンプトが表示されたら信頼ポリシーのスニペットを追加します。​
   • 外部ロケーションを作成するには、カタログエクスプローラー内のExternal locations（外部ロケーション）に移動します。次に、セットアップしたばかりの資格情報を選択し、残りの詳細を入力します。
2. 権限を適用します。カタログエクスプローラー内のCredentials（資格情報）ページで、Azure Databricks上の1か所でADLSとS3のデータをまとめて確認できるようになりました。そこから、両方のストレージシステムに一貫した権限を適用できます。

3. クエリを開始しましょう！Azure DatabricksワークスペースからS3データに直接クエリを実行する準備が整いました。

GAリリースでサポートされる機能は？

GAに伴い、Azure DatabricksからS3の外部テーブルおよびボリュームへのアクセスがサポートされるようになりました。具体的には、以下の機能が読み取り専用としてサポートされています。

• AWS IAMロールのストレージ資格情報
• S3外部ロケーション
• S3外部テーブル
• S3外部ボリューム
• S3 dbutils.fs アクセス
• Azure上のUCからのS3データのDelta Sharing

はじめに

Azure Databricksでのクロスクラウドデータガバナンスをお試しいただくには、Azure Databricks上のS3ストレージ向けにIAMロールのストレージ資格情報をセットアップする方法についてのドキュメントをご覧ください。クラウドサービス外部のデータにアクセスする場合、クラウドプロバイダーから料金が請求される場合があることにご注意ください。Unity Catalogの使用を開始するには、Azure向けのUnity Catalogガイドに従ってください。

6月9日〜12日にサンフランシスコのモスコーニセンターで開催されるData + AI Summitで、Unity Catalogのプロダクトおよびエンジニアリングチームに会いましょう！データとAIガバナンスにおける最新のイノベーションをいち早くご紹介します。今すぐ登録して席を確保しましょう！

(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事