クロスクラウドデータガバナンスの一般提供を発表しました！

AWS S3データにAzure Databricksを通じてアクセスする事ができるようになりました！ Unity Catalog を介してクロスクラウドデータガバナンスを可能にするため、一般に利用可能になったことを 発表 します。すべてのデータとAI資産に対する業界唯一の統一されたオープンガバナンスソリューションとして、Unity Catalogは、データがどこに存在するかに関係なく、組織がデータを管理することを可能にします。これにより、セキュリティ、コンプライアンス、クラウド間の相互運用性が確保されます。このリリースにより、チームはデータセットを移行またはコピーすることなく、Azure Databricksから直接AWS S3データを設定し、クエリを実行することができます。これにより、ADLSとS3ストレージの両方にわたるポリシー、アクセス制御、監査を標準化することが容易になります。

このブログでは、2つの主要なトピックをカバーします：

• Unity Catalogがクロスクラウドデータガバナンスをどのように可能にするか
• Azure DatabricksからAWS S3データにアクセスし、作業する方法

Unity Catalogのクロスクラウドデータガバナンスとは何ですか？

企業がハイブリッドとクロスクラウドアーキテクチャを採用すると、アクセス制御が断片化し、セキュリティポリシーが一貫しない、ガバナンスプロセスが重複するという問題に直面することがよくあります。この複雑さはリスクを増加させ、運用コストを上昇させ、イノベーションを遅らせます。

Unity Catalogによるクロスクラウドデータガバナンスは、AWS S3やAzure Data Lake Storageなど、複数のクラウドに保存されたデータ全体にわたって一元的なポリシーの強制と包括的な監査を行うことで、これを簡素化します。これらはすべてDatabricks Platform内から管理されます。

Unity Catalog上でクロスクラウドデータガバナンスを活用する主な利点：

• 統一されたガバナンス - アクセスポリシー、セキュリティコントロール、コンプライアンス基準を一箇所から管理し、孤立したシステムを扱う手間を省きます
• 摩擦のないデータアクセス - シングルワークスペースで、クラウド間でデータを安全に発見、クエリ、分析し、サイロを排除し、複雑さを減らします
• 強化されたセキュリティとコンプライアンス - すべてのクラウドストレージに対する集中的な可視性、タグ付け、系統、データ分類、監査を得ることができます

Unity Catalogを使用してクラウド間のガバナンスを橋渡しすることで、チームはすべてのデータとAIアセットの価値を最大化し、管理するための単一の安全なインターフェースを提供します—それらがどこに存在していても。

仕組み

以前、Azure Databricksを使用していたとき、Unity CatalogはADLS内のストレージロケーションのみをサポートしていました。これは、AWS S3バケットにデータが保存されているが、それをAzure DatabricksのUnity Catalogでアクセスして処理する必要がある場合、従来のアプローチでは、そのデータを抽出、変換、ロード（ETL）してADLSコンテナに入れる必要があるということを意味します。これはコストがかかり、時間もかかるプロセスです。これにより、データの重複や古いコピーを保持するリスクも増えます。

このGAリリースにより、Azure Databricks上のUnity Catalogから直接外部のクロスクラウドS3ロケーションを設定することができるようになりました。これにより、マイグレーションや重複なしに、シームレスにS3データを読み取り、管理することができます。

以下の簡単な手順でAWS S3バケットへのアクセスを設定することができます：

1. ストレージ認証情報を設定し、外部ロケーションを作成します。 AWS IAMとS3リソースがプロビジョニングされたら、Azure DatabricksのCatalog Explorerで直接ストレージ認証情報と外部ロケーションを作成できます。
   • ストレージ認証情報を作成するには、CredentialsをCatalog Explorer内で選択します。AWS IAMロール（読み取り専用）を選択し、必要なフィールドを入力し、プロンプトが表示されたら信頼ポリシースニペットを追加します。​
   • 外部ロケーションを作成するには、 外部ロケーション に移動してCatalog Explorerを開きます。次に、設定した認証情報を選択し、残りの詳細を完成させます。 
2. 権限を適用します。Catalog Explorer内のCredentialsページでは、Azure DatabricksでADLSとS3のデータを一箇所で見ることができます。そこから、両方のストレージシステムに対して一貫した権限を適用することができます。

3. クエリを開始します！ Azure Databricksワークスペースから直接S3データをクエリする準備ができました。

GAリリースで何がサポートされていますか？

GAでは、Azure DatabricksからS3の外部テーブルとボリュームにアクセスすることをサポートしています。具体的には、以下の機能が読み取り専用でサポートされるようになりました：

• AWS IAMロールストレージ認証情報
• S3外部ロケーション
• S3外部テーブル
• S3外部ボリューム
• S3 dbutils.fsアクセス
• AzureのUnity CatalogからのS3データのデルタ共有

次のステップ

Azure Databricksでクロスクラウドデータガバナンスを試すには、IAMロールの ストレージ認証情報の設定方法 についてのドキュメンテーションをご覧ください。Azure Databricks上のS3ストレージについては、クラウドプロバイダーがクラウドサービス外部のデータへのアクセスに対して料金を請求する可能性があることに注意してください。Unity Catalogを始めるには、 Azure 向けのUnity Catalogガイドをご覧ください。

Unity Catalogの製品とエンジニアリングチームに、6月9日から12日までサンフランシスコのモスコーニセンターで開催されるData + AI Summitに参加してください！データとAIガバナンスの最新の革新を初めて見てください。 今すぐ登録して、あなたのスポットを確保してください！