委任されたIAM権限を使用してAmazon S3データをDatabricksに接続する

よりシンプルなS3接続の重要性

Amazon S3の接続は、Databricksから価値を引き出すための最も重要なセットアップステップの1つです。外部ロケーションは、S3バケットとUnity Catalogの間の管理された接続を提供し、Databricksがデータを安全に読み書きできるようにします。このセットアップは、インジェストやパイプラインから、アナリティクスやガバナンスに至るまで、一般的なワークフローの基盤となります。また、パイプライン、レプリカ、ETLといった従来のオーバーヘッドなしに、単一の管理された基盤上でトランザクションデータと分析データを統合するために設計された新しいアーキテクチャであるLTAP（Lake Transactional/Analytical Processing）を採用する人が増えるにつれて、その重要性はますます高まっています。

現在、お客様は外部ロケーション（S3バケットへの読み書きアクセスを認可するために、ストレージパスとストレージ認証情報を組み合わせたUnity Catalogオブジェクト）を作成することで、S3接続を認可しています。

これまでは、S3への接続はDatabricksを使い始める際、最も面倒な作業の1つになることがよくありました。自動セットアップにより、クラウドインフラストラクチャの管理に費やす時間を削減し、データに基づいたデータインテリジェンスの構築により多くの時間を割くことができるようになります。

自動化されたS3接続の仕組み

Amazon S3バケットをDatabricksに接続するには、Databricksがデータを読み書きする方法を管理する、Unity Catalogに登録された接続である外部ロケーションを作成する必要があります。以前は、140行のIAM信頼ポリシーの作成、S3バケットの権限設定、CloudFormationテンプレートのデプロイ、そしてすべてを正しく登録するためにAWSコンソールとDatabricksの間を行き来する必要がありました。

現在では、数回クリックするだけで簡単に設定できるようになりました。

内部では何が起きているのか？

この新しいフローは、AWS IAMの一時的な委任によって実現されています。S3バケットとアクセスレベルを指定すると、AWSにログインして権限を確認するよう求められます。十分なアクセス権がある場合は、Databricksに対して、必要なリソースを代わりにプロビジョニングするための一時的で時間制限のある権限を付与できます。十分なAWS権限がないユーザーは、フロー内からAWS管理者に直接権限をリクエストできます。

この委任が行われると、Databricksが残りの処理を自動的に行います。

• ストレージ認証情報：最小特権の権限を持つIAMロールが作成され、クロスアカウント信頼ポリシーが正しく構成されます。
• 外部ロケーション：指定したバケットにマッピングされ、Unity Catalogに登録された、完全に構成された外部ロケーション。Auto LoaderとFile Eventsは自動的に有効になります。
  セットアップが完了すると、認可は自動的に失効します。DatabricksがAWSアカウントへの常時アクセス権を保持することはなく、プロビジョニング中に実行されたすべてのアクションはAWS CloudTrailに記録されます。

実務における意味

以前は複数のコンソールにまたがっていた手動の構成作業が、Databricksワークスペースからネイティブに、単一のセッションで行えるようになりました。自動プロビジョニングにより、不適切な信頼ポリシー、バケット権限の不足、誤って構成されたARNといった最も一般的なエラーパターンが排除されると同時に、作成されるすべてのIAMロールが企業のセキュリティ標準に準拠した最小特権の原則に従うようになります。

LTAPアーキテクチャを採用する人が増える中、よりシンプルなS3接続は、個別のパイプラインを必要とすることなく、分析エンジンから運用データを即座にクエリできる管理されたクラウドストレージの宛先を提供することで、主要なインフラストラクチャの障壁を取り除きます。

詳細情報

ワークスペースで、カタログエクスプローラー（Catalog Explorer） → 外部ロケーション（External Locations） → 作成（Create）（/explore/locations/create) に移動し、自動セットアップでS3バケットを自動的に接続します。

詳細については、以下を参照してください。

• 外部ロケーションのセットアップオプションの詳細
• モノリスからLakebase、そしてLTAPへ：ストレージからデータベースを再考する
• AWS IAMの一時的な委任の詳細

(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事