2026년 7월 23일

위임된 IAM 권한으로 Amazon S3 데이터를 Databricks에 연결하기

새로운 외부 위치 생성 흐름을 통해 몇 분 만에 Databricks에 대한 안전한 S3 연결을 설정하세요

더 간편한 S3 연결이 중요한 이유
S3용 AWS IAM 임시 위임 작동 방식
새로운 흐름으로 외부 위치를 설정하는 방법

더 간편한 S3 연결의 중요성

Amazon S3를 연결하는 것은 Databricks를 활용하여 가치를 창출하는 가장 중요한 설정 단계 중 하나입니다. 외부 위치는 S3 버킷과 Unity Catalog 간의 거버넌스가 적용된 연결을 제공하여 Databricks가 데이터를 안전하게 읽고 쓸 수 있도록 합니다. 이 설정은 수집 및 파이프라인부터 분석 및 거버넌스에 이르기까지 일반적인 워크플로의 기초가 됩니다. 또한 파이프라인, 복제본, ETL의 기존 오버헤드 없이 단일 거버넌스 기반에서 트랜잭션 데이터와 분석 데이터를 통합하도록 설계된 새로운 아키텍처인 LTAP(Lake Transactional/Analytical Processing)를 도입하는 사용자가 늘어남에 따라 그 중요성이 더욱 커지고 있습니다.

현재 고객은 스토리지 경로와 스토리지 자격 증명을 결합하여 S3 버킷에 대한 읽기 및 쓰기 액세스 권한을 부여하는 Unity Catalog 오브젝트인 외부 위치를 생성하여 S3 연결을 인증합니다.

지금까지 S3에 연결하는 것은 Databricks를 시작할 때 가장 까다로운 부분 중 하나였습니다. 자동 설정을 사용하면 고객이 클라우드 인프라를 관리하는 데 드는 시간을 줄이고, 데이터 위에 데이터 인텔리전스를 구축하는 데 더 많은 시간을 할애할 수 있습니다.

자동화된 S3 연결 작동 방식

Amazon S3 버킷을 Databricks에 연결하려면 Databricks가 데이터를 읽고 쓰는 방식을 제어하는 Unity Catalog에 등록된 연결인 외부 위치를 생성해야 합니다. 이전에는 140줄에 달하는 IAM 신뢰 정책을 작성하고, S3 버킷 권한을 구성하고, CloudFormation 템플릿을 배포하고, AWS 콘솔과 Databricks를 오가며 모든 것을 올바르게 등록해야 했습니다.

이제 클릭 몇 번만으로 간단하게 처리할 수 있습니다.

내부적으로는 어떤 작업이 수행되나요?

이 새로운 흐름은 AWS IAM 임시 위임을 기반으로 작동합니다. S3 버킷과 액세스 수준을 지정하면 AWS에 로그인하여 권한을 확인하라는 메시지가 표시됩니다. 충분한 액세스 권한이 있는 경우, Databricks에 귀하를 대신하여 필요한 리소스를 프로비저닝할 수 있는 시간 제한이 있는 임시 권한을 부여할 수 있습니다. AWS 권한이 부족한 사용자는 흐름 내에서 AWS 관리자에게 직접 권한을 요청할 수 있습니다.

위임이 완료되면 Databricks가 나머지를 자동으로 처리합니다.

스토리지 자격 증명: 최소 권한을 가진 IAM 역할이 생성되고 교차 계정 신뢰 정책이 올바르게 구성됩니다.
외부 위치: 지정된 버킷에 매핑되고 Unity Catalog에 등록된 완전히 구성된 외부 위치입니다. Auto Loader 및 File Events가 자동으로 활성화됩니다.
설정이 완료되면 권한 부여가 자동으로 만료됩니다. Databricks는 AWS 계정에 대한 상시 액세스 권한을 보유하지 않으며, 프로비저닝 중에 수행된 모든 작업은 AWS CloudTrail에 기록됩니다.

실제적인 의미

이전에는 여러 콘솔에 걸쳐 진행되던 수동 구성 작업이 이제 Databricks 작업 공간 내에서 단일 세션으로 기본적으로 처리됩니다. 자동 프로비저닝은 잘못된 신뢰 정책, 누락된 버킷 권한, 잘못 구성된 ARN과 같은 가장 흔한 오류 원인을 제거하는 동시에, 생성된 모든 IAM 역할이 엔터프라이즈 보안 표준에 부합하는 최소 권한 원칙을 따르도록 보장합니다.

더 많은 사용자가 LTAP 아키텍처를 채택함에 따라, 더 간편해진 S3 연결은 별도의 파이프라인 없이도 분석 엔진이 운영 데이터를 즉시 쿼리할 수 있는 거버넌스가 적용된 클라우드 스토리지 대상을 제공함으로써 주요 인프라 장벽을 제거합니다.

자세히 알아보기

작업 공간에서 Catalog Explorer → External Locations → Create(/explore/locations/create)로 이동하여 자동 설정을 통해 S3 버킷을 자동으로 연결하세요.

자세한 정보:

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)