Delta Sharing이 안전한 엔드투엔드 협업을 지원하는 방법

오늘날의 디지털 환경에서 안전한 데이터 공유는 운영 효율성과 혁신에 필수적입니다. Databricks와 Linux Foundation은 데이터, 분석, AI 전반에서 데이터를 공유하기 위한 최초의 오픈 소스 접근 방식인 Delta Sharing을 개발했습니다. Databricks는 안전한 데이터 교환을 제공하여 플랫폼, 클라우드, 리전 간의 원활한 공유를 지원합니다. 모든 규모의 기업이 광범위한 애플리케이션과 다양한 데이터 형식을 지원하는 Delta Sharing을 신뢰하고 있습니다. 이러한 유연성 덕분에 데이터 자산의 잠재력을 최대한 활용하려는 조직에 신뢰할 수 있는 도구가 되었습니다.

이 블로그에서는 세 가지 공유 시나리오인 Databricks 고객 간 공유(D2D), Databricks 고객과 오픈 공유 대상 간 공유(D2O), 그리고 크로스 클라우드 데이터 공유를 통해 Delta Sharing의 보안 아키텍처를 살펴보겠습니다. 현대적인 데이터 협업 전략의 일환으로 Delta Sharing을 도입할 때 얻을 수 있는 이점, 예를 들어 다양한 플랫폼과 클라우드 간의 간소화되고 안전한 데이터 교환을 통한 운영 효율성 향상, 복잡성 및 리스크 감소 등을 요약해 드립니다. 이 안전한 프레임워크는 인사이트 도출 시간을 단축하여 더 빠른 의사 결정을 가능하게 하는 동시에, 이해관계자 간의 신뢰를 구축하는 강력한 개인정보 보호를 유지합니다. 또한 Delta Sharing의 유연성은 다양한 데이터 형식과 애플리케이션을 지원하므로 변화하는 비즈니스 요구사항에 안전하게 적응할 수 있습니다. 각 시나리오에는 솔루션이 가져온 혁신적인 변화를 직접 경험한 고객의 성공 사례가 포함되어 있습니다. 이 블로그에서는 데이터 제공자가 Databricks 플랫폼의 관리형 버전을 사용하는 Databricks Delta Sharing에 초점을 맞출 것입니다.

Databricks 간 데이터 공유 (D2D)

D2D 시나리오는 Databricks 에코시스템 내에서 두 Databricks 고객 간의 안전하고 간소화된 데이터 교환을 보여주는 대표적인 예입니다. Databricks가 관리하는 연결과 토큰이 필요 없는 교환 시스템을 특징으로 하여 간편함과 보안을 모두 보장합니다.

D2D 공유를 사용할 때 고객은 공유 작업에 대한 통합 거버넌스 및 보안을 제공하는 Unity Catalog(UC)와의 네이티브 통합을 통해 혜택을 누릴 수 있습니다. 공유가 데이터에만 국한되지 않는다는 점이 중요합니다. Unity Catalog는 데이터 세트를 넘어 볼륨, 노트북, AI 모델까지 포함하여 인상적인 기능 범위를 보여줍니다. 계정 내부 공유를 위한 Delta Sharing은 기본적으로 활성화되어 있으며, 외부 공유는 필요한 관리자 수준 권한으로 활성화했을 때 사용할 수 있습니다. Databricks Delta Sharing을 설정하려면 Unity Catalog 및 메타스토어가 활성화된 Databricks 워크스페이스가 최소 하나 이상 필요하며, 관리자 역할 또는 CREATE SHARE 및 CREATE RECIPIENT 권한이 있어야 합니다(계정 설정에 대한 설명서 참조).

Unity Catalog는 수신자 생성 및 공유 설정의 초기 단계부터 액세스 권한 부여라는 중요한 작업에 이르기까지 전 과정에서 통합 거버넌스 레이어를 제공합니다. Delta Sharing 서비스는 API 요청을 처리하고 철저한 권한 부여 검사를 수행하며 상세한 활동 로그를 유지합니다. 이 모든 단계는 공유 에코시스템이 원활하게 작동하도록 신뢰할 수 있는 유기적으로 맞물려 돌아가는 시스템처럼, 작업이 안전하면서도 투명하게 진행되도록 보장합니다.

데이터 액세스: 권한 부여 이후의 데이터 액세스를 자세히 살펴보면, 여기서도 Unity Catalog가 핵심적인 역할을 합니다. Unity Catalog로부터 권한을 부여받으면 자산 유형 및 공유 계약 등의 요소를 기반으로 클라우드 토큰 또는 사전 서명된 URL 중 액세스 방법이 결정됩니다. 클라우드 토큰의 경우, 제공자의 UC에서 읽기 전용으로 범위가 제한된 SAS 토큰을 생성하여 수신자의 컴퓨팅 플레인으로 전달합니다. 이를 통해 테이블 루트 디렉터리에 대한 안전하고 시간 제한적인 스토리지 액세스가 제공됩니다. 마찬가지로 사전 서명된 URL을 사용하면 관련 URL 목록이 생성되어 수신자의 컴퓨팅 플레인으로 전송되며, 스토리지 파일에 대한 안전하고 일시적인 액세스를 제공합니다. Azure SAS 토큰 및 AWS 사전 서명된 URL과 같이 서로 다른 클라우드 서비스를 사용할 때 보안 기능을 전략적으로 활용함으로써, 리전과 클라우드를 넘나드는 안전한 환경에서 승인된 사용자만 데이터에 액세스하도록 보장할 수 있습니다. 또한 상호 작용은 수신자와 제공자의 컨트롤 플레인으로 제한되며, 외부 에이전트가 트리거할 수 없는 권한 부여된 작업이므로 외부 침입으로부터 보호됩니다. 이러한 방법론은 시스템의 적응성을 강조하며, 데이터 공유가 유연하고 안전하게 이루어지도록 보장하여 다양한 비즈니스 요구사항을 능숙하게 수용합니다.

Coastal Community Bank는 파트너 네트워크의 엄격하고 까다로운 데이터 공유, 컴플라이언스 및 보안 요구사항을 충족하기 위해 Delta Sharing을 선택했습니다. Coastal은 현대적인 데이터 플랫폼 개발을 지원받기 위해 Cavallo Technologies를 파트너로 선정했습니다. Cavallo Technologies의 사장인 Rob Cavallo는 Coastal이 현재와 미래를 모두 대비할 수 있는 유연한 솔루션이 필요했다고 설명합니다. Coastal Community Bank 고객 사례 연구 읽어보기.

"어떤 면에서 Coastal [Community Bank]는 쉬운 협업을 가능하게 하면서도 소비자 금융 데이터에 대한 최고 수준의 보안 표준을 충족해야 한다는 모순된 요구를 하고 있었습니다. 오늘날의 워크로드에 대해 플랫폼의 성능과 비용 효율성을 보장하는 동시에, 아직 상상하지 못한 미래의 사용 사례를 처리할 수 있을 만큼 유연하게 대처하는 것이 중요합니다. 결국 Databricks Data Intelligence Platform이 이를 가능하게 해준 유일한 플랫폼이었습니다." — Rob Cavallo, Cavallo Technologies 사장

테이블을 넘어선 안전한 데이터 공유

Delta Sharing은 정형 테이블 데이터뿐만 아니라 볼륨, 노트북, AI 모델과 같은 비정형 데이터 자산까지 포함하여 데이터 협업에 대한 보다 포괄적인 접근 방식을 지원합니다. 이러한 자산 유형은 현재 D2D 공유 프레임워크에서만 지원되며, 협업 에코시스템을 강화합니다. AI 모델은 볼륨과 유사한 방식으로 공유되는 반면, 노트북은 독특한 공유 메커니즘을 제공합니다. 수신자는 사전 서명된 URL을 통해 노트북을 미리 볼 수 있으며, 콘텐츠가 팝업 창에 HTML로 렌더링되어 즉시 액세스할 수 있습니다. 더 긴밀한 통합을 위해 base64 인코딩 및 API 호출을 사용하여 노트북을 수신자의 환경으로 가져와 원활하게 전환할 수도 있습니다.

AI 모델 공유는 제공자의 UC에서 생성되어 수신자의 컴퓨팅 플레인으로 전달되는 안전한 읽기 전용 범위 제한 SAS 토큰을 통해 용이하게 이루어집니다. 이러한 접근 방식은 수신자의 UC에 있는 Model Registry로의 일회성 복사를 허용함으로써 불필요한 모델 복사본을 만들지 않고 안전하고 효율적인 액세스를 보장합니다. 이후 이 모델 복사본을 여러 리전에 배포하여 추론 프로세스를 최적화하고, 지연 시간을 줄여 성능을 향상시키며, 최종 사용자와 더 가까운 리전별 데이터 센터를 활용하여 더 빠른 응답 시간을 제공할 수 있습니다. Delta Sharing을 통해 공유 볼륨 및 AI 모델을 검색, 액세스 및 활용하는 것은 각 데이터 유형에 맞는 유사하면서도 맞춤화된 접근 방식을 보여주며, 데이터 공유 및 협업을 위한 안전하고 다재다능한 플랫폼을 촉진합니다.

Databricks에서 오픈 데이터 공유 (D2O)

오픈 공유 시나리오로 전환하면, D2O는 Databricks를 사용하지 않는 외부 제3자 사용자와 데이터를 공유하는 Databricks 고객을 위해 엄격한 보안 프로토콜을 유지합니다. D2O를 사용하면 수신자는 먼저 특정 컴퓨팅 플랫폼을 거칠 필요 없이 pandas, Tableau, Apache Spark, Rust 또는 오픈 프로토콜을 지원하는 기타 시스템과 같은 다양한 시스템을 지원하는 Delta Sharing 커넥터를 사용하여 공유 데이터에 직접 연결할 수 있습니다.

Databricks에서 오픈 수신자를 생성하면 안전한 일회용 활성화 URL이 생성되어 수신자가 Delta Sharing 엔드포인트 주소와 토큰이 포함된 자격 증명 파일을 다운로드할 수 있습니다. 보안 침해가 발생할 경우 제공자는 수신자의 자격 증명을 변경하거나 읽기 권한을 철회하는 등 즉각적인 조치를 취하여 추가적인 문제를 방지할 수 있습니다.

데이터 액세스 워크플로: 수신자가 언급된 커넥터 중 하나를 사용하여 공유 테이블을 쿼리하면, Delta Sharing은 자격 증명 파일의 토큰을 사용하여 수신자를 확인하고 데이터 액세스를 위한 사전 서명된 URL을 제공합니다. 이 방식은 다양한 오픈 소스 커넥터와의 호환성을 보장하여 공유 자산의 무결성과 보안을 보호합니다. (데이터 공유 및 액세스에 대해 자세히 알아보기.)

Cox Automotive의 자회사인 Cox Automotive Europe은 세계 최대의 자동차 서비스 기업으로, Delta Sharing을 사용하여 엔터프라이즈 데이터 서비스 팀 외부로 공유되는 데이터를 중앙에서 관리 및 감사하는 동시에 강력한 보안과 거버넌스를 보장하고 있습니다. Cox Automotive 고객 사례 읽어보기.

"Delta Sharing 덕분에 데이터를 복사하거나 복제하지 않고도 비즈니스 부서 및 자회사와 안전하게 데이터를 공유할 수 있습니다. 수신자가 당사 워크스페이스에 ID를 가지고 있지 않아도 데이터를 공유할 수 있게 해줍니다." — Robert Hamlet, Cox Automotive 수석 데이터 엔지니어

크로스 클라우드 데이터 공유

기업들은 서로 다른 클라우드 플랫폼 간의 다양한 기능 지원, 파트너십 촉진, 인수 후 타사 데이터 통합 등의 필요성에 따라 크로스 클라우드 전략을 점점 더 많이 도입하고 있습니다. 이러한 멀티클라우드 환경으로의 전환은 조직이 내부 및 외부 모두에서 원활하고 안전한 공유를 지원하는 Delta Sharing과 같은 강력한 솔루션을 구현하는 것이 얼마나 중요한지 잘 보여줍니다. 크로스 클라우드 전략을 구현하는 것은 고객이 각 클라우드 서비스의 고유한 강점을 활용하는 동시에, 서로 연결된 디지털 생태계에서 운영 연속성을 유지하고 혁신을 촉진하며 성장을 주도하는 데 있어 필수적인 경우가 많습니다.

크로스 클라우드 전략을 도입하는 많은 고객에게 멀티클라우드 환경을 원활하게 지원하는 Delta Sharing의 개방형 크로스 플랫폼 공유 기능은 확실한 차별점이자 강점입니다. Delta Sharing은 단일 클라우드 내에서 내부적으로 데이터를 공유하든, 여러 클라우드 플랫폼에 걸쳐 외부적으로 데이터를 공유하든 동일하게 효과적이며 두 시나리오 모두에서 안전하고 효율적인 데이터 교환 프로세스를 보장합니다. Databricks는 멀티클라우드 환경에서의 데이터 공유 요구 사항과 Delta Sharing이 클라우드 생태계 전반에서 상호 운용성을 촉진하고 보안을 강화하는 데 어떻게 도움이 되는지에 대해 많은 고객으로부터 의견을 들어왔습니다.

이러한 Databricks 고객 중 하나는 국제 거래소 조직이자 시장 인프라 제공업체인 Deutsche Börse입니다. 이들이 고객과 개방적으로 공유하고 협업할 수 있도록 Delta Sharing을 도입한 후, 비즈니스에 미친 영향은 혁신적이었습니다.

"세분화된 액세스 제어, 최고 수준의 보안 표준, 개인정보 보호가 보장되는 안전한 데이터 공유 플랫폼을 갖추게 되면서 새로운 가능성이 열렸습니다. 과거에는 '아쉽게도 고객이 데이터와 모델을 공유하고 싶어 하지 않거나, 기밀 유지 이유로 더 세분화된 데이터나 모델을 공유하고 싶지 않습니다'라고 말했을 법한 맞춤형 솔루션에 대해 이제는 적극적으로 논의할 수 있게 되었습니다." — Jan Stiebing, Deutsche Börse 비즈니스 전략 및 M&A 부문 총괄

이 고객 사례와 다른 많은 사례에서 볼 수 있듯이, Delta Sharing은 최고 수준의 보안 및 개인정보 보호 표준을 유지하면서 이전에는 극복할 수 없다고 여겨졌던 데이터 공유 및 협업의 격차를 해소할 수 있습니다. Deutsche Börse는 Databricks Marketplace에서 여러 시장 데이터 리스팅도 제공하고 있습니다.

네트워크 및 스토리지 구성

Delta Sharing은 클라우드의 기본 스토리지 보안 아키텍처와 원활하게 통합되어 다양한 클라우드 환경에서 안전하고 원활한 데이터 공유를 지원합니다. 기존 보안 프레임워크를 크게 수정할 필요 없이 이 작업을 수행합니다. 이 방식은 Azure, AWS, GCP와 같은 클라우드 플랫폼에서 Databricks를 사용하는 조직을 위해 설계되었으며, Unity Catalog의 요구 사항과 일치합니다. Databricks Data Intelligence Platform은 보안 강화를 위해 프라이빗 통신 채널 또는 IP 주소 화이트리스팅을 강조하면서 클라우드 스토리지 솔루션(ADLS Gen2, S3, GCS)을 통한 데이터 공유를 지원합니다.

아래에 설명된 Delta Sharing의 네트워크 및 스토리지 구성은 인트라 클라우드 및 크로스 클라우드 시나리오 모두에서 작동합니다. 인트라 클라우드 공유는 프라이빗 엔드포인트, 스토리지 방화벽, 네트워크 게이트웨이를 사용하여 동일한 클라우드 생태계 내에서 안전한 데이터 교환을 촉진하여 퍼블릭 액세스가 허용되지 않도록 보장합니다. 크로스 클라우드 공유 시나리오에서 Delta Sharing은 NAT 게이트웨이 송신 IP를 활용하고 사이트 간 VPN 또는 전용 링크와 같은 기존 크로스 클라우드 프라이빗 연결을 지원하여 다양한 클라우드 플랫폼 및 온프레미스 네트워크 전반에서 안전한 데이터 액세스를 지원합니다. 이 포괄적이고 안전한 접근 방식을 통해 광범위한 네트워크 인프라가 Delta Sharing에 효율적으로 참여할 수 있어 유연성과 보안을 모두 촉진합니다.

위 다이어그램은 크로스 클라우드 네트워크 구성 예시를 나타냅니다.

데이터 필터링

Delta Sharing에서 데이터 필터링은 유연하고 안전한 액세스를 제공하는 데 매우 중요하며, 두 가지 주요 방법이 있습니다.

• 파티션 필터링: 수신자 속성에 맞는 특정 테이블 파티션을 공유할 수 있도록 하며, 이를 매개변수화된 파티션 공유라고 합니다. 이 전략을 통해 데이터 제공자는 필요한 데이터 부분을 유연하게 공유하여 제어된 액세스를 촉진할 수 있습니다.
• 동적 뷰: current_recipient와 같은 동적 함수를 통해 수신자와 데이터의 임의 하위 집합을 공유할 수 있도록 하여 데이터 액세스에 대한 세분화된 제어와 향상된 관리 효율성을 제공합니다.

특정 수신자 속성을 기반으로 액세스를 제한하여 의도한 수신자와 적절한 컨텍스트에서만 데이터가 공유되도록 보장합니다. 이러한 접근 방식은 Delta Sharing의 보안과 유연성을 향상시켜 고유한 수신자 요구 사항을 충족하는 맞춤형 데이터 액세스를 가능하게 합니다.

Delta Sharing을 통한 보안, 유연성 및 원활한 통합

결론적으로, Delta Sharing은 Databricks Data Intelligence Platform의 핵심 구성 요소이며 현대적인 데이터 전략을 지원하는 안전하고 유연한 크로스 플랫폼 데이터 공유 기능으로 돋보입니다. 오픈 소스 커넥터를 통해 다른 플랫폼을 지원하는 것 외에도 Delta Sharing을 통해 고객은 정형 및 비정형 데이터뿐만 아니라 AI 모델도 공유할 수 있습니다. 이러한 모든 기능은 Delta Sharing을 다른 데이터 교환 플랫폼과 확실하게 차별화합니다. 그 결과, Delta Sharing은 다양한 산업 분야의 고객들로부터 널리 신뢰받고 있으며, 이는 운영 효율성과 혁신에 미치는 상당한 영향을 강조하는 고객 평가에 잘 나타나 있습니다. 데이터 공유 환경이 계속 발전함에 따라 Delta Sharing은 미래를 대비하여 설계되었으며, 다양한 데이터 공유 생태계 전반에서 보안, 유연성 및 원활한 통합을 우선시합니다. 이러한 확고한 약속은 전 세계 기업의 디지털 목표를 추진하기 위해 데이터의 힘을 활용하는 데 있어 Delta Sharing을 필수적인 자산으로 자리매김하게 합니다.

조직 내에서 Delta Sharing을 구현하는 방법에 대해 자세히 알아보려면 아래의 새로운 eBook 및 관련 블로그를 포함한 최신 리소스를 확인하거나, Delta Sharing 문서를 자세히 살펴보세요.

• O'Reilly의 기술 가이드: Delta Sharing을 통한 데이터 공유 및 협업 읽어보기
• 데이터 공유에 대한 새로운 접근 방식, 제2판 eBook 읽어보기
• 데이터 공유를 통한 산업 혁신 가속화 eBook 읽어보기

이미 Delta Sharing을 사용 중인 고객이시라면, 질문이 있거나 피드백을 제공하고자 할 때 datasharing@databricks.com으로 팀에 문의하실 수도 있습니다.

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)