델타 공유의 일반 공급 발표
오늘 Delta Sharing 이 AWS와 Azure에서 정식 출시(GA)되었음을 알려드리게 되어 기쁩니다. GA 출시를 통해 Databricks Lakehouse Platform에서 실행되는 미션 크리티컬 워크로드에 대해 Databricks가 제공하는 최고 수준의 안정성, 지원 및 엔터프라이즈급 준비 상태를 기대하실 수 있습니다.
이 블로그에서는 조직이 Delta Sharing을 활용하여 데이터의 비즈니스 가치를 극대화하는 방법, GA 릴리스에서 사용할 수 있는 몇 가지 주요 기능, 그리고 Databricks Lakehouse Platform에서 Delta Sharing을 시작하는 방법을 알아봅니다.
레이크하우스의 데이터 공유를 위한 개방형 표준으로 고객은 이점을 얻습니다
디지털 경제에서 기업이 고객, 파트너, 공급업체 및 내부 사업부(LOB)와 쉽고 안전하게 데이터를 교환하여 더 나은 협업을 하고 해당 데이터에서 가치를 창출하려고 함에 따라 데이터 공유가 중요해졌습니다. 하지만 표준 기반 데이터 공유 프로토콜이 없기 때문에 단일 공급업체나 상용 제품에 종속된 솔루션이 생겨났고, 이는 공급업체 종속 위험을 초래했습니다. 이러한 고객의 과제로 인해 저희 Databricks는 오픈 데이터 공유 솔루션인 Delta Sharing을 구축하게 되었습니다.
Databricks Delta Sharing은 레이크하우스에서 모든 컴퓨팅 플랫폼으로 안전하게 라이브 데이터를 공유할 수 있는 오픈 솔루션을 제공합니다. 데이터 수신자는 Databricks Lakehouse Platform, 동일한 클라우드 또는 다른 어떤 클라우드에도 있을 필요가 없습니다. 데이터 제공업체는 Apache Parquet 또는 Delta Lake 형식을 기반으로 기존 대규모 데이터 세트를 다른 시스템에 복제하거나 복사하지 않고 공유할 수 있습니다. 데이터 수신자는 항상 최신 버전의 데이터에 액세스하여 원하는 도구로 공유 데이터를 쿼리, 시각화, 변환, 수집 또는 보강할 수 있으므로 가치 실현 시간을 단축하는 이점을 누릴 수 있습니다. 거버넌스와 보안은 많은 조직의 주요 관심사이므로 Delta Sharing은 Unity Catalog와 기본적으로 통합되어 한 플랫폼에서 공유 데이터 사용을 관리, 통제, 감사 및 추적할 수 있습니다.
작년에 비공개 미리 보기로 Delta Sharing을 출시한 이후 수백 명의 고객이 Delta Sharing을 채택했으며, 현재 Delta Sharing을 통해 페타바이트 규모의 데이터가 공유되고 있습니다.
나스닥: "Delta Sharing은 대용량 데이터 세트에 대한 데이터 전송 프로세스를 간소화하는 데 도움이 되었습니다. 이를 통해 고객은 별도의 통합 작업 없이 자체 compute 환경을 사용하여 새로 큐레이션된 데이터를 읽을 수 있으며, 당사는 독보적인 고품질 데이터 제품 카탈로그를 계속 확장할 수 있습니다" - William Dague, 대체 데이터 부문 책임자
Shell: "Shell은 데이터 개방성이 Shell의 탄소 순배출 제로(Carbon Net Zero) 목표를 달성하는 데 핵심적인 역할을 할 것임을 인식하고 있습니다. "Delta Sharing은 파트너가 동일한 Data Sharing 플랫폼에 있을 필요 없이 파트너와 함께 이러한 목표를 달성하기 위해 방대한 양의 데이터를 쉽게 공유할 수 있는 표준적이고 통제되며 안전한 프로토콜을 Shell에 제공합니다." - Bryce Bartmann, 최고 디지털 기술 자문
SafeGraph: "데이터 회사로서 고객에게 데이터 세트에 대한 액세스 권한을 부여하는 것은 매우 중요합니다. Databricks Lakehouse Platform과 Delta Sharing은 해당 프로세스를 간소화하여 클라우드나 플랫폼에 관계없이 훨씬 더 광범위한 사용자 기반에 안전하게 도달할 수 있게 해줍니다." - Felix Cheung, 엔지니어링 부문 VP
“Delta Sharing을 사용하고 나서 우리 고객은 큐레이션된 데이터 세트에 거의 즉시 액세스하고, 원하는 분석 도구와 통합할 수 있게 되었습니다. 고객과의 대화는 가치가 낮은 기술적인 반복 수집에 대한 내용에서 가치가 높은 분석적 논의로 바뀌었고, 이를 통해 성공적인 고객 경험을 이끌어냈습니다. 고객 관계가 발전함에 따라, Delta Sharing을 통해 새로운 데이터 세트를 원활하게 제공하고 기존 데이터 세트는 갱신하였고, 이를 통해 고객도 업계의 주요 트렌드를 살필 수 있게 되었습니다.” — Anup Segu, 데이터 엔지니 어링 기술 책임자
“Pumpjack Dataworks는 Databricks에서 제공하는 Delta Sharing의 강력한 기능을 활용하고 나서 온보딩 경험에 걸리는 시간을 단축되었고, 데이터를 내보내고 가져와 리모델링할 필요성이 사라져 고객에게 즉각적으로 가치를 제공할 수 있게 되었습니다. 더 빠른 결과는 고객과 파트너에게 더 큰 비즈니스 기회를 제공합니다" - Corey Zwart, 최고 기술 책임자
GA가 적용된 Delta Sharing의 새로운 기능은 무엇인가요?
Delta Sharing의 GA 릴리스에는 여러 놀라운 기능이 있지만, 이번 릴리스와 함께 제공되는 몇 가지 주요 기능은 다음과 같습니다.
원활한 Databricks 간 공유
Databricks 고객의 경우 Delta Sharing을 사용하면 레이크하우스에서 매우 간단하고 효율적이며 안전하게 데이터를 공유할 수 있습니다. 데이터 공급자는 몇 번의 UI 클릭이나 SQL 명령만으로 데이터를 복제하지 않고도 Databricks의 수신자와 기존 데이터를 쉽게 공유할 수 있습니다. 예를 들어, AWS 기반 Databricks를 사용하는 데이터 공급자는 Azure에서 Databricks를 사용하는 수신자와 기존 데이터를 공유할 수 있으며 그 반대의 경우도 마찬가지입니다. 자세한 내용은 사용자 가이드 를 참조하세요. Databricks 간 공유에서 데이터 공급자는 Databricks를 사용하는 수신자의 토큰 자격 증명을 관리할 필요가 없으며 공유 연결은 Databricks 플랫폼을 통해 안전하게 설정됩니다. 로그인하려면 Databricks 계정만 있으면 되며 나머지는 플랫폼에서 처리합니다. 교차 계정 데이터 공유 외에 또 다른 중요한 사용 사례는 내부 데이터 공유입니다. 다른 지역의 동일한 계정 아래에 여러 Unity Catalog 메타스토어가 있는 경우 데이터를 복사하지 않고 Delta Sharing을 사용하여 해당 메타스토어 간에 데이터를 쉽게 공유할 수 있습니다. 데이터 공급자 관점의 SQL 워크플로 예시:
데이터 수신자 관점의 SQL 워크플로 예시:
변경 데이터 피드 공유
이제 Delta Sharing에서 데이터 변경 피드 (CDF) 공유를 지원합니다. 데이터 공급자는 테이블을 공유하는 것 외에도 테이블의 CDF를 포함하도록 선택할 수 있으며, 이를 통해 수신자는 테이블의 특정 버전 또는 타임스탬프 간의 변경 사항을 쿼리할 수 있습니다. 이 기능을 사용하면 수신자는 매번 전체 테이블 대신 새로운 데이터나 증분 변경 사항만 쿼리할 수 있습니다. 데이터 공급자는 CDF로 테이블을 쉽게 공유할 수 있으며, 데이터 수신자는 간단한 구문을 사용하여 테이블 변경 사항을 쿼리할 수 있습니다.
향상된 보안 기능
Delta Sharing의 GA 릴리스에는 공유를 더욱 안전하게 만드는 일련의 보안 기능도 포함되어 있습니다. 이러한 보안 기능의 한 예는 IP 액세스 목록입니다. 이제 데이터 공급자는 개방형 커넥터를 사용하여 각 수신자에 대한 IP 액세스 목록을 구성할 수 있습니다. 이는 자격 증명 다운로드 및 데이터 액세스가 대상 IP 주소 에서만 시작되도록 보장합니다. 또한 몇 가지 Delta Sharing 관련 권한도 추가했습니다(예: CREATE SHARE, CREATE RECIPIENT) 및 Share 와 Recipient 같은 Delta Sharing 개체에 대한 소유자 개념을 도입했습니다. 이러한 프리미티브를 통해 Databricks의 Delta Sharing은 더 유연한 액세스 제어 모델을 제공하며 관리자가 아닌 사용자도 공유 운영을 수행할 수 있습니다.
Databricks에서 Delta Sharing 시작하기
아래 데모를 시청하고 Delta Sharing을 통해 레이크하우스의 실시간 데이터를 모든 컴퓨팅 플랫폼으로 원활하게 공유하는 방법에 대해 자세히 알아보세요.
이미 Databricks 고객이시라면 가이드에 따라 시작하세요(AWS | Azure). 이 GA 릴리스에 포함된 내용에 대해 자세히 알아보려면 릴리스 노트 를 읽어보세요. 기존 Databricks 고객이 아니시라면 Premium 또는 Enterprise 워크스페이스로 무료 체험 에 가입하세요.
