데이터 공유 및 협업의 새로운 소식 - 2025년 여름

Databricks는 단일 조직 내부뿐만 아니라 조직의 경계를 넘어 모든 사람이 데이터와 AI에 쉽게 접근할 수 있도록 지원하고자 합니다. Databricks 플랫폼의 세 가지 구성 요소는 이러한 공유와 협업을 가능하게 하는 데 핵심적인 역할을 합니다. 첫째, 개방형 프로토콜인 Delta Sharing을 통해 고객은 여러 클라우드와 플랫폼에 걸쳐 데이터 및 AI 자산을 안전하게 공유하여 사일로를 허물고 혁신을 촉진할 수 있습니다. 둘째, Databricks Marketplace는 모든 데이터 및 AI 요구사항을 충족하는 개방형 플랫폼 역할을 하며, Databricks 내에서 데이터 및 AI 자산을 기본적으로 제공하는 주요 파트너들을 소개합니다. 마지막으로, Databricks Clean Rooms는 기업이 모든 클라우드 플랫폼에서 프라이버시를 중심에 둔 협업을 진행할 수 있도록 지원합니다.

">

Data + AI Summit 2025에서 Databricks는 조직이 데이터와 AI를 공유하고 협업하는 방식을 한 단계 더 발전시키고 있습니다. 새로운 기능과 확장된 파트너 에코시스템을 통해 자산을 안전하게 공유하고 여러 플랫폼에서 원활하게 작업할 수 있도록 지원합니다. Delta Sharing, Clean Rooms, Marketplace 전반에 걸쳐 새로워진 기능과 그 중요성을 소개합니다.

상호 운용성 및 단순화를 위한 Delta Sharing 혁신

Delta Sharing은 클라우드, 플랫폼, 지역에 관계없이 안전한 크로스 플랫폼 데이터 공유를 지원합니다. Databricks는 더 광범위한 사용 사례를 지원하고 서로 다른 에코시스템 간의 데이터 교환 복잡성을 줄여주는 새로운 기능으로 데이터 공유 역량을 확장하고 있습니다.

Apache Iceberg™ 및 Delta Sharing을 통한 외부 데이터 협업

오늘날 조직들은 다양한 테이블 형식을 사용하며, 가장 대표적인 것이 Delta Lake와 Apache Iceberg입니다. Databricks는 어떤 형식을 사용하든 데이터 공유를 위한 가장 포괄적인 엔드투엔드 지원을 제공합니다.

Delta Sharing을 통해 이제 완전한 Iceberg 상호 운용성을 확보할 수 있습니다:

• 모든 Iceberg 호환 엔진에 대한 크로스 플랫폼 공유를 지원하여, 데이터 제공업체가 AWS나 Snowflake와 같은 플랫폼을 사용하는 고객에게도 도달할 수 있도록 합니다.
• 이제 데이터 제공업체는 Delta Sharing을 사용하여 Databricks 내부 및 외부에서 다른 UC 자산과 마찬가지로 Iceberg 테이블을 공유할 수 있습니다(퍼블릭 프리뷰).

">

이러한 기능 덕분에 Delta Sharing은 데이터 복제나 파일 변환 없이도 가장 광범위하게 적용되는 데이터 공유 개방형 프로토콜로 자리 잡았습니다. 이 기능을 체험해 보고 싶으시다면 여기에서 프라이빗 프리뷰를 신청하세요.

Delta Sharing Network Gateway: 원활한 네트워크 구성으로 개방형 레이크하우스 공유 지원

데이터 제공업체는 데이터를 개방형 형식의 단일 사본으로 유지하면서도, 외부 고객이 소스에서 직접 실시간으로 쉽게 액세스할 수 있기를 원합니다. 이러한 방식은 종종 방화벽 규칙 및 네트워크 설정과 관련된 복잡성을 야기했습니다. 새로운 Delta Sharing Network Gateway는 이러한 부담을 덜어줍니다. 이제 데이터 제공업체는 수동 네트워크 구성을 최소화하면서 수신자와 데이터를 공유할 수 있습니다. 고객 관리형 스토리지(예: ADLS 및 S3)와 Databricks 기본 스토리지를 모두 지원합니다. 이 기능을 체험해 보고 싶으시다면 프라이빗 프리뷰를 신청하세요.

">

가장 낮은 TCO로 Delta Sharing 구현: 스트리밍 테이블 및 구체화된 뷰

이전에 퍼블릭 프리뷰로 제공되었던 스트리밍 테이블 및 구체화된 뷰(MV/ST) 공유 기능이 수 주 내에 정식 출시(GA)될 예정입니다. 이를 통해 데이터 제공업체는 구체화된 뷰(Materialized Views)와 스트리밍 테이블(Streaming Tables)을 사용하여 고객용 데이터 뷰를 효율적으로 생성하고 공유할 수 있습니다.

">

속성 기반 액세스 제어(ABAC)를 사용한 공유 데이터의 미세 조정 거버넌스

Delta Sharing의 ABAC(속성 기반 액세스 제어) 지원을 통해 제공업체는 데이터를 공유할 때 세분화된 데이터 액세스 정책을 안전하게 적용할 수 있으므로, 민감한 정보를 보호하는 동시에 폭넓은 데이터 협업을 지원할 수 있습니다. 수신자 또한 수신한 테이블에 ABAC를 적용하여 자체 조직 내에서 외부 데이터에 대한 액세스를 제어할 수 있습니다. 이 기능의 베타 버전은 향후 몇 달 내에 제공될 예정입니다.

">

OIDC 토큰 페더레이션

향상된 Delta Sharing 보안을 위한 OIDC 토큰 페더레이션의 정식 출시(GA) 소식을 기쁜 마음으로 전해드립니다. 데이터 제공업체는 Azure Entra ID나 Okta 같은 맞춤형 ID 제공업체(IdP)를 사용하여 인증하는 것을 선호하는 모든 컴퓨팅 플랫폼의 비 Databricks 사용자와 안전하게 데이터를 공유할 수 있습니다.

Clean Rooms: 프라이버시 중심의 협업, 이제 GCP 지원 및 기능 확장

Delta Sharing을 기반으로 하는 Databricks Clean Rooms를 통해 기업은 원시 데이터를 노출하지 않고도 파트너 및 고객과 안전하게 협업할 수 있습니다. DAIS 2025에서 세 가지 주요 업데이트를 소개합니다:

프라이버시 중심의 신원 확인(Identity Resolution): 서로 다른 데이터 자산을 결합할 때, 고객은 정확히 일치하지 않더라도 데이터 세트 전반에서 관련 엔티티를 연결할 수 있도록 PII 데이터를 공통 공유 식별자로 변환해야 하는 경우가 많습니다. Databricks Clean Rooms 내에서 신원 확인이 제자리에서(in place) 이루어지도록 함으로써, 조직은 제3자 ID 제공업체에 원시 개인 데이터를 노출할 필요 없이 안전하게 협업할 수 있습니다.

">

이제 Google Cloud에서 사용 가능(GA): 이제 고객은 GCP에 Clean Rooms를 배포하여 AWS, Azure 및 기타 플랫폼의 파트너와 안전하게 협업할 수 있습니다. 이는 데이터 이동 없이도 "모든 클라우드, 모든 플랫폼"에서의 협업을 지원하는 당사의 접근 방식을 뒷받침합니다.

다자간 협업(Multi-party Collaboration): 이제 Clean Rooms는 단일 룸에서 여러 협업자를 지원합니다. 이전에는 각 클린 룸이 사실상 양자 간에만 가능했으나, 이제 최대 9개의 다른 조직을 초대할 수 있습니다(총 10개 조직). 이러한 협업자들은 서로 다른 클라우드, 지역 또는 데이터 플랫폼에 있을 수 있지만 하나의 중앙 환경에서 함께 작업할 수 있습니다. 이를 통해 "어떤 규모든, 어떤 신뢰 수준이든" 가능해지며 세분화된 액세스 제어 및 오케스트레이션을 통해 다대다 협업을 지원합니다.

자체 노트북 실행: Clean Rooms에서 이제 안전한 자체 실행을 지원하므로, 협업자는 다른 Clean Rooms 참여자의 명시적인 승인을 받아 처음으로 자체 노트북을 업로드하고 실행할 수 있습니다. 이전에는 상대방만 노트북을 실행할 수 있었으며, 실행 버튼을 클릭하는 것으로 승인이 암묵적으로 간주되었습니다.

자세한 정보와 심층 데모를 확인하려면 이 블로그 글을 읽어보세요.

">

Databricks Marketplace 및 공유 에코시스템 확장

Databricks는 파트너가 데이터 공유 솔루션을 구축하도록 유치하여 개방형 에코시스템의 범위를 넓히고, 새로운 기능을 위한 기존 Built on 파트너십을 확장하며, 공동 고객이 플랫폼 간에 원활하게 공유할 수 있도록 지원하는 기술 파트너십을 발전시키고 있습니다.

">

Data and AI Summit 2025에서 성장하는 에코시스템에 합류하는 몇몇 새로운 파트너를 소개하게 되어 기쁩니다.

• SAP (출시 예정): 고객은 서드파티 ETL 도구 없이도 Databricks 내에서 직접 SAP의 Business Data Cloud(BDC)에 있는 엔터프라이즈 데이터에 액세스할 수 있습니다. 이 통합은 Delta Sharing을 사용하여 데이터 복제 없이 실시간 데이터 액세스를 제공하므로 시간과 비용을 줄여줍니다.
• S&P Global Market Intelligence: S&P Global Market Intelligence는 이제 Delta Sharing을 통해 Databricks Marketplace에서 Capital IQ Pro 데이터 세트를 제공합니다. 사용자는 재무 정보, 추정치, ESG 데이터 등을 데이터 이동 없이 즉각적이고 안전하게 액세스할 수 있습니다.
• FactSet: 신뢰할 수 있는 금융 정보 소스인 FactSet은 고품질의 경제, 시장 및 기업 수준 데이터를 Databricks Marketplace에 제공하여 투자 및 리스크 전문가가 다양한 사용 사례에서 인사이트 도출 시간을 단축할 수 있도록 지원합니다.
• IAS (출시 예정): Integral Ad Science(IAS)는 이제 Delta Sharing을 통해 Databricks Marketplace에서 미디어 품질 데이터 세트를 제공합니다. Databricks 사용자는 데이터를 복제하거나 이동하지 않고도 더 나은 타겟팅, 최적화 및 성과를 위해 IAS 인사이트를 활용할 수 있습니다.
• Infor Nexus: Infor Nexus는 이제 Delta Sharing을 통해 공급망 비즈니스 네트워크 데이터 세트를 제공하여, 기업이 엔터프라이즈 데이터와 네트워크 데이터를 결합하여 계획 및 운영을 현재 상황에 더 잘 맞출 수 있도록 지원합니다.
• Magnite (출시 예정): 세계 최대의 독립형 셀사이드(sell-side) 광고 플랫폼인 Magnite는 이제 Delta Sharing을 통해 Databricks Marketplace에서 광고 활성화를 제공하여 퍼블리셔와 광고주가 모든 스크린에서 데이터를 안전하게 공유, 활성화 및 측정할 수 있도록 지원합니다.
• Crunchbase: Crunchbase는 비상장 기업에 대한 예측 인텔리전스 및 이력 데이터를 제공하여 투자자, 분석가 및 거래 성사자에게 비상장 시장 기회를 발견하고 조치를 취할 수 있는 선점 우위를 제공합니다.
• SambaTV (출시 예정): AI 기반 미디어 인텔리전스 분야의 글로벌 리더인 Samba TV를 이제 Delta Sharing을 통해 Databricks Marketplace에서 만나보실 수 있습니다. 이를 통해 브랜드, 대행사 및 퍼블리셔는 퍼스트 파티 TV 및 웹 데이터를 기반으로 하는 실시간 인사이트, 오디언스 타겟팅 및 측정 도구에 쉽게 액세스하여 모든 스크린에서 오디언스에게 정밀하게 도달하고 이들의 참여를 유도할 수 있습니다.

데이터 협업의 미래

Databricks는 개방형 데이터 협업의 표준을 정립하여 조직이 모든 플랫폼에서 누구와도 어떤 자산이든 공유할 수 있도록 지원하기 위해 계속해서 전념하고 있습니다. Delta Sharing, Clean Rooms 및 Databricks Marketplace를 통해 혁신을 거듭하면서, 당사의 목표는 그 어느 때보다 안전하고 대규모로 데이터 협업을 쉽게 수행할 수 있도록 만드는 것입니다.

향후 계획

이러한 새로운 기능을 탐색하고 조직이 데이터를 협업하는 방식을 어떻게 혁신할 수 있는지 확인해 보시기 바랍니다.

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)