데이터 공유 및 협업의 새로운 점 - 2025년 여름

Databricks에서는 데이터와 AI를 모든 사람이 접근할 수 있도록 만드는 것을 목표로 하고 있습니다. 이는 단일 조직 내에서뿐만 아니라 조직 간 경계를 넘어서도 가능합니다. Databricks 플랫폼의 세 가지 구성 요소가 공유와 협업을 가능하게 하는 데 중요합니다. 우선, 우리의 Delta Sharing 오픈 프로토콜은 고객이 클라우드와 플랫폼 간에 데이터와 AI 자산을 안전하게 공유할 수 있게 해주어, 정보의 고립을 깨고 혁신을 촉진합니다. 두 번째로, Databricks Marketplace 는 Databricks 내에서 데이터와 AI 자산을 제공하는 주요 파트너들이 특징인 모든 데이터와 AI 요구사항을 위한 오픈 플랫폼으로 작동합니다. 마지막으로, Databricks Clean Rooms 는 모든 클라우드 플랫폼에서 비즈니스를 위한 개인정보 중심의 협업을 가능하게 합니다.

Data + AI Summit 2025에서, 우리는 조직이 데이터와 AI를 공유하고 협업하는 방식을 발전시키고 있습니다. 새로운 기능과 확장된 파트너 생태계를 통해, 우리는 자산을 안전하게 공유하고 플랫폼 간 작업을 더욱 쉽게 할 수 있도록 지원하고 있습니다. Delta Sharing, Clean Rooms 및 Marketplace에서 새로운 점과 그 중요성에 대해 알아봅시다.

상호 운용성과 단순화를 위한 델타 공유 혁신

Delta Sharing은 클라우드, 플랫폼, 또는 지역에 상관없이 안전한 플랫폼 간 데이터 공유를 가능하게 합니다. 우리는 더 넓은 사용 사례를 지원하고 다양한 생태계 간 데이터 교환의 복잡성을 줄이는 새로운 기능을 통해 데이터 공유 기능을 확장하고 있습니다.

Apache Iceberg™과 Delta Sharing을 이용한 외부 데이터 협업

오늘날의 조직들은 주로 델타 레이크와 아파치 아이스버그와 같은 여러 테이블 형식으로 작업합니다. Databricks는 어떤 형식을 사용하든 데이터 공유를 위한 가장 포괄적인, 종단간 지원을 제공합니다.

Delta Sharing을 통해 이제 완전한 Iceberg 상호 운용성을 얻을 수 있습니다:

• 어떤 아이스버그 호환 엔진으로든 플랫폼 간 공유를 허용하여, 데이터 제공자가 AWS나 Snowflake와 같은 플랫폼을 통해 고객에게 도달할 수 있습니다.
• 데이터 제공자는 이제 델타 공유를 사용하여 Databricks 내부 및 외부에서 다른 UC 자산처럼 아이스버그 테이블을 공유할 수 있습니다(공개 미리보기)

이러한 기능들은 데이터 중복이나 파일 변환의 필요성을 제거함으로써 델타 공유를 데이터 공유를 위한 가장 넓은 범위의 오픈 프로토콜로 만듭니다. 이 기능을 시도해 보고 싶다면, 여기에서 사적인 미리보기를 신청하세요.

Delta Sharing Network Gateway: 네트워크 구성이 원활한 Open Lakehouse Sharing

데이터 제공자들은 자신들의 데이터를 열린 형식으로 단일 복사본을 유지하고 싶지만 - 외부 고객이 그것을 실시간으로 - 소스에서 직접 쉽게 접근할 수 있도록 하고 싶어합니다. 이 접근 방식은 종종 방화벽 규칙과 네트워크 설정과 관련된 복잡성을 만들어냈습니다. 새로운 델타 공유 네트워크 게이트웨이는 그 부담을 제거합니다. 데이터 제공자는 이제 최소한의 수동 네트워크 구성으로 수령인과 공유할 수 있습니다. 이는 고객이 관리하는 저장소(예: ADLS, S3)와 Databricks 기본 저장소를 모두 지원합니다. 이 기능을 시도해 보고 싶다면, 사적인 미리보기를 신청하세요.

최저 TCO에서의 Delta Sharing: 스트리밍 테이블과 머티리얼라이즈드 뷰

스트리밍 테이블과 머티리얼라이즈드 뷰(MV/ST) 공유는, 이전에는 Public Preview였지만, 몇 주 내에 일반적으로 사용 가능해질 것입니다. 이를 통해 데이터 제공자는 머티리얼라이즈드 뷰와 스트리밍 테이블을 사용하여 효율적으로 고객 대상 데이터 뷰를 생성하고 공유할 수 있습니다.

속성 기반 접근 제어를 사용한 공유의 세분화된 거버넌스

Delta Sharing의 ABAC (Attribute-Based Access Control) 지원은 제공자가 데이터를 공유할 때 세밀한 데이터 접근 정책을 안전하게 적용할 수 있게 해주어, 민감한 정보를 보호하면서 넓은 범위의 데이터 협업을 가능하게 합니다. 수신자는 수신한 테이블에서 ABAC를 사용할 수도 있어, 자신의 조직 내에서 외부 데이터에 대한 접근을 관리할 수 있습니다. 이 기능의 베타 버전은 몇 달 내에 사용 가능할 예정입니다.

OIDC 토큰 연합

우리는 OIDC 토큰 연합을 통한 향상된 Delta Sharing 보안의 일반 사용 가능성을 소개하게 되어 기쁩니다. 데이터 제공자는 Azure Entra ID나 Okta와 같은 사용자 정의 Identity Provider (IdP)를 선호하는 모든 컴퓨팅 플랫폼에서 Databricks 사용자가 아닌 사람들과 데이터를 안전하게 공유할 수 있습니다.

클린 룸: 개인정보 중심의 협업, 이제 GCP에서 사용 가능하며 기능 확장

Delta Sharing을 통해 구동되는 Databricks Clean Rooms 은 기업이 파트너와 고객과 안전하게 협업할 수 있게 해주며, 원시 데이터를 노출시키지 않습니다. DAIS 2025에서는 세 가지 주요 업데이트를 소개하고 있습니다:

개인정보 중심의 신원 확인: 고객들은 종종 PII 데이터를 공통 공유 식별자로 변환해야 하며, 이를 통해 데이터셋 간의 관련 엔티티를 정확한 일치 없이도 연결할 수 있도록 보장해야 합니다. Databricks 클린 룸 내에서 신원 확인을 가능하게 함으로써, 조직들은 원시 개인 데이터를 제3자 신원 제공자에게 노출할 필요 없이 안전하게 협업할 수 있습니다.

Google Cloud에서 이제 사용 가능(GA): 고객들은 이제 GCP에서 클린 룸을 배포할 수 있어, AWS, Azure, 그리고 다른 플랫폼을 통해 파트너와 안전하게 협업할 수 있습니다. 이는 “어떤 클라우드, 어떤 플랫폼” 협업 접근법을 지원하며, 데이터 이동을 필요로 하지 않습니다.

다자간 협업: Clean Rooms는 이제 하나의 방에서 여러 협업자를 지원합니다. 이전에는 각 클린 룸이 실질적으로 두 당사자만 가능했지만, 이제는 최대 9개의 다른 조직(즉, 총 10개)을 초대할 수 있습니다. 이런 협업자들은 다른 클라우드, 지역, 또는 데이터 플랫폼에 있을 수 있지만, 하나의 중앙 환경에서 함께 작업할 수 있습니다. 이는 “어떤 규모, 어떤 신뢰 수준”을 가능하게 하며, 세밀한 접근 제어와 오케스트레이션을 통한 많은 대 많은 협업을 지원합니다.

자신의 노트북 실행: Clean Rooms는 이제 안전한 자체 실행을 지원하여, 협업자가 처음으로 자신의 노트북을 업로드하고 실행할 수 있게 되었습니다. 이는 다른 clean room 참가자들로부터 명시적인 승인을 받은 경우에만 가능합니다. 이전에는 노트북은 실행 버튼을 클릭함으로써 승인이 내포된 상태에서 다른 당사자에 의해 실행될 수 있었습니다.

이 블로그를 읽어보세요 더 많은 정보와 심층적인 데모를 확인할 수 있습니다.

Databricks 마켓플레이스 및 공유 생태계 확장

Databricks는 파트너들이 데이터 공유 솔루션을 구축하도록 초대함으로써 그것의 오픈 생태계의 범위를 넓히고, 새로운 기능을 위한 기존 Built on 파트너십을 확장하며, 공동 고객들이 플랫폼 간에 원활하게 공유할 수 있도록 돕는 기술 파트너십을 발전시킵니다.

Data and AI Summit 2025에서, 우리는 성장하는 생태계에 참여하는 여러 새로운 파트너들을 강조하게 되어 자랑스럽습니다.

• SAP (곧 출시 예정): 고객들은 Databricks 내에서 직접 SAP의 Business Data Cloud (BDC)에서 기업 데이터에 접근할 수 있으며, 제3자 ETL 도구 없이 이를 가능하게 합니다. 이 통합은 Delta Sharing을 사용하여 데이터 복제 없이 실시간 데이터 접근을 제공하며, 시간과 비용을 줄입니다.
• S&P Global Market Intelligence: S&P Global Market Intelligence는 이제 Databricks Marketplace에서 델타 공유를 통해 Capital IQ Pro 데이터셋을 제공합니다. 사용자들은 재무, 추정치, ESG 데이터 등을 즉시, 안전하게, 데이터 이동 없이 접근할 수 있습니다.
• FactSet: 신뢰할 수 있는 금융 정보의 출처인 FactSet은 고품질의 경제, 시장, 회사 수준 데이터를 Databricks Marketplace에 제공하여, 투자 및 위험 전문가들이 다양한 사용 사례에 걸쳐 인사이트를 얻는 시간을 단축할 수 있게 합니다.
• IAS (곧 출시 예정): Integral Ad Science (IAS)는 이제 Databricks Marketplace에서 델타 공유를 통해 미디어 품질 데이터셋을 제공합니다. Databricks 사용자들은 데이터를 복제하거나 이동시키지 않고도 IAS 인사이트를 활용하여 더 나은 타겟팅, 최적화, 성능을 달성할 수 있습니다.
• Infor Nexus: Infor Nexus는 이제 Delta Sharing을 통해 공급망 비즈니스 네트워크 데이터 세트를 제공하여, 기업이 기업 데이터와 네트워크 데이터를 결합하여 계획과 운영을 현재의 현실에 더 잘 맞추도록 할 수 있습니다.
• Magnite (곧 출시 예정): Magnite, 세계에서 가장 큰 독립적인 판매측 광고 플랫폼,는 이제 Databricks Marketplace에서 델타 공유를 통해 광고 활성화를 제공하며, 이를 통해 출판사와 광고주가 모든 화면에서 데이터를 안전하게 공유, 활성화, 측정할 수 있습니다.
• Crunchbase: Crunchbase는 투자자, 분석가, 거래자들이 사모 시장 기회를 발견하고 행동할 수 있도록 선수권을 제공하는 데 도움이 되는 사모 회사에 대한 예측 지능과 역사적 데이터를 제공합니다.
• SambaTV (곧 출시 예정): AI 기반 미디어 인텔리전스의 글로벌 리더인 Samba TV는 이제 Databricks Marketplace에서 Delta Sharing을 통해 사용할 수 있습니다. 이를 통해 브랜드, 에이전시, 퍼블리셔들이 실시간 인사이트, 타겟팅, 첫 번째 파티 TV 및 웹 데이터를 기반으로 한 측정 도구에 쉽게 접근할 수 있습니다. 이를 통해 모든 화면에서 정확하게 대상을 찾아 접근할 수 있습니다.

데이터 협업의 미래

Databricks에서는, 우리는 오픈 데이터 협업의 표준을 설정하고, 조직들이 어떤 자산이든 어떤 플랫폼에서든 누구와든 공유 할 수 있도록 하는 데에 계속해서 헌신하고 있습니다. 우리는 델타 공유, 클린 룸, 그리고 Databricks 마켓플레이스와 함께 혁신을 계속하면서, 데이터를 안전하게 그리고 대규모로 협업하는 것을 어느 때보다 쉽게 만드는 것이 목표입니다.

다음은 무엇인가요?

우리는 여러분이 이 새로운 기능들을 탐색하고, 그것들이 여러분의 조직이 데이터를 어떻게 협업하는지 변화시킬 수 있는 방법에 대해 기대하고 있습니다.

 

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)