이제 GA: 델타 공유를 통해 Materialized Views와 Streaming Tables 공유하기

우리는 Materialized View & Streaming Table (MV/ST) Delta Sharing의 일반 사용 가능성 (GA)을 발표하게 되어 기쁩니다. 이것은 귀사의 데이터 팀이 조직 내에서 및 외부 파트너 및 고객과 협업하는 방법을 단순화하고 확장하는 강력한 기능 세트입니다.

많은 분들이 처음으로 이러한 기능을 Public Preview에서 탐색하셨습니다—이제, 우리는 여러분의 피드백을 반영하고 GA에서 추가 기능을 제공하였습니다.

MV/ST 델타 공유 기본 지침

데이터를 공유하는 것—실시간이든 집계된 형태든—는 다음과 같은 도전과제가 있습니다:

• 오늘날, 팀들은 중복 파이프라인을 구축하고 오래된, 배치 처리된 소스에 의존하게 되어 비용이 증가하고 복잡성이 증가하며 데이터 지연이 심각하게 발생합니다.
• 원시 테이블을 공유하면 수신자에게 의도하지 않은 민감한 정보를 노출할 수 있습니다.
• 집계 데이터를 공유하려면 추가 처리가 필요하므로 데이터 전달이 느려집니다.

결국, 신선도, 성능, 보안, 간편성을 균형있게 유지하는 것은 어렵고, 오래된 아키텍처는 이를 잘 처리하지 못합니다.

오픈 소스 Delta Sharing 프로토콜을 사용하여 MV와 ST를 클라우드, 지역, 플랫폼 간에 다양한 수신자에게 공유할 수 있습니다.

물리화 뷰(MVs)는 사전 계산된 집계된 쿼리 결과를 제공하여, 팀이 전체 원시 데이터 세트 대신 필요한 인사이트만 공유할 수 있게 하여 보안성과 관련성을 향상시킵니다. 이는 소비자가 필터링 된 또는 요약된 결과가 필요하지만 자세한 원본 데이터는 필요하지 않은 경우, 예를 들어 헤지 펀드 고객과 금융 거래에서의 일일 산업 수준 성능 요약을 공유할 때 특히 유용합니다.

데이터 제공자가 Databricks 사용자와 다른 플랫폼에 MV를 공유하는 방법을 보려면 이 데모 를 보세요.

스트리밍 테이블(STs)은 지속적인 실시간 수집을 위해 구축되었습니다 - 운영 대시보드, 실시간 재고 추적 또는 IoT 모니터링에 이상적입니다. STs를 공유하면 데이터 소비자에게 파이프라인을 복제하지 않고도 실시간, 항상 신선한 데이터를 제공합니다. 예를 들어, 소매업자는 실시간 판매 데이터를 물류 파트너와 직접 공유할 수 있습니다.

데이터 제공자가 Databricks 사용자와 다른 플랫폼에 ST를 공유하는 방법을 보려면 이 데모 를 보세요.

MV/ST 공유 GA에서 새로운 것은 무엇인가요?

1. MV/ST 위에 구축된 뷰 공유

제공자는 이제 MV/ST 위에 직접 사용자 정의 뷰를 정의하고 공유할 수 있습니다. 이를 통해 각 공급업체, 공급자, 파트너가 보는 것을 맞춤화할 수 있습니다—예를 들어, 배송 성능 지표나 실시간 재고 수치—데이터를 중복하거나 불필요한 세부 정보를 노출하지 않고.

예: 트럭 제조업체는 각 공급업체에게 특정한 실시간 재고 뷰를 공유할 수 있어, 여러 사용자 정의 파이프라인이 필요 없게 됩니다.

2. 공유된 MV/ST 데이터에 대한 뷰 생성

수신자는 공유된 MV/ST 위에 직접 뷰를 생성할 수 있어, 데이터를 중복하지 않고 맞춤형 분석을 할 수 있습니다.

예시: 판매 관리자는 자신의 지역과 월별 결과에 대한 공유된 거래 MV를 필터링하여 항상 최신 데이터를 사용한 관련 분석을 가능하게 할 수 있습니다.

3. 공유된 MV/ST 위에 수신자 측 파이프라인 구축

데이터 수신자는 공유된 데이터에서 파생된 새로운 물리화 뷰나 스트리밍 테이블을 생성할 수 있습니다 —중복 파이프라인이나 데이터 복사가 필요 없습니다.

예시: 자동차 부품 공급업체는 제조업체로부터 공유된 판매 MV를 받아 자신의 운영에만 초점을 맞춘 지역 판매를 위한 새로운 MV를 구축할 수 있습니다.

4. 컬럼 매핑 (CMs)을 이용한 고급 공유

공급자는 유연한 스키마 관리를 위해 열 매핑을 사용하여 MVs 또는 STs를 공유할 수 있습니다. 이를 통해 제공자는 컬럼 이름을 변경하거나 숨기고, 스키마를 파트너 요구사항에 맞게 조정하고, 메타데이터만 변경할 수 있습니다—데이터 재작성 비용이나 성능에 영향을 주지 않고 테이블을 업데이트, 커스터마이즈, 관리하는 것을 용이하게 합니다.

예: 다국적 소매업체는 지역 파트너와 판매 MV를 공유합니다. 컬럼 매핑을 사용하여, 그들은 “product_id”를 그 필드를 기대하는 파트너들을 위해 “SKU”로 이름을 변경하고, 내부 비즈니스 코드를 포함하는 컬럼을 숨길 수 있습니다. 결과적으로, 각 파트너는 예상된 형식으로 데이터를 원활하게 받고, 그들의 워크플로우에 필요한 컬럼만 접근합니다.

5. 여러 공유된 MV/STs를 조인하거나 유니온하기

수신자는 여러 공유된 MVs 또는 STs를 조인하거나 유니온하여 데이터 도메인, 공급업체 또는 비즈니스 간에 통합 분석을 가능하게 할 수 있습니다.

예시: 자동차 회사는 실시간 공급망 대시보드를 위해 다양한 공급업체로부터 재고 STs를 집계하거나, 이를 통합 결함 추적을 위해 품질 MVs와 조인할 수 있습니다. 이는 파트너 간 분석을 간소화하고, 데이터 사일로를 제거하며, 사용자 정의 데이터 파이프라인의 필요성을 제거합니다.

6. 공유된 및 로컬 MV/ST의 Join/Union

수신자는 자체 내부 MV 또는 ST와 공유 데이터를 결합하여 외부 데이터를 자체 모델 및 보고서 내에서 맥락화할 수 있습니다.

예시: 물류 파트너는 소매업자로부터 실시간 판매 STs를 내부 라우팅 및 창고 MVs와 조인하여 배송을 최적화하거나, 외부 지표를 내부 KPIs와 병합하여 종합적인 보고서 및 대시보드를 제공할 수 있습니다.

Reltio가 스트리밍 테이블 공유를 사용하는 방법

Reltio Data Cloud™ 는 도메인 간 신뢰할 수 있고, 실시간이며, 맥락이 풍부한 데이터를 제공하여 고객, 제품, 공급업체에 대한 360° 뷰를 제공합니다. 글로벌 기업들이 신뢰하는 Reltio는 혁신을 촉진하고, 위험을 줄이며, 에이전틱 AI 워크플로우를 가능하게 합니다.

공동 고객이 이전에 Databricks에서 Reltio 데이터를 소비하는 방법
Reltio의 데이터를 Databricks에서 사용하려면, 고객들은 전통적으로 Reltio Data Pipeline for Databricks에 의존했습니다. 이를 통해 Reltio의 고객들은 Reltio에서 데이터를 내보내고, 그런 다음 Databricks에서 하류 프로세스를 위해 그것을 소비할 수 있었습니다. 예를 들어, 생명 과학 회사는 CRM, 리베이트 관리, 필드 활성화와 같은 프로세스를 지원하기 위해 건강 관리 제공자 및 조직 데이터를 스트리밍합니다. 또 다른 글로벌 제약 회사는 실시간 스트리밍으로 느리고 수동적인 일괄 내보내기를 대체하여 임상 시험 계획 및 판매 운영에서 더 빠른 분석을 실현합니다.

이전 접근법의 문제점

• 데이터를 내보내고 복사하는 데서 발생하는 중복 데이터와 추가 저장 비용.
• 데이터 복사본에 대한 접근 제어를 관리하는 것은 운영 오버헤드와 거버넌스 복잡성을 증가시켰습니다.

MV/ST 공유가 이러한 도전을 어떻게 해결하는가
MV/ST 공유가 이제 일반적으로 사용 가능하므로, Reltio는 스트리밍 테이블과 물리화 뷰를 실시간으로 고객과 공유할 수 있습니다—내보내기 파이프라인과 중복을 제거하면서 데이터 복사가 필요 없습니다. 고객들은 Databricks에서 직접 정제된 고품질 데이터셋을 받아 고급 분석, AI/ML, 실시간 개인화, 운영 보고를 최소한의 설정으로 구동할 수 있습니다.

Delta Sharing을 이용한 Materialized Views와 Streaming Tables 공유를 통해 우리의 고객들은 Reltio에서 가장 최신의, 인사이트 준비된 데이터에 안전하게 접근할 수 있습니다—더 빠른 결정, 더 정확한 분석, 그리고 전통적인 데이터 내보내기나 통합의 고충 없이 더 큰 유연성을 실현합니다.

MV/ST 공유는 이제 일반적으로 사용 가능합니다. 실시간 데이터 스트림을 공유하든 사전 계산된 결과를 공유하든, 한번 시도해 보세요!

시작하기

• 스트리밍 테이블 문서를 읽어보세요 스트리밍 테이블 공유를 시작하십시오.
• Materialized View Sharing 문서 를 읽어 Streaming Table Sharing을 시작하세요
• 2025년 데이터 및 AI 서밋에서 Delta Sharing in Action: Architecture and Best Practices 를 시청하세요.
• Data and AI Summit 2025에서 Data Sharing & Collaboration의 새로운 소식 세션 을 보고 Data Sharing의 최신 공지사항에 대해 더 알아보세요

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)