Delta Sharing 가장 자주 묻는 질문 Top 10 답변 - 1부

Delta Sharing은 활성 공유 수가 전년 대비 300% 성장하며 엄청난 모멘텀을 보여주고 있습니다. 이는 단순한 일회성 파일 전송이 아닙니다. 실제 가치가 교환되고 있음을 증명하는 지속적이고 끊임없는 협업을 의미합니다.

이러한 성장의 핵심 요인은 플랫폼의 개방형 철학입니다. Delta Sharing을 통해 고객은 어떤 데이터 및 AI 자산이든, 누구와도, 아무런 마찰 없이 공유할 수 있습니다. Delta Sharing 활성 공유의 40%는 Databricks 에코시스템 외부의 수신자와 이루어집니다. 이는 Delta Sharing이 플랫폼과 클라우드를 아우르는 개방형 협업 에코시스템을 지원하고 있음을 보여줍니다.

이 게시글에서는 Delta Sharing에 대해 가장 많이 묻는 질문 10가지를 모았습니다. 개요, 차별점, 가장 일반적인 사용 사례, 시작하는 데 필요한 사항을 알아보려면 계속 읽어보세요.

1. Delta Sharing이란 무엇인가요?

Delta Sharing은 안전한 데이터 공유를 위해 가장 널리 채택된 개방형 프로토콜입니다. 이를 통해 조직은 플랫폼과 클라우드 전반에서 실시간 데이터와 AI 자산을 교환할 수 있습니다.

2. Delta Sharing이 다른 점은 무엇인가요?

대부분의 공유 도구는 데이터를 새로운 대상으로 복사하도록 강제하므로, 오래된 사일로가 생성되고 공격 표면이 넓어집니다. Delta Sharing을 사용하면 소스에서 실시간 데이터를 읽을 수 있으므로 이동하거나 복제할 필요가 없습니다.

둘째, Delta Sharing은 오픈 소스이기 때문에 단일 에코시스템에 종속되지 않습니다. Databricks 레이크하우스나 다른 곳에서 공유할 수 있으며, 수신자는 Databricks 사용 여부와 관계없이 데이터를 사용할 수 있습니다.

마지막으로 수신자는 Python, Apache Spark, Java, Power BI 등 표준 개방형 커넥터를 통해 연결하여 귀하가 승인한 공유 테이블을 읽을 수 있습니다.

종합하자면, Delta Sharing은 팀, 도구, 클라우드 전반에서 데이터 및 AI를 위한 플랫폼 독립적인 협업을 제공합니다. 종속(lock-in) 없이, 복사본 없이, 거버넌스 공백 없이 작업할 수 있습니다.

3. Delta Sharing은 Iceberg와 호환되나요? Apache Iceberg를 사용하는 경우 Delta Sharing을 어떻게 활용할 수 있나요?

예, Delta Sharing은 Apache Iceberg와 완전히 호환됩니다. Delta Sharing을 선택하면 두 가지 장점을 모두 누릴 수 있습니다. Apache Iceberg가 데이터 소스 및 대상으로 원활하게 작동하여 가장 광범위한 협업 에코시스템에 액세스하는 동시에 Delta Sharing의 강력한 기능을 모두 활용할 수 있습니다.

Delta Sharing은 공유를 Iceberg의 핵심 기본 요소로 만듭니다. 개방형 수신자가 맞춤형 IdPs로 인증할 수 있도록 하는 OIDC 토큰 페더레이션 및 네트워크 구성을 단순화하고 확장하는 Network Gateway와 같은 고유한 기능을 통해 고객은 테이블 형식 전반에서 완전한 상호 운용성을 확보할 수 있습니다.

이제 Unity Catalog에서 관리되는 테이블을 Snowflake, Trino, Spark와 같은 Iceberg 클라이언트와 공유할 수 있습니다. 또한 Hive Metastore 또는 AWS Glue와 같은 카탈로그에서 관리하는 외부 Iceberg 테이블을 Unity Catalog로 페더레이션한 다음 동일한 프로토콜을 통해 공유할 수 있습니다. 두 경우 모두 Unity Catalog에 테이블을 등록하고, 공유를 생성하고, Databricks 내부 또는 외부의 관련 수신자를 추가하면 됩니다. 이를 통해 Iceberg 사용자는 데이터를 이동하거나 복제하지 않고도 거버넌스가 적용된 실시간 데이터를 사용하여 Databricks 고객과 협업할 수 있습니다.

4. Databricks 고객이 아닌 사용자와도 Delta Sharing을 사용하여 데이터를 공유할 수 있나요?

예, 수신자가 Databricks를 사용하든 다른 플랫폼을 사용하든 관계없이 모든 수신자와 데이터를 공유할 수 있습니다. Delta Sharing은 Databricks 간 공유뿐만 아니라 Open Sharing 모두에 작동하는 개방형 프로토콜입니다. Delta Sharing은 수신자가 Apache Spark 커넥터, Pandas 커넥터, Iceberg Rest Catalog 커넥터는 물론 PowerBI, Tableau, Excel 커넥터를 포함한 모든 플랫폼에서 사용할 수 있는 개방형 커넥터를 제공합니다. Open sharing을 사용하면 테이블뿐만 아니라 뷰, 파티션, 변경 데이터 피드(change data feed)도 공유할 수 있어 외부와 공유할 때도 데이터 공유 경험을 최적화할 수 있습니다.

5. 왜 Delta Sharing을 사용해야 하나요? 어떤 문제를 해결하나요?

수천 명의 고객이 Delta Sharing을 어떻게 사용하는지 살펴본 결과, 비즈니스에 진정한 변화를 가져오는 네 가지 주요 방식을 발견했습니다.

6. 이미 SFTP, S3, Dropbox 또는 이메일을 사용하여 데이터를 공유하고 있다면 왜 Delta Sharing이 필요할까요?

여전히 SFTP, S3, Dropbox 또는 이메일을 통해 데이터를 공유하고 있다면 조직을 불필요한 위험과 비효율성에 노출시키고 있는 것입니다. 공격자가 SFTP 취약점을 악용하여 약 400GB의 민감한 데이터를 훔친 Finastra의 사례를 확인해 보세요.

이러한 구식 방법들이 작동할 수는 있지만, 시대에 뒤떨어지고 취약합니다. 결국 전체 파일을 복사하고, 만료되지 않는 정적 비밀번호나 키를 관리해야 하며, 동기화되지 않은 수많은 복사본을 생성하여 심각한 보안 및 규정 준수 공백을 초래하게 됩니다. Delta Sharing은 이 모든 것을 현대적이고 안전하며 감사가 가능한 방식으로 대체합니다. 필요한 특정 테이블, 행 또는 열(및 AI 모델)만 공유할 수 있으며, 추가 복사본이 존재하지 않기 때문에 데이터를 가져오는 사람은 항상 최신 버전을 보게 됩니다.

보안도 더욱 강력해집니다. 정적 비밀번호나 액세스 키를 배포하는 대신 Delta Sharing은 수명이 짧은 토큰을 발급하며, 이미 사용 중인 ID 시스템과 연동할 수 있으므로 별도의 자격 증명을 관리할 필요가 없습니다. 누군가 데이터를 볼 때마다 Unity Catalog에 기록되므로 감사와 규정 준수가 훨씬 쉬워집니다.

민감한 데이터를 보호하고 협업을 단순화하는 데 진심이라면 Delta Sharing은 '있으면 좋은 것'이 아니라, 오늘날 안전한 데이터 교환을 위한 필수 기준입니다.

Databricks Built-On 파트너인 Kythera Labs가 Delta Sharing을 사용하여 연간 200만 달러 이상을 절감하는 방법을 확인해 보세요.

7. Delta Sharing을 사용하여 어떤 종류의 자산을 공유할 수 있나요?

Delta Sharing을 사용하면 거의 모든 종류의 데이터나 AI 자산을 공유할 수 있으며, 이러한 폭넓은 지원은 매우 독보적입니다. 여기에는 테이블(및 테이블 파티션), 스트리밍 테이블, 관리형 Iceberg 테이블, 외부 스키마 및 테이블, 뷰(행/열 필터링을 위한 동적 뷰 포함), 구체화된 뷰, 볼륨, 노트북, 그리고 AI 모델이 포함됩니다. 전체 스키마(데이터베이스)를 공유하면 그 안의 모든 항목(테이블, 뷰, 볼륨, 모델)이 즉시 공유되며, 나중에 추가되는 새로운 자산도 수신자가 바로 사용할 수 있습니다. 이 모든 자산은 단일 Unity Catalog 메타스토어에 연결되어 있어 공유를 깔끔하고 체계적으로 관리할 수 있습니다.

8. 제공자가 수신자와 데이터를 공유할 때 Delta Sharing은 데이터를 어떻게 안전하게 보호하나요?

Delta Sharing은 제로 트러스트(zero-trust) 기반의 토큰 방식을 사용합니다. 누군가 데이터를 요청하면, 공유 서버가 Unity Catalog를 확인한 후 스토리지로 직접 연결되는 수명이 짧은 읽기 전용 토큰이나 사전 서명된 URL을 제공합니다. 따라서 영구적인 비밀번호가 제공자 외부로 유출될 일이 전혀 없습니다. 모든 트래픽은 TLS 암호화로 보호되며, 모든 요청은 감사를 위해 기록됩니다. Databricks 간 공유(Databricks-to-Databricks)의 경우 핸드셰이크가 자동으로 처리되며, 외부 사용자는 간단한 자격 증명 파일이나 OIDC 페더레이션을 통해 인증할 수 있지만, 동일하게 암호화되고 완전히 감사되는 임시 토큰 모델이 적용됩니다. 이를 통해 권한이 있는 사람만 제한된 시간 동안 적절한 데이터를 볼 수 있습니다. 자세한 내용은 Delta Sharing이 안전한 엔드투엔드 협업을 지원하는 방법을 읽어보세요.

9. 좋네요. Delta Sharing을 사용할 때 비용은 어떻게 되나요?

Delta Sharing을 시작하는 데는 비용이 전혀 들지 않습니다. 데이터 세트나 AI 모델을 설정, 구성 또는 공유하는 데는 비용이 청구되지 않습니다. 누군가 실제로 데이터를 쿼리할 때만 요금이 발생하며, 이 요금도 크게 세 가지 항목으로 나뉩니다.

첫째, 컴퓨팅 비용(쿼리를 실행하는 데 필요한 처리 능력)은 일반적으로 쿼리를 수행하는 사람이 지불하지만, 데이터 소유자가 이를 부담하는 것이 더 합리적이라고 판단되면 소유자가 부담하도록 선택할 수도 있습니다.

둘째, 제공자의 클라우드 외부로 데이터를 이동할 때 발생하는 송신(egress) 비용이 있습니다. 새로운 R2 모드(현재 GA)는 "송신 비용 제로(zero egress)" 옵션도 제공하므로 이 비용을 완전히 피할 수 있습니다.

셋째, 스토리지 비용은 복제된 사본을 유지하기로 결정한 경우에만 발생하며, 실시간(on-the-fly) 액세스에는 추가 공간이 필요하지 않습니다.

다음은 Databricks 간 공유의 예시입니다. AWS를 사용하는 공급업체가 Azure를 사용하는 소매업체와 구체화된 뷰를 공유한다고 가정해 보겠습니다. 데이터가 공유될 때 공급업체는 AWS에서 나가는 데이터에 대한 송신 비용을 지불하고, 소매업체가 공유 데이터에 대해 쿼리를 실행할 때 소매업체는 쿼리에 대한 컴퓨팅 비용을 지불합니다.

10. Delta Sharing을 시작하려면 무엇이 필요한가요?

요구 사항은 Databricks 수신자와 공유하는지 아니면 비 Databricks 수신자와 공유하는지에 따라 다릅니다.

• Databricks-to-Databricks (D2D): 이 모델은 Databricks 워크스페이스 간에 데이터를 공유하기 위한 것입니다. 제공자와 수신자 모두 공유 데이터를 관리하기 위해 Unity Catalog 메타스토어가 필요합니다. Aon Reinsurance Solutions가 더 나은 의사 결정을 내리기 위해 Databricks Delta Sharing을 활용하는 방법을 읽어보세요.
• Databricks-to-Open (D2O): 이 모델은 Databricks 워크스페이스에서 외부 도구 나 플랫폼으로 데이터를 공유하기 위한 것입니다. 제공자는 Unity Catalog가 활성화된 워크스페이스가 필요하며, 수신자는 Spark, Pandas 또는 Power BI와 같은 오픈 커넥터를 사용하여 연결할 수 있습니다. HP의 3D 프린팅 부서가 D2O를 사용하여 고객이 거의 실시간으로 장비 성능을 모니터링할 수 있도록 지원하는 방법을 확인해 보세요.

외부 공유가 활성화되어 있어야 하며, 조직은 거버넌스 및 잠재적인 크로스 클라우드 송신 비용을 추적해야 합니다.

시작할 준비가 되셨나요?

• Delta Sharing을 시작하려면 Delta Sharing 문서를 읽어보세요.
• Data and AI Summit 2025의 Delta Sharing in Action: Architecture and Best Practices 세션을 시청해 보세요.
• Delta Sharing의 보안, 프레임워크 및 사용 사례에 대해 자세히 알아보려면 Data and AI Summit 2025의 Securing Data Collaboration: A Deep Dive Into Security, Frameworks, and Use Cases 세션을 시청해 보세요.

보안, Delta Sharing이 Clean Rooms 및 Databricks Marketplace와 같은 제품을 지원하는 방법, 기타 고급 기능 등의 주제를 다룰 다음 질문 시리즈도 기대해 주세요.

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)