크로스 플랫폼 뷰 공유 퍼블릭 프리뷰 발표

크로스 플랫폼 뷰 공유(Cross-Platform View Sharing)의 퍼블릭 프리뷰 출시 소식을 기쁜 마음으로 전해드립니다. 오늘부터 제공되는 이 기능을 통해 데이터 제공업체는 다양한 플랫폼, 클라우드, 리전 간에 뷰를 공유할 수 있어 개방적이고 상호 운용 가능한 데이터 생태계를 촉진할 수 있습니다.

뷰 공유는 매우 유용한 기능이며 다른 벤더들도 이를 지원합니다. 하지만 지금까지는 대부분 동일한 플랫폼 내로 제한되어 있었습니다. 단일 플랫폼 내에서는 뷰를 공유할 수 있었지만, 여러 플랫폼과 클라우드 간의 공유는 불가능했습니다. Databricks는 크로스 플랫폼 뷰 공유를 통해 이 문제를 해결하고, 서로 다른 환경 간에 뷰를 원활하게 공유할 수 있도록 지원합니다. 이는 데이터 제공업체의 도달 범위를 넓히고 데이터 소비자의 벤더 종속(vendor lock-in)을 방지하여 협업을 더 쉽고 빠르게 만들어 주는 획기적인 변화(game changer)입니다.

크로스 플랫폼 공유는 다양한 플랫폼, 클라우드, 리전 간에 안전하고 원활한 데이터 교환을 가능하게 함으로써 Databricks의 개방형 공유 비전과 부합합니다.

뷰 공유의 이해

뷰 공유를 이해하기 위해 먼저 뷰(views)에 대해 알아보겠습니다. Databricks에서 뷰는 테이블이나 다른 뷰에서 생성된 데이터의 읽기 전용 표현입니다. 뷰는 쿼리 텍스트를 저장하지만 데이터 자체는 저장하지 않습니다. 뷰는 Unity Catalog의 일부입니다.

뷰 공유를 통해 사용자는 Delta Sharing 프로토콜을 사용하여 뷰를 공유할 수 있습니다. Delta Sharing은 안전한 데이터 공유를 위한 업계 최초의 개방형 프로토콜로, 다른 조직이 어떤 데이터 플랫폼을 사용하는지에 관계없이 데이터를 간편하게 공유할 수 있도록 지원합니다. 뷰 공유는 여러 사용자가 분석을 위해 동일한 뷰에 액세스하고 활용할 수 있도록 함으로써 재사용성을 높이고 중복성을 줄입니다.

이전에는 Databricks 계정 간에 뷰를 공유할 때 소비자가 Databricks Serverless SQL만을 사용하여 쿼리할 수 있었습니다. Databricks Serverless SQL은 AWS, Azure, Google Cloud Platform (GCP) 등 3대 주요 클라우드 제공업체 모두에서 작동하므로 클라우드 간에 뷰를 공유할 수 있었습니다.

이제 크로스 플랫폼 뷰 공유를 통해 데이터 소비자는 모든 유형의 Databricks 클러스터를 활용하거나 개방형 Delta Sharing 클라이언트를 사용하여 공유 뷰에 액세스하고 쿼리할 수 있습니다. 개방형 Delta Sharing 클라이언트는 Delta Sharing 프로토콜을 지원하는 도구 또는 플랫폼으로, 사용자가 Databricks를 사용하지 않고도 공유 뷰에 액세스할 수 있도록 합니다. 이러한 클라이언트에는 Apache Spark™, Pandas, Power BI, Tableau 등 널리 사용되는 시스템이 포함됩니다. 이를 통해 Databricks를 사용하지 않는 다른 플랫폼의 사용자도 Delta Sharing을 통해 공유 뷰에 액세스하고 쿼리할 수 있습니다.

크로스 플랫폼 뷰 공유가 실제로 작동하는 모습을 데모를 통해 확인해 보겠습니다.

사용 사례

Databricks to Databricks (D2D) 공유

이 시나리오에서는 두 Databricks 고객이 Databricks 생태계 내에서 원활하게 뷰를 공유할 수 있습니다. 이것이 왜 중요할까요? 조직은 서로 다른 클라우드 및 리전에 있는 파트너와 협업하며, 클라우드와 리전을 넘어 고객/파트너와 뷰를 공유하고자 합니다. Delta Sharing 기술을 활용하면 데이터의 중복 사본을 만들지 않고도 원활하고 안전하게 뷰를 공유할 수 있습니다.

Databricks to Open (D2O) 공유

이 시나리오에서 Databricks 고객은 Databricks를 사용하지 않는 외부 수신자와 뷰를 공유할 수 있습니다. 크로스 플랫폼 뷰 공유는 개방형 커넥터(Apache Spark™, Pandas, Power BI, Tableau 등)를 지원하므로 수신자가 Delta Sharing 프로토콜을 통해 공유 뷰에 액세스할 수 있습니다. 이 기능은 복잡한 데이터 플랫폼과 직접 상호 작용할 필요 없이 간소화된 데이터 액세스를 원하는 비즈니스 분석가 및 현업 부서(LOB) 사용자에게 특히 유용합니다.

Databricks Marketplace 데이터 제공업체는 시장 도달 범위를 크게 확장하고 수익화 기회를 넓힐 수 있어 크로스 플랫폼 뷰 공유의 혜택을 누릴 수 있습니다. 이 기능을 통해 Databricks를 사용하지 않는 고객을 포함한 더 넓은 고객층과 뷰를 공유할 수 있어 잠재적인 고객 기반을 확대할 수 있습니다. 데이터 소비자는 Databricks 플랫폼에서만 뷰를 쿼리하는 것으로 제한되지 않으므로 Databricks에 대한 종속을 피할 수 있습니다.

크로스 플랫폼 뷰 공유는 고객에게 획기적인 변화를 가져다줄 것입니다. 복잡한 대기업에 대규모로 제로 카피(zero-copy) 데이터 공유를 도입하려면 유연성이 필수적입니다. 플랫폼 간에 뷰를 공유할 수 있는 기능을 통해 더 많은 고객에게 Delta Sharing의 보안 및 성능 이점을 제공하여 고객 데이터에서 가치를 더 빠르게 창출할 수 있도록 지원합니다.— Amperity의 CTO 겸 공동 창립자 Derek Slager

향후 계획

향후 몇 달 동안 Databricks는 여러 고급 데이터 공유 기능을 선보일 예정입니다. 곧 출시될 기능에는 데이터 제공업체가 복제 없이 다양한 플랫폼(예: Amazon Redshift, Azure Synapse, Google BigQuery, Snowflake)에서 직접 데이터를 공유할 수 있도록 지원하는 Sharing for Lakehouse Federation이 포함됩니다.

또한, D2O OAuth 지원은 수신자가 신뢰할 수 있는 ID 제공업체(IdP)의 OAuth 토큰을 사용하여 인증할 수 있도록 함으로써 보안을 강화합니다. 나아가, 구체화된 뷰(materialized views) 및 Delta Live Tables 공유를 통해 사전 계산된 쿼리 결과와 스트리밍 데이터를 효율적으로 배포할 수 있어, 더 나은 성능과 더 낮은 비용으로 최신 데이터를 제공할 수 있게 됩니다.

시작하기

크로스 플랫폼 뷰 공유는 현재 AWS, GCP, Azure 고객에게 퍼블릭 프리뷰로 제공됩니다. Unity Catalog가 활성화된 Databricks 작업 공간의 데이터를 위치에 관계없이 모든 컴퓨팅 플랫폼의 모든 사용자와 공유하기 위해 Delta Sharing 개방형 공유 프로토콜을 사용하는 방법을 알아보세요.

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)