데이터 공유 및 협업의 새로운 기능

Databricks의 미션은 데이터와 AI를 민주화하는 것입니다. 도달 범위와 영향력을 극대화하려면 공유와 협업에 대한 개방적인 접근 방식이 필수적입니다. Databricks의 데이터 인텔리전스 플랫폼 내에서 Delta Sharing 개방형 프로토콜은 고객이 데이터와 AI 자산을 쉽고 안전하게 공유하여 혁신을 가속화할 수 있도록 지원합니다. 외부 데이터와의 협업을 위한 Databricks Marketplace는 모든 데이터, 분석, AI 요구 사항을 충족하는 개방형 마켓플레이스입니다. 다양한 데이터 및 AI 자산을 공유하는 데이터 파트너 에코시스템이 성장함에 따라, Databricks Marketplace는 데이터 소비자가 혁신을 실현할 수 있도록 지원합니다. Databricks Clean Rooms는 기업이 어떤 클라우드에서든 안전한 환경에서 쉽게 협업할 수 있도록 개인정보를 보호하는 안전한 협업 환경을 제공합니다. 지난주 Databricks는 Delta Sharing의 개방형 에코시스템을 확장하기 위해 업계를 선도하는 12개의 새로운 파트너를 발표했습니다. 오늘 Databricks는 에코시스템 성장을 가속화하는 방법과 Delta Sharing 기능 출시에 대한 새로운 업데이트를 발표하게 되어 기쁩니다. 또한 AWS 및 Azure에서 곧 제공될 퍼블릭 프리뷰(Public Preview)를 통해 Databricks Clean Rooms를 사용한 개인정보 보호 협업이 가능해진다는 소식을 전해드립니다.

Delta Sharing으로 데이터 공유 성장 가속화

Databricks 고객은 벤더 종속(lock-in) 없이 유연하고 안전하며 개방적인 에코시스템에서 고객 및 파트너와 플랫폼 및 클라우드 간 협업을 추진하고 있습니다. 혁신과 협업에 대한 Databricks의 노력은 지난 한 해 동안 큰 성과를 거두었으며, 에코시스템은 놀라운 성장을 기록했습니다.

파트너 및 고객과의 협업을 위해 Delta Sharing을 도입한 다양한 조직의 데이터 수신자가 16,000명 이상에 달하는 등 에코시스템 전반에서 엄청난 성장을 확인했습니다. 오늘 저희는 개방형 에코시스템 전반에서 활성 Delta Shares가 전년 대비 300% 이상 성장했으며, Delta Shares의 40%가 공유 데이터에 액세스하고 읽기 위해 Apache Spark, Pandas, Power BI 및 최근 발표된 Tableau를 지원하는 크로스 플랫폼 개방형 커넥터를 사용하고 있음을 발표하게 되어 기쁩니다.

Delta Sharing의 최신 파트너 그룹은 데이터 공유 솔루션을 구축하고, 새로운 기능을 위해 기존 Built on 파트너십을 확장하며, 공동 고객이 플랫폼 간에 원활하게 공유할 수 있도록 지원하는 기술 파트너십을 발전시키고 있습니다. 이러한 새로운 파트너십에는 Acxiom, Amperity, Atlassian, Aveva, HealthVerity, Shutterstock, Stocktwits, T-Mobile, TetraScience, The Trade Desk가 포함됩니다. 또한 Databricks는 Epsilon, LiveRamp, S&P Global, Tableau와의 파트너십 확장도 발표했습니다.

"Atlassian Analytics는 최근 유연성을 높이고 고객의 가치 창출 시간(time-to-insight)을 단축하기 위해 Databricks의 Delta Sharing을 활용한 Data Shares를 출시했습니다. … Tableau, PowerBI, Spark를 포함한 Delta Sharing의 개방형 커넥터 에코시스템을 통해 고객은 Atlassian Data Lake에서 직접 가져온 데이터로 환경을 쉽게 구동할 수 있습니다." —Ben Jackson, Atlassian 데이터 및 분석 부문 시니어 그룹 제품 매니저

데이터와 AI의 성공을 지원하는 새로운 Delta Sharing 혁신 기술

3년 전, 저희는 안전한 데이터 공유를 위한 업계 최초의 개방형 프로토콜인 오픈 소스 Delta Sharing 프로젝트를 발표했습니다. 그 이후로 Delta Sharing은 지속적으로 혁신을 거듭하며 고객이 복제할 필요 없이 플랫폼, 클라우드, 리전 간에 실시간 데이터와 AI를 쉽게 공유할 수 있도록 지원해 왔습니다.

이러한 개방형 접근 방식을 바탕으로, 저희의 지침 원칙은 Delta Sharing을 가장 개방적이고 안전하며 유연한 도구로 만드는 것입니다. 이를 통해 누구나 SQL에서 AI에 이르는 모든 사용 사례에 대해 어떤 플랫폼에서든 모든 수신자에게 모든 데이터 자산을 공유할 수 있습니다. 이를 위해 데이터 제공자와 데이터 수신자 모두를 위한 새로운 개방형 공유 기능을 지속적으로 개발해 왔으며, 몇 가지 새로운 Delta Sharing 제품 혁신을 발표하게 되어 기쁩니다.

최근 퍼블릭 프리뷰로 출시되었던 두 가지 Delta Sharing 기능인 Volume Sharing과 Cloudflare R2 지원이 이제 정식 버전(GA)으로 제공된다는 소식을 기쁘게 전해드립니다. "볼륨(Volumes)"은 디렉터리와 파일의 컬렉션을 위한 Unity Catalog의 새로운 객체 유형입니다. Volume Sharing을 사용하면 비용이 많이 드는 복제 없이도 워크스페이스 간에 대량의 비정형 또는 비테이블 형식 데이터(예: 이미지, 오디오, 비디오 또는 PDF 파일)를 유연하게 공유할 수 있습니다. 이 새로운 기능은 데이터 과학, AI 및 머신러닝 워크로드를 위한 비정형/비테이블 형식 데이터 처리 혁신을 가속화하는 데 도움이 됩니다. Cloudflare R2 지원은 Cloudflare의 송신 수수료 제로(zero egress) 분산 객체 스토리지를 사용하는 공동 고객이 리전 간의 비용이 많이 드는 복제나 벤더 종속 없이 송신 수수료 제로 혜택을 누릴 수 있도록 지원합니다. Cloudflare와의 이러한 전략적 파트너십은 이미 Allium과 같은 고객이 Delta Sharing과 Cloudflare R2를 모두 사용하여 연간 최대 64만 5천 달러를 절감하는 데 기여했습니다.

Cross-Platform View Sharing은 데이터 제공자가 모든 수신자에게 뷰(View)를 쉽게 공유할 수 있도록 지원하는 흥미롭고 새로운 기능입니다. 뷰는 수년 동안 데이터를 동적으로 공유할 수 있는 매우 인기 있는 메커니즘이었지만, 뷰 공유는 종종 동일한 플랫폼 및 클라우드 리전 내에서의 공유로 제한되어 사용자가 어디에 있든 모든 사용자에게 도달하기 어려웠습니다. Databricks 고객이 사용하는 클라우드, 리전 또는 플랫폼에 관계없이 모든 수신자에게 뷰를 안전하게 공유할 수 있게 된다는 소식을 전해드리게 되어 기쁩니다. Cross-Platform View Sharing은 곧 프라이빗 프리뷰로 제공될 예정이며, 지금 신청하여 프리뷰 액세스를 요청하실 수 있습니다. 저희가 출시하는 또 다른 Delta Sharing 기능은 프라이빗 프리뷰로 제공되는 Materialized Views and Streaming Tables Sharing입니다. Delta Live Tables를 사용하여 안정적이고 비용 효율적인 데이터 파이프라인을 쉽게 구축하는 고객은 이제 추가 복사본이나 파이프라인을 만들고 유지 관리할 필요 없이 이러한 파이프라인의 출력을 수신자와 쉽게 공유할 수 있습니다. 신청하여 프리뷰 액세스를 요청해 보세요.

고객들은 데이터가 어디에 있든 필요한 모든 데이터에 액세스할 수 있는 공유 에코시스템이 필요하다고 말했습니다. 데이터를 Databricks로 복사할 필요 없이 데이터가 저장된 위치에서 직접 데이터를 공유할 수 있는 새로운 기능인 Sharing for Lakehouse Federation을 발표하게 되어 매우 기쁩니다. 이를 통해 데이터 제공자는 데이터 웨어하우스 또는 데이터베이스(예: Snowflake, BigQuery, Redshift, MySQL, PostgreSQL 등)에 저장된 데이터에 대한 액세스 권한을 쉽게 부여할 수 있으며, Databricks 고객은 제공자의 추가 오버헤드 없이 가능한 가장 광범위한 데이터 세트에 액세스할 수 있습니다. 이 기능은 곧 프라이빗 프리뷰로 제공될 예정입니다. 신청하여 프리뷰 액세스를 요청해 보세요.

이러한 놀라운 신기능들은 지난 6개월 동안의 최근 혁신 기술에 추가된 것입니다. 현재 퍼블릭 프리뷰로 제공되는 AI Model Sharing을 사용하면 파트너 및 고객과 모델을 공유할 수 있으며, 파트너 및 고객은 Mosaic AI를 사용하여 자신의 Databricks 환경에 모델을 배포할 수 있습니다. AI Model Sharing은 클라우드와 리전 간에 모델을 쉽게 공유할 수 있는 획기적인 이점을 제공하는 동시에, 수신자가 타사 모델을 사용할 때 데이터의 개인정보를 보호할 수 있도록 지원합니다.

AWS 및 Azure에서 Clean Rooms 퍼블릭 프리뷰 출시 발표

Databricks Clean Rooms는 민감한 데이터에 직접 액세스하지 않고도 모든 데이터 및 AI 자산에 대해 개인정보를 보호하는 안전한 협업 환경을 제공합니다. 오늘 저희는 AWS 및 Azure에서 곧 Databricks Clean Rooms의 퍼블릭 프리뷰가 제공될 예정임을 발표합니다. 여기에서 신청하여 프리뷰에 먼저 액세스해 보세요.

기업들은 데이터 기반의 혁신을 촉진하기 위해 데이터를 안전하게 교환하고 외부 파트너와 협업할 수 있는 방법을 찾고 있습니다. 과거에는 데이터 공유 솔루션이 제한적이었기 때문에, 민감한 데이터가 파트너와 공유되는 방식에 대한 통제력을 잃거나 데이터가 어떻게 소비되는지 거의 파악할 수 없었습니다. 이로 인해 잠재적인 데이터 오용 및 데이터 개인정보 침해 위험이 발생했습니다. 다른 클린룸 솔루션을 사용해 본 고객들은 이러한 솔루션이 제한적이며 자신들의 요구사항을 충족하지 못한다고 말합니다. 모든 참여자가 데이터를 동일한 플랫폼에 복사해야 하는 경우가 많고, 기본적인 SQL 쿼리를 넘어선 정교한 분석을 허용하지 않으며, 데이터에 대한 가시성이나 통제력이 제한적이기 때문입니다.

기업에는 데이터 협업을 위한 개방적이고 유연하며 개인정보가 보호되는 안전한 방법이 필요하며, Databricks Clean Rooms가 이러한 중요한 요구사항을 충족합니다.

• 어떤 클라우드, 어떤 플랫폼이든 지원: Delta Sharing을 통해 안전하고 개방적이며 유연한 협업이 가능합니다. Clean Rooms를 사용하면 새로운 Sharing for Lakehouse Federation(위의 상세 정보 참조)을 통해 여러 클라우드, 리전, 심지어 플랫폼 간에도 협업할 수 있습니다.
• 원하는 모든 언어 및 워크로드 지원: 시중의 다른 데이터 클린룸과 달리, Databricks Clean Rooms는 Python을 사용한 ML 및 AI에 대한 네이티브 지원을 포함하여 모든 언어와 워크로드를 지원합니다. Clean Rooms는 유연하고 상호 운용 가능한 솔루션으로, 기업이 데이터를 복제할 필요 없이 클라우드나 플랫폼에 관계없이 누구와도 협업할 수 있도록 지원합니다.
• 어떤 규모든 지원: Clean Rooms는 대규모 협업 및 운영 기능도 지원합니다. API, SQL 명령, 내장된 Databricks Workflows 오케스트레이션을 지원하므로 Clean Room 워크로드를 쉽게 자동화할 수 있습니다. 또한 협업 참여자는 승인된 결과 데이터를 Unity Catalog에서 직접 받아 후속 사용 사례에 편리하게 활용할 수 있습니다. 곧 여러 협업 참여자가 Databricks Clean Room에서 함께 작업할 수 있는 기능이 제공될 예정입니다.

Databricks Marketplace 생태계 성장 및 제품 혁신

많은 마켓플레이스는 특정 클라우드나 데이터 웨어하우스로 제한된 폐쇄형 생태계이며, 데이터나 단순한 애플리케이션에만 집중하는 경우가 많습니다. 2023년 6월, Databricks는 모든 데이터, 분석, AI 요구사항을 충족하도록 설계된 개방형 플랫폼인 Databricks Marketplace를 출시했습니다. Delta Sharing을 기반으로 하는 이 마켓플레이스는 다양한 데이터 세트, AI 모델, 노트북 및 솔루션을 제공합니다.

지난 한 해 동안 Databricks Marketplace는 데이터 소비자가 데이터 제품을 더 빠르게 발견 및 평가하고 분석 및 AI 이니셔티브를 가속화할 수 있도록 Marketplace에서의 AI 모델 공유, Marketplace에서의 볼륨 공유(최근 블로그 Shutterstock의 원활한 협업을 위한 볼륨 공유 활용 사례 참조), Databricks to Open Sharing, 프라이빗 익스체인지(Private Exchanges), 및 솔루션 액셀러레이터(Solution accelerators) 등 여러 혁신 기능을 도입했습니다. 아래 차트는 이러한 제품 기능 출시와 고객이 얻을 수 있는 이점을 간략하게 보여줍니다.

Databricks Marketplace 역시 놀라운 성장을 거두었으며, 현재 Databricks Marketplace에서 2,000개 이상의 데이터 세트, AI 모델 및 솔루션 액셀러레이터 목록을 제공하고 있습니다. 이는 전년 대비 등록 건수가 320% 증가하고 신규 데이터 제공업체가 300% 증가한 수치입니다.

"Shutterstock은 개방형 데이터 및 AI 협업을 촉진하는 것으로 유명한 플랫폼인 Databricks Marketplace에 약 10억 개에 달하는 방대한 크리에이티브 콘텐츠 자산을 제공하고 있습니다. 이번 통합을 통해 윤리적으로 소싱된 방대한 비주얼 콘텐츠 라이브러리에 전례 없는 수준으로 접근할 수 있게 되었으며, 다양한 산업 분야에서 책임감 있는 AI 및 ML 이니셔티브를 추진할 수 있게 되었습니다. 데이터를 제공하는 방법으로 Delta Sharing을 추가하게 되어 매우 기쁩니다. Databricks에서 당사의 풍부한 데이터 세트를 활용하는 고객은 새로운 기회를 발굴하고, 제품 혁신을 촉진하며, 경쟁 우위를 확보할 수 있을 것입니다." —Aimee Egan, Chief Enterprise Officer, Shutterstock

Databricks에서 데이터 공유 및 협업 시작하기

Databricks는 개방형 데이터 공유 및 협업을 지원하며, 여러분이 Delta Sharing, Databricks Marketplace, Databricks Clean Rooms를 활용하여 어떻게 혁신을 이루고 데이터 및 AI 이니셔티브를 달성할지 기대하고 있습니다.

6월 10일부터 13일까지 개최되는 Data and AI Summit에서 데이터 공유 및 협업에 관한 모든 최신 업데이트를 확인하시거나, 기노트 및 일부 세션의 라이브 스트리밍을 시청해 보세요.

Public Preview가 출시되기 전에 Databricks Clean Rooms 관심 등록 양식을 제출해 참여 의사를 밝혀주세요. 또한 Delta Sharing Cross-Platform View Sharing 프라이빗 프리뷰 및 Delta Sharing Materialized Views and Streaming Table Sharing 프라이빗 프리뷰에도 등록하실 수 있습니다.

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)