AI 시대를 위한 새로운 OpenSharing 및 Marketplace 기능 발표

오늘 저희는 Databricks 플랫폼에서 공유하고 협업한다는 것의 의미를 근본적으로 확장하는 세 가지 혁신의 물결을 선보입니다. 인텔리전스를 수익화하려는 데이터 제공업체이든, 바이트 하나 이동하지 않고 파트너 앱을 배포하려는 소비자이든, 여러 클라우드와 데이터 형식에 걸쳐 데이터 및 AI 자산을 공유하려는 플랫폼 팀이든, 아래의 발표 내용은 모두 여러분을 위한 것입니다. 자세히 살펴보겠습니다.

OpenSharing 소개: 에이전틱 시대를 위한 Delta Sharing의 차세대 진화

5년 전, 저희는 Delta Sharing 프로토콜을 통해 개방형 공유 및 협업을 개척했습니다. 이제 이는 수천 개의 기업에서 사용하는 안전한 제로 카피(zero-copy) 데이터 공유를 위한 가장 널리 채택된 개방형 프로토콜이 되었습니다. 이러한 여세를 몰아 지난주 저희는 OpenSharing, 즉 Delta Sharing의 차세대 진화를 발표했습니다. 현재 Linux Foundation의 프로젝트인 OpenSharing은 에이전트 스킬(Agent Skills), AI 모델, 비정형 데이터를 포함한 AI 자산을 안전하게 공유하기 위한 최초의 개방적이고 벤더 중립적인 프로토콜을 도입합니다.

Databricks의 OpenSharing은 네 가지 핵심 축으로 구성된 몇 가지 새로운 기능을 함께 제공합니다:

개방형 클라이언트 상호 운용성

OpenSharing은 모든 형식을 지원합니다.

• 모든 Iceberg 클라이언트에 공유(GA): 이제 Databricks 사용자는 완전한 트랜잭션 일관성을 유지하면서 Snowflake 및 Trino를 포함한 모든 외부 Iceberg 호환 클라이언트에 데이터를 공유할 수 있습니다.

• 고성능 개방형 클라이언트 공유(GA): SAP Databricks 및 Snowflake를 포함한 개방형 에코시스템 클라이언트에 공유할 때 OpenSharing에서 제공하는 클라우드 스토리지 자격 증명을 사용하여 즉시 동급 최고의 쿼리 성능을 달성하세요.

• Lakebase 테이블 및 Lakebase CDF 공유(Public Preview): Lakebase의 실시간 운영 데이터와 변경 데이터 피드(CDF)를 모든 클라이언트에 공유하세요. ETL이나 파이프라인이 필요하지 않습니다.

• 외부 Iceberg 테이블 공유(곧 GA 출시): AWS Glue, Snowflake Open Catalog 또는 Iceberg REST 사양을 구현하는 모든 카탈로그에서 직접 테이블을 공유하세요.

에이전틱 공유

테이블 그 이상을 공유하세요. 인텔리전스를 공유하세요.

• Genie Agent 공유(Beta): 외부 파트너와 자연어 AI 채팅 경험을 공유하여 데이터에 대한 큐레이션된 대화형 액세스를 제공하고 인사이트 도출 시간을 단축하세요.

안전하고 거버넌스가 확보된 멀티 클라우드 공유

어디서나 연결하고, 모든 곳에 복제하며, 비용을 절감하세요.

• SecureConnect(Public Preview): 복잡한 방화벽 규칙이나 DNS 구성 없이 서로 다른 클라우드 간에 스토리지를 즉시 연결하세요. AWS, Azure, GCP 스토리지 간의 원클릭 보안 연결을 지원합니다. 자세한 내용은 블로그에서 확인하세요.

• Global Distribution(Private Preview): 자동 리전 간 및 클라우드 간 복제를 통해 데이터 전송(egress) 비용을 최소화하고 쿼리 성능을 향상시키세요.

• 규제 도메인 간 공유(Public Preview): AWS GovCloud/GovCloud DoD와 미국 상용 클라우드 간, AWS GovCloud와 AWS GovCloud DoD 간, Azure China와 상용 클라우드 간을 포함하여 규제 경계를 넘어 Databricks 환경 간에 데이터를 공유하세요.

마찰 없는 공유

설정하기 쉽고 효율적으로 소비할 수 있는 공유입니다.

• 이메일 기반 공유(곧 출시 예정): 이메일 주소를 입력하는 것만으로 협업 파트너를 초대하세요. Databricks가 초대장을 전송하고 나머지를 모두 처리합니다.

• 공유 뷰에 대한 CDF 지원(Private Preview): 공유 뷰에서 변경 데이터 피드(CDF, 삽입, 업데이트 및 삭제)를 사용하여 변경 사항을 효율적으로 감지하고 분석하세요.

Clean Rooms의 ID 확인(Identity Resolution)

선도적인 파트너들과의 ID 확인(Identity Resolution) 기능을 이제 Databricks Clean Rooms에서 사용할 수 있습니다. 고객은 민감한 데이터를 제3자에게 전송하는 대신 LiveRamp, Acxiom, TransUnion 등과 같은 ID 파트너와 함께 클린룸을 구축하여 기본 퍼스트 파티 데이터를 보호하면서 레이크하우스에 있는 퍼스트 파티 데이터를 파트너 ID 그래프와 대조하여 확인할 수 있습니다. OpenSharing을 기반으로 하고 Unity Catalog를 통해 거버넌스가 제어되는 이 프로세스는 데이터 이동이 전혀 없으며 파트너는 원시 고객 레코드를 절대 볼 수 없습니다. 그 결과, 팀은 파편화된 터치포인트를 지속 가능한 식별자에 연결하고 더 풍부한 고객 프로필을 구축할 수 있습니다.

Databricks Marketplace의 앱

이제 Databricks Marketplace에서 서드파티 애플리케이션을 사용할 수 있습니다. 사상 처음으로 고객은 데이터 이동, 별도의 인프라, 통합에 따른 번거로움 없이 Databricks 환경 내에서 직접 파트너가 구축한 앱을 검색, 배포 및 실행할 수 있습니다.

Marketplace의 앱은 "솔루션 찾기"와 "프로덕션에서 실행하기" 사이의 거리를 좁혀줍니다. 고객은 거버넌스가 확보된 Databricks 작업 공간 내에 머물면서 도메인 전문가가 구축한 동급 최고의 기능에 액세스할 수 있습니다. 제공업체는 맞춤형 통합을 구축하지 않고도 전체 Databricks 고객 기반에 즉시 배포할 수 있습니다.

금융 서비스, 헬스케어, 광고, 마케팅 및 분석 분야에 걸친 20개 이상의 출시 파트너에는 Meta, Capital One, The Trade Desk, Slalom, Stagwell, Integral, Acxiom, Amperity, Bright Data, Datavant, Adstra, Aimpoint Digital, Celebal Tech, Cotality, LakeFusion, Opsera, Prometheux, Reflex, Spindle Health, Tier One Analytics, Zeb 등이 포함됩니다.

자세한 내용은 이 발표 블로그에서 확인하세요.

마켓플레이스 커밋 차감(Marketplace Commit Drawdown)

마켓플레이스 커밋 차감(Marketplace Commit Drawdown)을 통해 고객은 기존 Databricks 유니버설 커밋을 사용하여 Databricks Marketplace에서 서드파티 데이터 및 AI 솔루션을 직접 구매할 수 있어, 조달 속도를 높이고 예산 조율의 번거로움을 줄일 수 있습니다.

이러한 혁신 기술을 Data + AI Summit(6월 15~18일, 샌프란시스코)에서 직접 확인해 보세요. 제품 심층 분석부터 Pfizer, Amadeus, Chevron, McKesson 등의 고객 성공 사례까지, 데이터 공유 및 협업(Data Sharing & Collaboration) 트랙에서 20개 이상의 세션이 진행됩니다. 전체 아젠다 살펴보기.

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)