Databricks Marketplace 앱 출시를 발표합니다

데이터 인텔리전스는 기업이 데이터를 성과로 전환하는 방식을 재정의하고 있습니다. 이제 팀들은 단순히 원시 데이터 세트만을 원하지 않습니다. 대화형 대시보드, 맞춤형 AI 에이전트, 전문 분석 도구처럼 데이터를 즉각적으로 활용할 수 있는 애플리케이션을 원합니다. 이러한 앱 중 일부는 전적으로 고객 자체 데이터에서 실행되며, 다른 일부는 제공업체의 독점 데이터나 로직을 고객의 데이터와 결합하여 작동합니다.

지난해 저희는 Databricks Apps를 출시하여, 팀들이 Python용 Streamlit, Dash, Gradio 및 Node.js용 React, Angular, Svelte, Express와 같은 인기 프레임워크를 사용해 안전한 데이터 및 AI 애플리케이션을 네이티브로 구축하고 배포할 수 있도록 지원했습니다. 오늘 저희는 데이터 및 AI 애플리케이션의 대중화를 위한 다음 단계로 크게 도약하고자 합니다.

Databricks 마켓플레이스(Databricks Marketplace) 내 Apps의 퍼블릭 프리뷰(Public Preview) 출시 소식을 기쁜 마음으로 전해드립니다. 이제 Databricks 고객은 안전한 Databricks 워크스페이스 내부에서 직접 서드파티 데이터 및 AI 애플리케이션을 검색, 설치 및 실행할 수 있습니다. 소프트웨어 공급업체와 데이터 제공업체에 있어 이는 전 세계 수천 개의 기업에 즉각적이고 대화형의 가치를 제공할 수 있는, 데이터 유출이 없는(no-egress) 원활한 배포 채널이 열림을 의미합니다.

과제: 서드파티 앱 조달의 '라스트 마일'

그동안 새로운 서드파티 분석 도구나 데이터 애플리케이션을 도입하는 것은 보안 및 엔지니어링 측면에서 매우 까다로운 일이었습니다. 엔터프라이즈 데이터 팀의 경우, 이 프로세스에는 보통 다음과 같은 과정이 수반됩니다.

• 민감한 기업 데이터를 안전한 환경에서 외부 공급업체의 인프라로 이동.
• 외부 앱이 엄격한 보안 표준을 충족하는지 확인하기 위한 수주 또는 수개월에 걸친 정보 보안(Infosec) 및 컴플라이언스 검토.
• 맞춤형 ETL 파이프라인, API 통합, 파편화된 ID 관리가 포함된 복잡한 설정.

Databricks 마켓플레이스의 Apps는 이 모델을 완전히 뒤집습니다. 데이터를 애플리케이션으로 이동하는 대신, 애플리케이션이 데이터가 있는 곳으로 찾아옵니다.

Databricks 마켓플레이스 내 Apps의 핵심 기능

Databricks 마켓플레이스는 데이터뿐만 아니라 ML 모델, 노트북, 애플리케이션과 같은 AI 및 분석 자산을 위한 개방형 마켓플레이스입니다. 애플리케이션 공유를 Databricks 마켓플레이스 에코시스템에 직접 통합함으로써, 서드파티 소프트웨어를 사용하는 빠르고 통합되며 엔터프라이즈에 적합한 방식을 제시합니다.

1. 원활한 검색 및 원클릭 설치

사용자는 업계 최고 수준의 파트너들이 구축한 풍부한 앱 카탈로그를 둘러볼 수 있습니다. 필요에 맞는 앱을 찾으면 몇 번의 클릭만으로 설치가 완료되며, 워크스페이스 내에 애플리케이션이 네이티브로 자동 프로비저닝됩니다.

2. Unity Catalog을 통한 빌트인 거버넌스

마켓플레이스에서 설치된 모든 서드파티 앱은 고객의 Databricks 계정 내 안전하고 격리된 샌드박스에서 실행되며, Unity Catalog의 보안, 감사 및 세분화된 액세스 제어를 그대로 상속받습니다. 각 앱은 필요한 리소스와 범위를 정확히 선언하며, 고객은 설치 시 이를 명시적으로 승인합니다.

3. ISV 및 SaaS 제공업체를 위한 거대한 새로운 배포 채널

제공업체의 입장에서 새로운 고객이 온보딩될 때마다 개별적으로 통합하고, 인프라를 설정하고, 컴플라이언스를 검토하고, 지원을 제공해야 하는 것은 매우 번거로운 일입니다. 마켓플레이스의 Apps를 사용하면 제공업체는 한 번만 게시하면 되며, 모든 Databricks 고객이 유지 관리할 공급업체 인프라나 고객별 온보딩 오버헤드 없이 자체 환경 내에서 완전히 앱을 검색하고, 액세스를 요청하고, 설치 및 실행할 수 있습니다. 앱이 고객의 Databricks 컴퓨팅에서 네이티브로 실행되므로 조달 및 컴플라이언스 장벽이 크게 낮아져 B2B 영업 주기가 획기적으로 단축됩니다.

4. 설계 단계부터 반영된 보안 및 IP 보호

Databricks 마켓플레이스의 Apps는 Databricks 플랫폼의 보안 및 거버넌스 태세를 상속받는 동시에, 기존의 조달 모델이 제공할 수 없었던 제공업체 측면의 보호 기능을 추가로 제공합니다.

• 기본적으로 소스 비공개(Closed-source). 제공업체 앱은 소스가 비공개된 컨테이너 형태로 제공됩니다. 고객은 워크스페이스에 앱을 설치하고 실행하지만, 기본 코드는 전혀 볼 수 없습니다. 제공업체의 IP는 처음부터 끝까지 보호됩니다.
• 고객이 제어하는 아웃바운드 데이터 전송(Egress). 앱은 다른 Databricks Apps와 동일한 격리 수준(앱당 전용 컴퓨팅, 네트워크 분할, 저장 및 전송 중 암호화)을 바탕으로 고객의 Databricks 계정 내 서버리스 컴퓨팅에서 실행됩니다. 앱에 필요한 모든 외부 API 호출이나 데이터 이동은 사전에 선언되고, 설치 시 고객 관리자에 의해 승인되며, 워크스페이스의 Serverless Egress Gateway(SEG) 정책에 따라 제어됩니다.
• 컴플라이언스 준수. Databricks 컴플라이언스 보안 프로필을 사용할 수 있는 모든 리전에서 지원됩니다.

Databricks 스택의 네이티브 구성 요소

Databricks 마켓플레이스의 Apps는 Databricks 플랫폼의 네이티브 구성 요소로서 나머지 스택과 직접 연결됩니다.

• Unity Catalog: 거버넌스 및 데이터 액세스 제공
• SQL Warehouse: 거버넌스가 적용된 데이터에 대한 분석 쿼리 수행
• Lakebase: 앱 상태, 세션 스토리지 또는 저지연 운영 데이터를 위한 관리형 Postgres 백엔드
• Model Serving 및 Foundation Model API: 추론 수행 - AI 기능이 필요한 앱은 외부 LLM 제공업체 없이도 서빙 엔드포인트를 네이티브로 호출할 수 있습니다.
• Genie 스페이스 및 Agent Bricks: 앱 경험에 내장된 자연어 및 에이전트 기반 워크플로우 지원
• 그 외 다양한 기능...

이는 출시되는 많은 앱이 별도의 설정 없이 바로 AI를 지원함을 의미합니다. 제공업체 역시 혜택을 누릴 수 있습니다. 이러한 프리미티브를 기반으로 구축하는 것이 외부 서비스를 연결하는 것보다 빠르며, 허용 목록에 추가할 추가 항목이 없기 때문에 고객의 보안 검토가 더 간단해집니다.

엘리트 파트너 에코시스템과 함께 출시

데이터 및 AI 전반에 걸쳐 프로덕션급 애플리케이션을 구축하는 20개 파트너사와 함께 Databricks 마켓플레이스 내 Apps를 출시하게 되어 자랑스럽게 생각합니다. 이러한 애플리케이션은 다양한 산업 분야의 사용 사례를 아우릅니다.

"많은 기업이 측정, 강화 또는 AI를 위해 민감한 데이터를 협업하여 활용하고자 하지만, 이를 안전하게 수행하는 과정은 매우 복잡하고 까다로웠습니다. 이를 해결하기 위해 Databolt Connect를 Databricks 마켓플레이스의 첫 번째 네이티브 애플리케이션 중 하나로 선보이게 되어 기쁩니다. Databolt Connect를 통해 사용자는 원시 데이터가 환경을 벗어나지 않고도 Databricks Clean Rooms 내에서 데이터 세트를 안전하게 준비하고 연결할 수 있어, 대규모로 안전하고 원활한 협업이 가능해집니다. 또한 Databricks 마켓플레이스를 통해 고객에게 이 솔루션을 즉시 제공할 수 있게 되었습니다." — Vince Goveas, Capital One Software 제품 관리 부문 디렉터

“광고주, 리테일러, 커머스 미디어 파트너들은 비즈니스 성과를 창출하기 위해 데이터와 인사이트를 활성화하는 더 간단한 방법을 점점 더 많이 찾고 있습니다. Databricks 마켓플레이스를 통해 The Trade Desk Connector App을 제공함으로써, 브랜드, 리테일러, 미디어 파트너가 오디언스, 타겟팅, 전환 및 측정 데이터를 광고 워크플로우에 더 원활하게 연결할 수 있도록 지원합니다. 이번 통합은 팀이 Databricks 환경에서 직접 데이터를 안전하게 활용할 수 있도록 지원하여 활성화 프로세스를 간소화하며, 데이터를 더 쉽게 활용하고 오픈 인터넷 전반에서 투자 가치를 극대화할 수 있도록 해줍니다.” —Gabe Richman, The Trade Desk 데이터 파트너십 부문 GM

“Datavant의 토큰화 기술을 네이티브 Databricks 앱으로 배포하면 데이터를 이동할 필요가 없습니다. Databricks 상에 직접 구축함으로써, 고객은 데이터가 이미 존재하는 위치에서 간단하고 직관적인 방식으로 헬스케어 기록을 안전하게 토큰화할 수 있습니다. 신뢰할 수 있는 당사의 토큰화 기술과 Unity Catalog의 거버넌스를 결합하면 기업은 몇 달이 아닌 몇 분 만에 임상적 가치를 안전하게 실현할 수 있습니다.” —Sara Livengood, Datavant Life Sciences 제품 관리 부문 SVP

“많은 기업이 레이크하우스 전반에서 Genie와 AI를 확장하고자 하지만, AI 준비가 된 데이터는 AI 준비가 된 메타데이터에서 시작됩니다. 그리고 많은 팀에게 맥락이 풍부한 고품질 메타데이터를 큐레이션하는 데 필요한 노력은 너무나 큽니다. 그렇기 때문에 AI 가속 메타데이터 생성 앱인 StewardOps를 Databricks 마켓플레이스에 출시하게 되어 매우 기쁩니다. 이 앱은 맞춤형 컨텍스트 소스에서 비즈니스 지식을 추출한 다음, 데이터 스튜어드의 검토를 거쳐 게시하기 전에 Unity Catalog 설명으로 변환합니다.” — Noel Anson, Slalom의 Databricks 비즈니스 부문 디렉터

“데이터 팀은 계층 구조, 그래프 관계, 교차 데이터베이스 로직과 같은 복잡한 비즈니스 개념을 커스텀 파이프라인으로 변환하는 데 엄청난 노력을 기울이지만, 이는 무언가 변경될 때마다 깨지기 쉽습니다. Databricks 마켓플레이스에 Prometheux 앱을 출시하게 되어 기쁩니다. 이 앱을 통해 고객은 온톨로지 엔진과 시맨틱 레이어를 워크스페이스에 직접 배포하고, 연결된 모든 소스에서 이러한 개념을 한 번만 정의하면 됩니다. Prometheux는 로직을 최적화된 파이프라인으로 자동 컴파일합니다. Databricks 마켓플레이스는 첫날부터 모든 Databricks 고객이 이를 활용할 수 있도록 지원합니다.” — Davide Benedetto, Prometheux CTO

“Reflex는 엔터프라이즈 소프트웨어의 미래가 경직된 기성 SaaS가 아니라 맞춤형 앱에 있다고 믿습니다. Databricks 마켓플레이스에서 Reflex를 사용하면 팀은 순수 Python으로 대화형 애플리케이션을 빌드할 수 있으며, Unity Catalog 및 Lakebase에 네이티브로 연결되고 Databricks의 서버리스 런타임에서 완전히 실행되므로 프로비저닝할 앱 호스팅이나 유지 관리할 Javascript가 필요하지 않습니다. 이는 Python에서 프로덕션 앱으로 바로 가는 가장 빠른 경로입니다." — Nikhil Rao, Reflex 공동 창립자 겸 CEO

작동 방식: 검색부터 실행까지

Databricks 마켓플레이스에서 앱을 시작하는 방법은 간단하며 기존 워크플로우에 자연스럽게 녹아듭니다:

1. 둘러보기: Databricks 워크스페이스의 마켓플레이스 탭으로 이동하여 새로운 앱 카테고리로 필터링합니다.
2. 설치: 워크스페이스 관리자가 애플리케이션을 선택하고, 필요한 권한 및 리소스 바인딩을 검토 및 승인한 후 설치를 클릭합니다.
3. 실행: 앱이 워크스페이스의 안전한 서버리스 런타임에 배포되어 깔끔한 전용 URL을 생성합니다.
4. 사용: 비즈니스 및 기술 사용자가 앱을 열고 사용합니다.

향후 계획

이것은 시작에 불과하며, 앞으로 몇 달 동안 사용자 경험 전반에 걸쳐 투자를 지속할 계획입니다:

• 번들 자산: 앱과 함께 지원 작업, 노트북, 대시보드 및 라이브러리를 함께 제공하는 목록으로, 소비자가 설치 전에 수동으로 설정할 필요가 없습니다.
• 더 풍부한 제공업체 분석: 제공업체를 위한 목록별 사용량, 설치 퍼널 및 DBU 소비 가시성을 제공합니다.
• 앱의 상업적 수익화: 플랫폼 내 수익화 파일럿을 기반으로 마켓플레이스 앱에 거래 가능성을 도입합니다.

Databricks 마켓플레이스의 앱은 안전한 데이터 거버넌스와 강력한 비즈니스 소프트웨어 간의 격차를 해소합니다. 마켓플레이스의 검색 레이어와 Databricks 앱의 네이티브 워크스페이스 내 런타임을 결합함으로써, 이제 기업은 그 어느 때보다 빠르게 서드파티 소프트웨어를 안전하게 도입할 수 있습니다.

• 소비자용: 지금 Databricks 마켓플레이스를 탐색하여 서드파티 앱을 검색하고 설치해 보세요.
• 제공업체용: 개발자 문서를 읽고 Databricks 마켓플레이스에서 자체 애플리케이션을 생성, 게시 및 수익화하는 방법을 알아보세요.

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)