Unity Catalog

데이터 분석 및 AI를 위한 통합 거버넌스

시작하기 데모 보기

Unity Catalog는 어느 클라우드에서나 레이크하우스에 저장된 파일, 테이블, 머신 러닝 모델, 대시보드 등의 모든 데이터 및 AI 자산을 관리하는 통합 거버넌스 솔루션입니다.

데이터 및 AI를 위한 중앙 집중형 거버넌스

ANSI SQL을 기반으로 한 공통적인 거버넌스 모델을 사용하여 모든 클라우드에서 파일, 테이블, 대시보드, ML 모델을 한 곳에서 관리합니다.

기본 내장된 데이터 검색 및 탐색 기능

모든 데이터 자산에서 데이터를 빠르게 찾아서 분석하고 참조함으로써 생산성을 향상할 수 있습니다.

성능 및 확장

낮은 지연으로 메타데이터를 제공하고 테이블을 자동 튜닝하는 향상된 쿼리 성능을 제공합니다.

모든 워크로드에 대한 자동 리니지

SQL, R, Python, Scala 형식의 모든 워크로드와 자산 유형(예: 테이블, 노트북, 워크플로, 대시보드)에 대한 세분화된 자동 리니지를 통해 데이터 에코시스템 전체를 아우르는 통합적인 투명 뷰를 생성합니다.

기존 도구와 통합

기존 데이터 카탈로그와 거버넌스 솔루션을 활용할 수 있는 유연성으로 미래에 대비한 데이터 및 AI 거버넌스를 준비하세요.

How it works

모든 데이터 자산을 한 곳에서 관리 및 통제

개방적 표준 ANSI SQL에 기반한 공통적인 거버넌스 모델을 사용하여 모든 클라우드에서 파일, 테이블, 대시보드, ML 모델의 거버넌스를 단순화해 보세요. 계정 수준에서 액세스 정책을 한 번에 정의하고 모든 워크로드와 워크스페이스에 적용할 수 있습니다. 또한, Unity Catalog는 데이터에 대해 수행한 작업의 감사 로그를 캡처하여 세분화된 감사를 한 곳에서 제공하며, 고객이 규정을 준수하고 요구 사항을 감사하도록 돕습니다.

세분화된 액세스 제어 기능 관리

표준 SQL 함수로 행 필터와 열 마스크를 정의함으로써, 행과 열에 대한 액세스 권한을 세분화하여 제어합니다. Databricks는 확장성과 통합을 개선하기 위한 기능을 꾸준히 개발하고 있으며, 곧 출시될 속성 기반 액세스 제어 기능을 통해 사용자 지정 태그(속성)에 따라 액세스 정책을 정의할 수 있게 될 것입니다.

안전한 통합 데이터 검색 경험

데이터 애널리스트, 데이터 엔지니어, 데이터 사이언티스트를 위한 통합 데이터 검색 경험으로 모든 데이터 자산에서 관련 데이터를 빠르게 찾아서 분석하고 참조하세요. Unity Catalog의 데이터 검색은 기본적으로 보안이 적용됩니다. 사용자의 액세스 권한에 따라 검색 결과가 제한되고 개인정보 보호를 고려하여 보안 계층을 추가합니다.

모든 규모에서 쿼리 성능 향상

Unity Catalog는 낮은 지연으로 메타데이터를 제공하고 테이블을 자동 튜닝하는 향상된 쿼리 성능을 제공하기 때문에 모든 규모에서 더욱 빠르게 쿼리가 실행됩니다. 비동기식 자동 데이터 치밀화로 파일 용량을 최적화하고, 백그라운드에서 입출력(I/O) 지연을 자동으로 단축합니다.

실시간 자동 데이터 리니지

SQL, Python, Scala 및 R 형식의 모든 워크로드에서 실시간 자동 데이터 리니지를 사용하여 레이크하우스에서의 데이터 흐름을 완전하게 확인할 수 있습니다. 데이터 품질 검사를 신속하게 실행하고, 데이터 변경 사항의 영향을 분석하며, 데이터 파이프라인에 있는 모든 오류를 디버깅해보세요. 테이블, 열, 노트북, 워크플로, 대시보드에서 모두 리니지를 활용할 수 있습니다. Unity Catalog의 리니지 그래프는 권한을 인식하여, 사용자의 액세스 권한에 따라 리니지 그래프의 액세스 권한을 제한합니다. 또한, REST API를 통해 리니지를 가져와서 다른 카탈로그와의 통합을 지원할 수도 있습니다.

안전한 조직 간 데이터 공유

Unity Catalog는 안전한 데이터 공유를 위한 세계 최초의 개방적 프로토콜인 Delta Sharing을 기본으로 지원함으로써, Delta Lake와 Apache Parquet 형식의 기존 데이터를 모든 컴퓨팅 플랫폼으로 간편하게 공유하도록 돕습니다. 고객이 Databricks 플랫폼을 사용하거나, 동일한 클라우드를 사용할 필요가 없고 심지어 클라우드를 이용하지 않아도 됩니다. 라이브 데이터를 복제하거나 다른 시스템으로 복사하지 않고도 공유가 가능합니다. Power BI, Tableau, Spark, pandas 및 Java와 기본적으로 통합되기 때문에 데이터를 받는 쪽에서 원하는 도구로 바로 공유된 데이터를 사용할 수 있습니다. 단일 플랫폼 한 곳에서 공유된 데이터를 관리, 통제, 감사 및 추적할 수도 있습니다.

기존 도구와 매끄럽게 통합

Unity Catalog는 기존 데이터 카탈로그, 데이터 스토리지 시스템 및 거버넌스 솔루션과 호환되므로, 기존에 투자한 기술을 활용하고 값비싼 마이그레이션 비용을 들이지 않고 미래에 대비한 거버넌스 모델을 구축할 수 있습니다.

데이터 및 클라우드 스토리지

데이터 거버넌스와 카탈로그 파트너

고객

“Unity Catalog 덕분에 회사 전반적으로 데이터 관리와 액세스 제어를 단순화할 수 있었습니다. Compass 데이터 팀은 100개 이상의 데이터 소스를 안전하게 온보딩하고, Unity Catalog에 모든 워크스페이스를 마이그레이션하였으며, 주요 이해관계자들이 고객, 제품, 사용량, 수익 등의 분야에 대한 인사이트를 얻을 수 있는 골드 레이어를 개발함으로써 회사 전체에 완전한 액세스 관리 기능을 제공하는 단일 통합 출처를 구현했습니다.”

— Rajesh Nagpal, 선임 데이터 엔지니어링 이사

“Unity Catalog 덕분에 역할 기반 액세스 제어 구현이 상당히 단순화되었고, 카탈로그, 데이터베이스, 테이블, 열에서 데이터를 보호할 수 있게 되었습니다. 저희는 모든 사용자에게 적절한 수준의 액세스 권한을 매끄럽게 프로비저닝하고, 엄격한 규정과 개인정보 보호정책에 따라 데이터 액세스 권한을 자신감 있게 관리하고 보호할 수 있습니다.”

— Chris Locklin, 데이터 플랫폼 엔지니어링 관리자, Grammarly

“Milliman은 Unity Catalog를 사용하여 방대한 데이터 자산을 사용자와 직접 연결함으로써, 액세스 관리를 단순화하고 스토리지 복잡성을 낮추었습니다. Unity Catalog 덕분에 엄격한 의료 서비스 기준을 충족하고, 협업적 데이터 탐색을 제공하며, 스토리지 복잡성까지 낮출 수 있었습니다. Unity Catalog를 사용한 후로 고객의 요구 사항에 맞춰 빠른 확장이 가능하게 되었습니다.”

— Dan McCurley, 클라우드 솔루션 아키텍트, Milliman

“Unity Catalog 덕분에 앞으로 소프트웨어 정의 자동차가 발전하고 개선해나가면서 완전한 잠재력을 실현할 수 있는 차세대 플랫폼을 구축하고, 고객의 주행 경험을 향상하면서도 전기화된 교통의 환경적 장점을 극대화할 수 있습니다. 이제 다양한 팀과 업무 공간에서 중앙 집중형 데이터 카탈로그와 액세스 관리가 가능해졌고, 지금껏 경험해보지 못한 협업과 혁신의 기회가 열렸습니다."

— Venkat Sivasubramanian, 빅데이터 부문 이사

“Unity Catalog는 저희에게 혁신적 도구였습니다. 저희 애널리스트는 Databricks 워크스페이스에서 실시간으로 AWS 외부 테이블에 액세스하고, Delta Lake 테이블과 조인할 수 있게 되었습니다. Glue 테이블을 마이그레이션하지 않고도 Databricks SQL이 제공하는 성능의 장점을 활용할 수 있습니다. Unity Catalog를 사용하고 나서는 데이터를 옮기지 않고도 여러 팀이 서로 협업할 수 있게 되었습니다.”

— Rajat Gupta, 엔지니어링 관리자, Warner Bros. Discovery