데이터브릭스, 유니티 카탈로그 기능 강화로 테이블 형식 종속성 제거 및 비즈니스 사용자 지원 확대

유니티 카탈로그, 아파치 아이스버그(Apache Iceberg) 및 델타레이크(Delta Lake) 지원과 함께, 거버넌스와 비즈니스 탐색 경험 대폭 향상

서울, 2025년 6월 23일 — 업계 선도적인 데이터 및 AI 기업 데이터브릭스(Databricks)는 데이터 거버넌스 분야에서 한 걸음 더 나아간 새로운 기능을 발표했다. 유니티 카탈로그는 이제 아파치 아이스버그 REST 카탈로그 API에 대한 기본 지원을 포함하여 아파치 아이스버그 테이블을 전면적으로 지원한다. 덕분에 외부 엔진에서도 아이스버그 관리 테이블을 읽고 쓸 수 있게 되어, 성능 최적화와 세분화된 거버넌스가 모두 가능해졌다. 이는 독립성과 상호운영성을 동시에 달성한 유일한 카탈로그다.

또한, 데이터브릭스는 유니티 카탈로그를 비즈니스 사용자에게 확장하는 두 가지 신규 기능도 발표했다. 기업 운영의 핵심인 비즈니스 지표와 KPI를 이제 유니티 카탈로그 매트릭스(Unity Catalog Metrics)를 통해 일급 데이터 자산으로 정의할 수 있게 되었으며, 비즈니스 사용자를 위해 새로운 큐레이션 기반 내부 마켓 플레이스가 도입되어, 비즈니스 도메인별로 구성된 가치 높은 데이터, AI 및 AI/BI 자산을 손쉽게 탐색할 수 있도록 지원한다. 이 모든 데이터 자산은 자동화된 데이터 인텔리전스로, 모든 팀이 신뢰할 수 있는 데이터를 찾고, 판단하고, 실행할 수 있게 된다.

유니티 카탈로그는 개방형 표준을 기반으로 구축되어 모든 테이블 형식과 엔진에서 원활하게 작동하도록 설계되었다. 데이터브릭스는 아파치 아이스버그에 대한 전체적인 지원을 퍼블릭 프리뷰 형태로 제공하며, 아파치 아이스버그와 델타레이크 생태계를 통합하여 단일한 거버넌스 접근 방식을 제공한다.

이번 프리뷰에는 세 가지 주요 기능이 포함되었다. 첫째, 기업은 유니티 카탈로그의 아이스버그 REST 카탈로그 API를 통해 어떤 아파치 아이스버그 호환 엔진에서든 읽고 쓸 수 있는 관리 테이블을 만들 수 있다. 이러한 테이블은 유니티 카탈로그의 모든 기능을 활용할 수 있으며, AI 기반 예측 최적화를 통한 비용 대비 최고의 성능을 제공하고, 데이터브릭스 내부 및 트리노(Trino), 스노우플레이크(Snowflake), 아마존 EMR(Amazon EMR) 등의 외부 엔진에까지 걸친 통합 거버넌스 및 정책 적용을 지원한다. 둘째, 유니티 카탈로그의 선도적인 레이크하우스 페더레이션(Lakehouse Federation) 기능을 통해 외부 카탈로그에서 관리되는 아이스버그 테이블에 원활하게 접근할 수 있으며, 이 테이블들을 네이티브 테이블과 함께 탐색하고 거버넌스 적용이 가능하다. 셋째, 아이스버그 테이블은 델타셰어링(Delta Sharing) 생태계의 모든 이점을 누릴 수 있으며, 조직 간 안전하고 매끄러운 공유가 가능하다. 이러한 기능은 데이터 형식에 의해 발생하는 사일로를 제거하며, 이 모든 기능을 동시에 제공하는 카탈로그는 업계에서 유니티 카탈로그가 유일하다.

기술 사용자를 위한 데이터 플랫폼은 빠르게 발전하고 있지만, 실제로 비즈니스 의사 결정을 내리는 현업 팀들은 여전히 데이터 시스템과 단절된 상태에 머물러 있다. 기술 팀은 테이블, 파일, 컴퓨팅, 코드 중심으로 작업하는 반면, 비즈니스 사용자는 BI 도구, AI 챗봇을 활용하거나 KPI와 지표를 중심으로 업무한다. 이렇듯 전혀 다른 언어 체계 속에서 비즈니스 사용자는 어떤 데이터를 신뢰해야 할지 혼란을 겪고, 간단한 질문조차 엔지니어에 의존하게 된다. 비즈니스 맥락에 대한 통합된 기반이 없다면, 기업은 반복 작업, 의사결정의 지연, 데이터와 실행 사이의 간극이라는 지속적인 문제에 직면하게 된다.

이러한 문제를 해결하기 위해, 유니티 카탈로그 매트릭스는 기존 BI 도구에 내재되어 있던 비즈니스 지표 정의를 데이터 플랫폼으로 통합한다. 이를 통해, 조직 내 모든 구성원이 비즈니스 성과를 일관되고 정확하게 해석할 수 있는 기반이 마련된다. 기존의 폐쇄적인 BI 의미 계층과 달리, 유니티 카탈로그 매트릭스는 SQL을 통해 직접 접근할 수 있어, 조직 내 누구나 선택한 도구에 관계없이 동일한 기준으로 지표를 확인하고 분석할 수 있다. 유니티 카탈로그 매트릭스는 모든 고객에게 퍼블릭 프리뷰 형태로 제공되고 있으며, 오는 여름 정식으로 출시될 예정이다.

데이터브릭스는 비즈니스 사용자가 신뢰할 수 있는 데이터를 실제로 활용할 수 있도록 직관적인 탐색 경험과 내장형 인텔리전스를 결합한 새로운 기능을 선보였다. 새로운 디스커버(Discover) 환경은 영업, 마케팅, 재무 등 비즈니스 도메인별로 정리한 내부 마켓플레이스로 제공된다. 각 자산에는 문서, 소유자 정보, 태그, 사용 현황 등 메타 데이터가 함께 제공되며, AI 기반 자동 추천 및 데이터 관리자용 큐레이션(data steward curation) 도구를 통해, 지표, 대시보드, 테이블, AI 에이전트, 지니(Genie) 공간 등 고가치 자산을 사용자가 별도 승인 절차나 엔지니어의 지원 없이 직접 탐색하고 신뢰할 수 있는 셀프 서브(self-serve) 방식으로 활용할 수 있다. 유니티 카탈로그 디스커버는 현재 프라이빗 프리뷰 형태로 제공된다.

유니티 카탈로그는 사용자 경험 전반에 걸쳐 인텔리전스를 추가하여, 데이터 품질 신호, 사용 패턴, 자산 간 연관성, 인증 및 폐기 상태를 표시함으로써 사용자가 데이터의 신뢰도와 활용 가능성을 빠르게 판단할 수 있도록 지원한다. 또한, 유니티 카탈로그에 내장된 데이터브릭스 어시스턴트(Databricks Assistant)를 통해 사용자는 자연어로 질문을 하고, 정책 기반 지표를 바탕으로 맥락에 맞는 신뢰할 수 있는 답변을 받을 수 있다. 이를 통해 데이터 탐색 과정은 단순한 검색을 넘어 접근 가능하며 신뢰할 수 있는 데이터로 이어지는 스마트한 탐색 여정으로 발전한다.

마테이 자하리아(Matei Zaharia) 데이터브릭스 공동창립자 겸 CTO는 “데이터브릭스는 4년 전 유니티 카탈로그로 통합 거버넌스라는 카테고리를 선보였다”며, “이번 업데이트를 통해 우리는 아파치 아이스버그 및 모든 개방형 테이블 형식에 대해 업계 최고의 카탈로그를 제공하며, 외부 엔진에서도 관리 테이블을 자유롭게 읽고 쓸 수 있는 유일한 플랫폼이 되었다”며, “고객이 어떤 테이블 형식을 선택하든, 우리는 이를 접근 가능하고 최적화되며 거버넌스가 가능한 형태로 제공한다. 또한, 비즈니스 사용자에 초점을 확대한 이번 발표를 통해, 모든 사용자가 데이터 + AI를 보편화(Democratization)된 방식으로 활용할 수 있도록 지원하고자 한다”고 말했다.

데이터브릭스(Databricks)에 대하여
데이터브릭스는 데이터 및 AI 기업이다. 현재 블록(Block), 컴캐스트(Comcast), 콘데 나스트(Condé Nast), 리비안(Rivian), 셸(Shell) 및 포춘(Fortune) 500대 기업의 60% 이상을 포함한 전 세계 10,000여 이상의 조직이 데이터브릭스의 데이터 인텔리전스 플랫폼을 활용해 데이터를 관리하고 AI를 활용하고 있다. 레이크하우스, 아파치 스파크(Apache Spark™), 델타 레이크(Delta Lake), MLflow와 유니티 카탈로그(Unity Catalog)를 개발한 주역들이 모여 설립한 데이터브릭스는 미국 샌프란시스코에 본사를 두고 세계 각지에 지사를 운영하고 있다. 데이터브릭스에 대한 보다 자세한 정보는 데이터브릭스 코리아 공식 웹사이트, 유튜브, X, LinkedIn, 페이스북에서 확인할 수 있다.

Contact: [email protected]