Data + AI Summit 2025에서 선보이는 새로운 Databricks Unity Catalog 기능

4년 전, Databricks는 데이터 환경에서 엄청난 복잡성을 발견했습니다. 각 플랫폼에 대한 별도의 카탈로그, 클라우드 전반에 걸친 사일로화된 거버넌스 도구, AI 자산을 보호하는 통합된 방법이 없었습니다. Databricks는 모든 데이터 및 AI 자산에 대한 액세스, 계보, 감사 및 검색을 관리할 수 있는 개방적이고 유연한 카탈로그 레이어인 Unified Governance를 통해 Unity Catalog를 출시하여 개척했습니다.

오늘날 Unity Catalog는 Databricks Data Intelligence Platform의 기반이자 형식, 클라우드 및 엔진 전반에서 데이터 및 AI를 위한 업계 유일의 통합 거버넌스 솔루션이 되었습니다. 개방형 데이터 공유에서 세분화된 보안 및 지식 거버넌스에 이르기까지 Unity Catalog는 조직이 데이터 자산에 컨텍스트, 제어 및 신뢰를 제공하도록 지원합니다.

올해 Data + AI Summit에서 Databricks는 Unity Catalog 전반에 걸쳐 주요 혁신을 발표하여 Apache Iceberg™를 위한 최고의 카탈로그, 새로운 비즈니스 사용자 경험, 중요한 데이터를 보호하고 신뢰할 수 있는 데이터 품질을 대규모로 보장하는 지능형 거버넌스를 제공합니다.

새로운 기능은 다음과 같습니다.

Apache Iceberg™를 위한 최고의 카탈로그

레이크하우스를 채택하는 조직은 종종 Delta Lake와 Apache Iceberg™ 중에서 선택해야 합니다. 이러한 선택은 인위적인 사일로를 생성하여 팀이 사용할 수 있는 데이터 및 AI 도구에 대한 액세스를 제한하고, 거버넌스를 분열시키고, 메타데이터를 형식별 카탈로그에 가둡니다.

Unity Catalog는 선택할 필요성을 없애줍니다. 개방형 표준을 기반으로 구축된 Unity Catalog는 형식, 엔진 및 클라우드 전반에서 원활하게 작동하는 유일한 통합 카탈로그이므로 개방형 레이크하우스의 기반이 됩니다. 지난 한 해 동안 Databricks는 Tabular 인수를 통해 이러한 비전을 확장하기 위해 Apache Iceberg에 많은 투자를 했습니다. 다음과 같은 발표를 하게 되어 기쁩니다.

• Iceberg REST Catalog API에 대한 모든 지원을 통해 외부 엔진이 Unity Catalog에서 관리하는 Iceberg 테이블을 읽고(일반적으로 사용 가능) 쓸 수 있습니다(공개 미리 보기). 이는 시장에서 주요 차별화 요소이며 형식 잠금을 제거하고 다른 솔루션에서는 따라올 수 없는 완전한 상호 운용성을 지원합니다. 
• Iceberg 관리 테이블이 이제 공개 미리 보기로 제공되어 동급 최고의 가격 및 성능, Liquid Clustering, 예측 최적화, Databricks와의 완전한 통합, Trino, Snowflake 및 Amazon EMR을 포함한 외부 엔진 전반의 완전한 통합을 제공합니다.
• Iceberg 카탈로그 페더레이션이 공개 미리 보기로 제공되어 데이터를 복사하지 않고도 AWS Glue, Hive Metastore 및 Snowflake Horizon에서 관리되는 Iceberg 테이블을 관리하고 쿼리할 수 있습니다.
• Iceberg용 Delta Sharing이 이제 비공개 미리 보기로 제공되어 Delta Sharing을 사용하여 Unity Catalog 테이블과 Delta 테이블을 모든 수신자와 공유하고 Iceberg REST Catalog API를 지원하는 모든 클라이언트에서 사용할 수 있습니다.

이러한 기능은 함께 형식 사일로를 허물고 Unity Catalog를 진정으로 개방적이고 통합된 거버넌스 및 상호 운용성을 제공하는 유일한 카탈로그로 차별화합니다. 이러한 발표에 대한 자세한 내용은 Iceberg 지원에 대한 블로그를 확인하세요. 

Unity Catalog를 비즈니스 사용자로 확장

데이터 플랫폼은 기술 사용자에서 멈춰서는 안 됩니다. 비즈니스 사용자는 데이터를 찾고, 신뢰하고, 작업할 수 있는 명확하고 일관된 방법이 필요합니다. Unity Catalog는 이제 데이터와 비즈니스 팀 간의 격차를 해소하기 위해 비즈니스 컨텍스트를 위한 통합된 기반을 제공합니다. 

Unity Catalog 지표: 모든 데이터 및 AI 워크로드를 위한 단일 시맨틱 레이어

도구와 팀 간의 일관성 없는 지표 정의는 오랫동안 혼란, 불일치 및 데이터에 대한 신뢰 부족을 야기했습니다. Unity Catalog 지표는 AWS, Azure 및 GCP에서 현재 공개 미리 보기로 제공되며, 올여름 후반에 일반적으로 사용 가능하게 될 예정이며, 비즈니스 지표를 레이크하우스의 최고급 자산으로 만들어 이 문제를 해결합니다. BI 레이어에서만 정의된 지표와 달리 재사용 및 통합을 제한하는 데이터 레이어에서 지표를 정의하면 대시보드, AI 모델 및 데이터 엔지니어링 작업과 같은 모든 워크로드에서 비즈니스 의미 체계를 재사용할 수 있습니다. Unity Catalog 지표는 SQL을 통해 완전히 주소 지정이 가능하므로 조직의 모든 사람이 어떤 도구를 선택하든 관계없이 지표에 대한 동일한 보기를 가질 수 있습니다.

• 한 번 정의하고 어디에서나 사용: Unity Catalog에서 지표를 한 번 만들고 AI/BI 대시보드, Genie, Notebook, SQL 및 Lakeflow 작업에서 사용합니다. 예정된 통합은 Tableau, Hex, Sigma, ThoughtSpot, Omni와 같은 BI 도구와 Anomalo 및 Monte Carlo와 같은 관찰 가능성 도구에 대한 지원을 확장합니다.
• 기본적으로 관리되고 감사 가능: 인증된 지표는 기본적으로 감사 및 계보와 함께 제공되므로 팀 간에 신뢰할 수 있고 규정을 준수하는 통찰력을 얻을 수 있습니다.

"Unity Catalog 지표는 비즈니스 KPI를 정의하고 팀 간에 의미 체계를 표준화할 수 있는 중앙 위치를 제공하여 모든 사람이 대시보드, SQL 및 AI 애플리케이션에서 동일한 신뢰할 수 있는 정의를 기반으로 작업할 수 있도록 합니다." — Richard Masters, Vice President, Data & AI, Virgin Atlantic

"Unity Catalog 지표는 Tableau 고객이 Databricks Unity Catalog를 통해 중앙 집중식 거버넌스의 가치를 활용할 수 있는 흥미로운 기회를 나타냅니다. Databricks와의 심층적인 통합 및 확장 로드맵을 통해 고객이 Databricks를 활용하여 핵심 비즈니스 지표를 정의하는 데 있어 마찰을 제거하는 데 도움을 주게 되어 기쁩니다." — Nicolas Brisoux, Sr. Director Product Management, Tableau

지능형 통찰력을 통한 새로운 큐레이션된 검색 경험

비즈니스 사용자의 역량을 완전히 강화하려면 신뢰할 수 있는 데이터를 쉽게 찾고, 이해하고, 사용할 수 있도록 해야 합니다. Unity Catalog는 새로운 검색 경험으로 비즈니스 인식 거버넌스를 확장하고 있으며, 현재 비공개 미리 보기로 제공되며, 영업, 마케팅 또는 재무와 같은 비즈니스 도메인별로 구성된 인증된 데이터 제품의 큐레이션된 내부 마켓플레이스입니다. 

AI 기반 권장 사항 및 데이터 스튜어드 큐레이션은 문서, 소유권 및 사용 통찰력으로 강화된 지표, 대시보드, 테이블, AI 에이전트 및 Genie 공간과 같은 최고 가치 자산을 표시하는 데 도움이 됩니다. 새로운 지능형 신호는 데이터 품질, 사용 패턴, 관계 및 인증 상태를 강조 표시하여 사용자가 신뢰와 관련성을 신속하게 평가할 수 있도록 합니다. 또한 Databricks Assistant가 내장되어 있어 사용자는 자연어 질문을 하고 관리되는 지표를 기반으로 명확하고 상황에 맞는 답변을 얻을 수 있습니다.

Databricks 전반에 걸쳐 새로운 지능형 기능을 도입하여 사용자가 플랫폼에서 작업하는 모든 곳에서 데이터 검색을 더 쉽고 직관적으로 만들고 있습니다. Unity Catalog에서 제공하는 이러한 기능을 통해 팀은 신뢰할 수 있는 데이터를 더 빠르게 찾고 해당 컨텍스트를 한눈에 이해할 수 있습니다.

• 도메인(출시 예정): 검색을 조직의 운영에 맞추기 위해 비즈니스 영역별로 데이터를 구성합니다.
• 인증 및 폐기 태그(베타): 데이터 세트, 지표 및 대시보드 전반에서 데이터 신뢰 및 비즈니스 관련성을 알립니다. 태그가 지정된 자산은 SQL 편집기와 같은 작성 화면에 상태를 눈에 띄게 표시하여 사용자 워크플로 전체에서 데이터 품질 신호를 볼 수 있도록 합니다. 인증 및 폐기 태그는 태그 정책 베타의 일부로 제공됩니다. 
• 액세스 요청(비공개 미리 보기): 전달을 간소화하기 위해 사용자는 자산에 대한 데이터 액세스를 즉시 요청할 수 있습니다.

이제 추가적인 고급 거버넌스 기능 사용 가능 

확장 가능한 속성 기반 제어를 통한 높은 활용도의 거버넌스

조직이 성장하고 관리해야 할 사용자, 팀 및 데이터 자산이 늘어남에 따라 데이터 거버넌스를 확장하는 것이 점점 더 어려워집니다. 정적 정책과 수동 제어는 따라갈 수 없어 거버넌스 격차, 보안 위험 및 운영 병목 현상이 발생합니다. 

이러한 문제를 해결하기 위해 Unity Catalog는 이제 지능형 자동화와 유연하고 확장 가능한 제어를 제공하여 중요한 데이터를 분류하고, 정책을 일관되게 적용하고, 레이크하우스 전체에서 안전한 데이터 액세스를 가속화합니다. 

• 속성 기반 액세스 제어(ABAC): 카탈로그, 스키마 또는 테이블 수준에서 적용할 수 있는 태그를 사용하여 유연한 액세스 정책을 정의합니다. ABAC는 행 및 열 수준 보안에 대해 베타로 제공됩니다. AWS, Azure 및 GCP에서 제공됩니다. 

• 태그 정책: 태그 정책은 Databricks 전체에서 태그가 생성, 할당 및 사용되는 방식에 대한 거버넌스 레이어를 적용합니다. 이러한 계정 수준 정책은 태그가 일관되고 신뢰할 수 있도록 보장하여 데이터 분류에서 비용 특성에 이르기까지 모든 것을 지원합니다. 태그 정책은 AWS, Azure 및 GCP에서 베타로 제공됩니다. 

• 데이터 분류: Unity Catalog 전체에서 중요한 데이터를 지능적으로 감지하고 태그를 지정합니다. 새로운 데이터는 24시간 이내에 스캔되어 새로운 PII를 자동으로 감지하여 수동 노력을 최소화하고 팀이 데이터 액세스를 계속 주시할 수 있도록 합니다. ABAC와 함께 사용하면 데이터 분류는 액세스 제어 정책에 따라 중요한 데이터를 자동으로 보호합니다. 데이터 분류는 AWS, Azure 및 GCP에서 베타로 제공됩니다. 

“5,000개 이상의 테이블에 걸쳐 열 마스킹을 구현하는 것은 엄청난 수동 작업이었습니다. ABAC를 사용하면 일관된 정책을 동적으로 적용하여 속도와 거버넌스를 모두 획기적으로 개선할 수 있습니다.” — Ramesh Balasubramanyan, Databricks Admin, SAIF

“Databricks 데이터 분류는 데이터 개인 정보 보호 및 보안 전략에서 획기적인 변화를 가져왔습니다. ABAC와 함께 사용하면 분석가에게 필요한 데이터를 제한하지 않고도 중요한 데이터를 자동으로 보호할 수 있습니다. 가장 큰 이점은 자동화된 분류 및 마스킹을 통해 수동 오버헤드를 크게 줄여 리소스를 확보하고 팀의 매주 수많은 시간을 절약할 수 있다는 것입니다.” — Mary Tesfay, Data & Analytics Lead, Corp IT, Navitas

자동화된 대규모 데이터 품질 모니터링

Unity Catalog는 이제 모든 테이블에서 데이터 품질 문제를 지능적으로 감지하고 해결하는 데 도움이 되는 데이터 품질 모니터링(베타로 제공)을 제공합니다. AWS, Azure 및 GCP에서 제공됩니다. 데이터 품질 모니터링은 전체 스키마에서 데이터 인텔리전스를 사용하여 최신성(데이터가 최근에 업데이트된 시기)과 완전성(데이터 볼륨이 예상대로인지 여부)을 확인합니다. 소비자는 상태 지표를 통해 데이터의 상태를 한눈에 파악할 수 있으며, 데이터 소유자는 다운스트림 계보를 기반으로 문제의 우선 순위를 파악하고, 근본 원인을 파악하고, 기본 제공 로깅 및 대시보드를 사용하여 경고를 설정할 수 있습니다. 

데이터 인텔리전스의 기반인 Unity Catalog 시작하기

Unity Catalog는 안전하고 지능적이며 비즈니스 인식이 가능한 데이터 플랫폼의 기반인 업계 유일의 통합 거버넌스 레이어로 계속 진화하고 있습니다. AI 에이전트를 구축하든, BI 대시보드를 제공하든, 조직 간에 데이터를 공유하든 Unity Catalog는 단일 개방형 카탈로그를 통해 모든 것을 연결합니다.

시작하려면 AWS, Azure 및 GCP에 대한 Unity Catalog 가이드를 따르세요. 

Databricks의 공동 창립자이자 최고 기술 책임자인 Matei Zaharia의 Data + AI Summit 2025 기조 연설을 시청하여 이러한 최근 발표에 대해 자세히 알아보세요. 

Data + AI Summit에 등록하고 데이터 및 AI 거버넌스 트랙을 살펴보세요.

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)