Data + AI Summit 2025에서 발표된 Databricks Unity Catalog의 새로운 소식

네 년 전, Databricks는 데이터 풍경에서 엄청난 복잡성을 보았습니다: 각 플랫폼마다 별도의 카탈로그, 클라우드 전반에 걸친 분리된 거버넌스 도구, 그리고 AI 자산을 보호하는 통합된 방법이 없었습니다. 우리는 통합 거버넌스 를 선도하여 Unity Catalog를 출시하였습니다. 이는 모든 데이터와 AI 자산에 걸친 접근, 계보, 감사, 발견을 관리하는 열린, 유연한 카탈로그 계층입니다.

오늘날, Unity Catalog는 Databricks Data Intelligence Platform 및 포맷, 클라우드, 엔진 간의 데이터 및 AI에 대한 업계 유일한 통합된 관리 솔루션의 기반이 되었습니다. 오픈 데이터 공유부터 세밀한 보안 및 지식 관리에 이르기까지, Unity Catalog는 조직이 데이터 자산에 대한 컨텍스트, 제어, 신뢰를 가져오는 데 도움을 줍니다.

올해의 데이터 + AI 서밋에서는 Unity 카탈로그를 통한 주요 혁신을 발표하며, Apache Iceberg™에 최적화된 카탈로그, 새로운 비즈니스 사용자 경험, 그리고 민감한 데이터를 보호하고 대규모에서 신뢰할 수 있는 데이터 품질을 보장하는 지능형 거버넌스를 제공합니다.

다음은 새로운 내용입니다.

Apache Iceberg™에 대한 최고의 카탈로그

레이크하우스를 채택하는 조직들은 종종 Delta Lake와 Apache Iceberg™ 사이에서 선택해야 합니다. 그 선택은 인공적인 사일로를 만들어: 팀이 사용할 수 있는 데이터와 AI 도구에 대한 접근을 제한하고, 거버넌스를 파편화시키며, 메타데이터를 형식 특정 카탈로그에 잠급니다.

Unity 카탈로그는 선택의 필요성을 제거합니다. 오픈 표준에 기반을 둔 Unity 카탈로그는 형식, 엔진, 클라우드 간에 원활하게 작동하는 유일한 통합 카탈로그로, 오픈 레이크하우스의 기반입니다. 지난해 동안, Tabular의 인수 이후, 우리는 Apache Iceberg에 깊게 투자하여 이 비전을 확장하였습니다. 우리는 다음을 발표하게 되어 기쁩니다:

• Iceberg REST Catalog API에 대한 전체 지원을 제공하여, 외부 엔진이 Unity Catalog에서 관리하는 Iceberg 테이블을 읽고(일반적으로 사용 가능) 쓸 수 있게 합니다. 이는 시장에서 주요한 차별화 요소로, 형식 잠금을 제거하고 다른 어떤 솔루션보다 완전한 상호 운용성을 가능하게 합니다. 
• Iceberg 관리 테이블 은 이제 Public Preview에 있으며, 최고 수준의 가격 및 성능, liquid clustering, predictive optimization, 그리고 Databricks와 외부 엔진, Trino, Snowflake, Amazon EMR과의 완전한 통합을 제공합니다.
• 아이스버그 카탈로그 연합 은 Public Preview에 있어, AWS Glue, Hive Metastore, 그리고 Snowflake Horizon에서 관리되는 Iceberg 테이블을 데이터를 복사하지 않고 거버넌스하고 쿼리할 수 있게 해줍니다.
• Iceberg를 위한 Delta Sharing 이 이제 Private Preview에 있어, Delta Sharing을 사용하여 Unity 카탈로그 테이블과 Delta 테이블을 어떤 수신자와도 공유하고 Iceberg REST Catalog API를 지원하는 어떤 클라이언트에서도 그것들을 사용할 수 있게 해줍니다.

이러한 기능들은 형식 실로를 해체하고 Unity Catalog를 진정으로 열린, 통합된 거버넌스와 상호 운용성을 제공하는 유일한 카탈로그로 구분짓습니다. 우리의 Iceberg 지원에 대한 블로그 를 확인하여 이러한 발표에 대해 더 자세히 알아보세요. 

Unity Catalog를 비즈니스 사용자에게 확장

데이터 플랫폼은 기술 사용자에서 그치지 않아야 합니다. 비즈니스 사용자들은 데이터를 찾고, 신뢰하고, 작업하는 데 명확하고 일관된 방법이 필요합니다. Unity Catalog는 이제 데이터와 비즈니스 팀 사이의 격차를 메우는 비즈니스 컨텍스트에 대한 통합된 기반을 제공합니다. 

Unity Catalog Metrics: 모든 데이터와 AI 작업을 위한 하나의 의미론적 계층

도구와 팀 간에 일관되지 않은 메트릭 정의는 오랫동안 혼란, 불일치, 데이터에 대한 신뢰 부족을 초래해 왔습니다. Unity 카탈로그 메트릭스, 이제 Public Preview에 있고 이번 여름에 일반적으로 사용 가능하게 될 예정이며, AWS, Azure, 그리고 GCP 에서 이를 해결하였습니다. 이는 레이크하우스에서 비즈니스 메트릭을 일급 자산으로 만듭니다. BI 계층에서만 정의된 메트릭과 달리, 데이터 계층에서 메트릭을 정의하면 대시보드, AI 모델, 데이터 엔지니어링 작업 등 모든 작업에서 비즈니스 의미를 재사용할 수 있습니다. Unity 카탈로그 메트릭은 또한 SQL을 통해 완전히 주소 지정 가능하여 조직 내의 모든 사람이 도구를 선택하는 것에 관계없이 메트릭에 대한 동일한 시각을 가질 수 있도록 합니다.

• 한 번 정의하고, 어디에서나 사용하십시오: Unity Catalog에서 한 번 메트릭을 생성하고 AI/BI 대시보드, Genie, 노트북, SQL, 그리고 Lakeflow 작업에서 사용합니다. 다가오는 통합은 Tableau, Hex, Sigma, ThoughtSpot, Omni 및 Anomalo와 Monte Carlo와 같은 관찰 도구에 대한 지원을 확장할 것입니다.
• 기본적으로 관리되고 감사 가능: 인증된 메트릭은 감사와 계보를 기본적으로 제공하여, 팀 간에 신뢰할 수 있는, 준수하는 통찰력을 가능하게 합니다.

"Unity 카탈로그 메트릭은 비즈니스 KPI를 정의하고 팀 간에 의미를 표준화하는 중앙 장소를 제공하여, 모든 사람이 대시보드, SQL, AI 응용 프로그램에서 동일한 신뢰할 수 있는 정의를 사용하도록 보장합니다."

— Richard Masters, 부사장, 데이터 & AI, Virgin Atlantic

"Unity Catalog Metrics는 Tableau 고객이 Databricks Unity Catalog와 함께 중앙 집중식 거버넌스의 가치를 활용할 수 있는 흥미로운 기회를 제공합니다. Databricks와의 깊은 통합 및 확장된 로드맵을 통해, 우리는 고객이 Databricks를 이용하여 핵심 비즈니스 지표를 정의하는 데 있어 friction을 제거하는 데 도움이 되어 기쁩니다."

— Nicolas Brisoux, Sr. Director Product Management, Tableau

지능형 인사이트를 통한 새로운 큐레이션 발견 경험

비즈니스 사용자를 완전히 활성화하려면, 신뢰할 수 있는 데이터를 쉽게 찾고 이해하고 사용할 수 있게 해야 합니다. Unity Catalog는 새로운 Discover 경험, 현재 Private Preview 상태에 있는, 판매, 마케팅, 재무 등의 비즈니스 도메인별로 구성된 인증된 데이터 제품의 내부 마켓플레이스를 통해 비즈니스 인식 거버넌스를 확장하고 있습니다. 

AI 기반 추천 및 데이터 스튜어드 큐레이션은 문서화, 소유권, 사용 통찰력으로 풍부한 메트릭, 대시보드, 테이블, AI 에이전트, Genie 공간과 같은 가장 가치 있는 자산을 찾아냅니다. 새로운 지능형 신호는 데이터 품질, 사용 패턴, 관계, 인증 상태를 강조하여 사용자가 신뢰와 관련성을 빠르게 평가할 수 있도록 돕습니다. 또한, Databricks Assistant가 내장되어 있어 사용자들이 자연어 질문을 하고 거버넌스된 메트릭에 기반한 명확하고, 문맥을 인식한 답변을 받을 수 있습니다.

또한 Databricks 전반에 걸쳐 데이터 발견을 더 쉽고 직관적으로 만드는 새로운 지능형 기능을 도입하고 있습니다. Unity 카탈로그에 의해 구동되는 이러한 기능들은 팀이 더 빠르게 신뢰할 수 있는 데이터를 찾고 그 컨텍스트를 한눈에 이해하는 데 도움이 됩니다.

• 도메인 (곧 출시 예정): 조직의 운영과 일치하는 방식으로 데이터를 비즈니스 영역별로 구성합니다.
• 인증 및 폐기 태그 (베타): 데이터셋, 메트릭, 대시보드 전반에 걸쳐 데이터 신뢰성과 비즈니스 관련성을 신호로 보냅니다. 태그가 지정된 자산은 SQL 편집기와 같은 작성 표면에서 그 상태를 눈에 띄게 표시하여 사용자 워크플로우 전반에 걸쳐 데이터 품질 신호를 보이게 유지합니다. 인증 및 폐기 태그는 태그 정책 베타의 일부로 사용 가능합니다. 
• 접근 요청 (Public Preview): 배송을 간소화하기 위해, 사용자는 자산에 직접 데이터 접근을 즉시 요청할 수 있습니다.

이제 사용 가능한 추가 고급 거버넌스 기능들 

확장 가능하고 속성 기반 제어를 통한 고레버리지 거버넌스

조직이 성장함에 따라 데이터 거버넌스를 확장하는 것은 점점 더 도전적이 됩니다. 더 많은 사용자, 팀, 데이터 자산을 관리해야 합니다. 정적 정책과 수동 제어는 따라잡지 못하며, 이로 인해 거버넌스의 틈, 보안 위험, 그리고 운영 병목현상이 발생합니다. 

이러한 도전을 해결하기 위해, Unity 카탈로그는 이제 레이크하우스 전체에서 민감한 데이터를 분류하고, 정책을 일관되게 집행하고, 안전한 데이터 접근을 가속화하는 데 필요한 지능적인 자동화와 유연하고 확장 가능한 제어를 제공합니다. 

• 속성 기반 접근 제어 (ABAC): 카탈로그, 스키마, 테이블 레벨에서 적용할 수 있는 태그를 사용하여 유연한 접근 정책을 정의합니다. ABAC는 베타 버전에서 사용 가능합니다 행 및 열 수준 보안 에 대해 AWS, Azure, 그리고 GCP에서 사용할 수 있습니다. 

• 태그 정책: 태그 정책은 Databricks 전반에 걸쳐 태그가 생성, 할당, 사용되는 방식에 대한 거버넌스 계층을 강제합니다. 이러한 계정 수준 정책은 태그가 일관되고 신뢰할 수 있게 유지되도록 보장하며, 데이터 분류부터 비용 속성까지 모든 것을 지원합니다. 태그 정책은 베타에서 사용 가능합니다 AWS, Azure, 그리고 GCP에서. 

• 데이터 분류: Unity Catalog 전체에서 민감한 데이터를 지능적으로 감지하고 태그합니다. 새로운 데이터는 24시간 이내에 스캔되어 새로운 PII를 자동으로 감지하므로 수동 작업을 최소화하고 팀이 데이터 접근을 관리할 수 있습니다. ABAC와 함께 사용하면, 데이터 분류는 접근 제어 정책에 따라 민감한 데이터를 자동으로 보호합니다. 데이터 분류는 베타 버전에서 사용 가능합니다 on AWS, Azure, 그리고 GCP. 

“5,000개 이상의 테이블에 걸쳐 열 마스킹을 구현하는 것은 엄청난 수동 작업이었습니다. ABAC를 사용하면, 우리는 정책을 동적으로 일관되게 적용할 수 있어 속도와 관리가 크게 향상되었습니다.” 

— Ramesh Balasubramanyan, Databricks Admin, SAIF

“Databricks Data Classification은 우리의 데이터 개인정보 보호 및 보안 전략에서 게임 체인저가 되었습니다. ABAC와 함께 사용하면, 분석가가 필요로 하는 데이터를 제한하지 않고 민감한 데이터를 자동으로 보호할 수 있습니다. 가장 큰 이점은 속도로, 자동 분류 및 마스킹이 수동 오버헤드를 크게 줄여, 리소스를 확보하고 팀이 매주 수많은 시간을 절약할 수 있게 되었습니다.”

— Mary Tesfay, Data & Analytics Lead, Corp IT, Navitas

대규모로 자동화된 데이터 품질 모니터링

Unity Catalog는 이제 모든 테이블에서 데이터 품질 문제를 지능적으로 감지하고 해결하는 데 도움이 되는 데이터 품질 모니터링을 제공하며, 이는 베타 버전에서 사용 가능합니다 AWS, Azure, 그리고 GCP에서 사용할 수 있습니다. 데이터 품질 모니터링은 신선도—데이터가 얼마나 최근에 업데이트되었는지—와 완전성—데이터 볼륨이 예상대로인지—를 전체 스키마에 걸친 데이터 지능을 사용하여 확인합니다. 소비자는 건강 지표를 통해 데이터의 건강 상태를 한눈에 파악할 수 있으며, 데이터 소유자는 하류 계보에 따른 문제의 우선 순위를 이해하고, 근본 원인을 찾아내고, 내장된 로깅 및 대시보드를 사용하여 알림을 설정할 수 있습니다. 

데이터 인텔리전스의 기반인 Unity Catalog를 시작해 보세요

Unity Catalog는 안전하고, 지능적이며, 비즈니스를 인식하는 데이터 플랫폼의 기반이 되는 업계 유일의 통합 거버넌스 계층으로 계속 발전하고 있습니다. AI 에이전트를 구축하든, BI 대시보드를 제공하든, 조직 간에 데이터를 공유하든, Unity Catalog는 모든 것을 하나의 열린 카탈로그를 통해 연결합니다.

시작하려면 AWS, Azure, 그리고 GCP에 대한 Unity Catalog 가이드를 따르십시오. 

다음을 Data + AI Summit 2025 의 Matei Zaharia, Databricks의 공동 창립자 및 최고 기술 책임자의 기조 연설을 보고 이러한 최근 발표에 대해 더 알아보세요. 

Data + AI Summit에 등록하고 데이터 및 AI 거버넌스 트랙을 탐색하세요

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)