Unity Catalog 비즈니스 의미 체계의 일반 공급 및 오픈 소스 발표

데이터와 AI가 모든 기업의 핵심이 되면서 비즈니스 개념에 대한 일관된 이해가 필수적입니다. 분석가, 엔지니어, 임원, 그리고 이제 AI 에이전트까지도 종종 동일한 데이터를 다르게 해석하여 메트릭 편차, 상충되는 보고서, 신뢰도 하락을 초래합니다.

수년 동안 이러한 비즈니스 개념은 BI 도구와 대시보드 내에 존재해 왔습니다. 에이전트가 데이터를 기반으로 추론하고 자율적으로 작동하는 에이전트 AI 시대에는 정의가 파편화되면 혼란이 가중될 뿐만 아니라 확산됩니다. 기업은 데이터 및 AI 플랫폼의 핵심에서 정의되고, 한 번만 거버넌스되고, 모든 곳에 적용되는 통합된 의미론적 기반이 필요합니다. 그리고 이는 개방적이어야 합니다. 비즈니스 의미론은 조직이 수익, 성장, 고객 가치 및 위험을 측정하는 방법을 정의합니다. 이러한 정의는 독점 시스템에 갇히거나 단일 애플리케이션 계층에 국한될 수 없는 전략적 자산입니다.

오늘날 저희는 Unity Catalog Business Semantics의 일반 공급(General Availability)을 통해 이러한 상황을 바꾸고 있습니다. 이는 BI 대시보드, 개발자 워크플로우 및 AI 에이전트 전반에 걸쳐 일관되고 신뢰할 수 있는 컨텍스트를 제공하는 통합되고 개방적인 의미론적 기반입니다. 이 기반을 진정으로 이식 가능하게 만들기 위해 핵심 구현을 Apache Spark에 오픈 소싱하고 있으며, 곧 Unity Catalog OSS v0.5에서도 지원될 예정입니다.

비즈니스 의미론에 대한 기존 접근 방식이 부족한 이유

고객들은 오랫동안 해당 도구 내에서 일관성을 제공하는 BI 도구별 의미론적 계층을 사용해 왔지만, 이러한 접근 방식에는 한계가 있습니다.

• 독점적이고 파편화됨: 다중 도구, 다중 에이전트 환경에서는 각 BI 모델이 고유한 언어를 사용합니다. 결과적으로 정의는 대시보드, 모델 및 스프레드시트 내에 갇혀 조직 전체에서 거버넌스, 액세스 정책 시행 또는 계보 추적이 거의 불가능해집니다.
• 정의의 위치가 너무 downstream: 이러한 계층은 데이터 기반이 아닌 표현 계층에 있기 때문에 팀은 여러 대시보드와 보고서에 대해 동일한 메트릭을 반복해서 재정의합니다. 이러한 downstream 접근 방식은 의미론을 취약하고, 일관성이 없으며, 확장하기 어렵게 만듭니다.
• AI에 대한 유연성 부족: 기존 계층은 빠르게 변화하는 비즈니스 질문이나 AI 에이전트의 열린 프롬프트에 발맞출 수 없는 무거운 사전 모델링에 의존합니다. 모든 변경에는 전문가의 개입이 필요하여 응답이 느려지고 신뢰도가 하락합니다.

이러한 한계는 오랫동안 데이터 및 AI 팀을 좌절시켜 왔습니다. 오늘날의 AI 주도 환경에서는 민첩성과 신뢰할 수 있는 답변이 필수적이므로, 이러한 한계는 발전을 위한 중요한 장벽이 되었습니다.

Unity Catalog Business Semantics: 비즈니스 의미론에 대한 통합되고 개방적인 접근 방식

Unity Catalog Business Semantics는 Databricks Data Intelligence Platform의 핵심에서 의미론이 통합되고 거버넌스되는 근본적인 변화를 나타냅니다. Unity Catalog에 직접 내장되어 이미 사용하고 있는 거버넌스, 보안 및 계보 기능을 확장하고 해당 정의를 작업하는 모든 곳에서 사용할 수 있도록 합니다.

이 접근 방식은 세 가지 주요 이점을 제공합니다.

1. 개방적이고 재사용 가능: SQL 및 API를 통해 액세스할 수 있는 비즈니스 의미론은 대시보드, 노트북, 애플리케이션 및 AI 에이전트 전반에서 쿼리할 수 있습니다. 개방형 형식으로 저장되므로 완전히 이식 가능하며 독점 도구에 국한되지 않습니다.
2. 핵심에서 거버넌스됨: 기본 데이터와 동일한 거버넌스 정책을 상속합니다. 이 upstream 접근 방식은 일관된 사용, 거버넌스, 계보 및 액세스 제어를 보장하여 데이터와 비즈니스 의미 모두에 대한 단일 진실 공급원을 제공합니다.
3. AI를 위해 설계됨: 풍부한 의미론적 메타데이터는 에이전트가 새로운 질문에 정확하게 답하고 비즈니스 개념이 발전함에 따라 무거운 사전 모델링 없이 적응하는 데 필요한 컨텍스트를 제공합니다.

Metric Views는 메트릭을 표준화하고 숫자를 조정하는 비즈니스 업무량을 대폭 줄이는 데 도움이 되었습니다. 쿼리 속도가 훨씬 빨라졌고(경우에 따라 최대 10배), 대시보드 구축이 더 쉬워졌으며, 더 일관되고 사전 집계된 데이터를 통해 Genie의 정확도에서 의미 있는 개선을 보았습니다. — Pedro Alves, Data Manager, Tech Growth, iFood

Unity Catalog Business Semantics는 Zalando 전반에 걸쳐 비즈니스 메트릭이 정의되고 소비되는 방식에 일관성, 신뢰 및 제어를 확립할 수 있는 흥미로운 기회를 제공합니다. 이는 BI 대시보드, 노트북 및 기타 도구 전반에 걸쳐 일치된 데이터 기반 의사 결정을 위한 유망한 기여입니다. — Timur Yüre, Engineering Manager, Zalando

비즈니스 의미론을 위한 오픈 소스 기반

Unity Catalog Business Semantics의 주요 목표 중 하나는 고객이 잠금 없이 기존 생태계에서 작동하도록 설계된 개방적이고 이식 가능한 방식으로 비즈니스 의미를 정의할 수 있도록 하는 것입니다. 의미론적 정의는 BI 도구, SQL 워크로드 및 AI 에이전트와 원활하게 통합되어야 하며, 플랫폼 및 소비 패턴이 발전함에 따라 지속되어야 합니다.

이를 실현하기 위해 Apache Spark OSS의 핵심 Metric View 구현을 오픈 소싱하고 있으며, 곧 출시될 Apache Spark 릴리스를 대상으로 합니다(진행 상황은 SPARK-54119에서 확인할 수 있으며, 곧 Unity Catalog OSS v0.5에서도 지원될 예정입니다). 이를 통해 고객은 데이터 기반에서 거버넌스되는 표준 SQL을 사용하여 비즈니스 의미를 정의하고, downstream 도구에 내장되지 않으며, 분석 및 AI 표면 전반에 걸쳐 일관되게 재사용할 수 있습니다.

Databricks는 또한 비즈니스 의미론 주변의 상호 운용성을 개선하기 위한 광범위한 업계 노력을 지원합니다. 이 회사는 Open Semantic Interchange (OSI) 이니셔티브에 참여했으며 적극적으로 기여하고 있습니다. 저희는 OSI와 같은 이니셔티브를 생태계 정렬을 위한 중요한 단계로 간주하며, 고객이 대규모로 신뢰할 수 있는 개방적이고 거버넌스된 의미론적 기반을 구축하는 데 계속 집중하면서 이에 기여할 것입니다.

GA 릴리스의 새로운 기능 살펴보기

Metric Views: 신뢰할 수 있고 일관된 KPI

이 GA 릴리스의 핵심에는 Metric Views가 있습니다. 이는 표시 이름, 형식 및 동의어와 같은 의미론적 메타데이터를 사용하여 비즈니스 KPI의 신뢰할 수 있고 일관된 정의를 설정하여 사람과 AI 모두 자신 있게 해당 정의를 해석하고 적용할 수 있도록 합니다. Metric Views를 사용하면 SQL에서 데이터 매핑, 측정값 및 차원을 중앙에서 정의하고 Unity Catalog에서 직접 거버넌스할 수 있습니다. 그런 다음 정의는 모든 표면(AI/BI 대시보드, Genie, 노트북, SQL 애플리케이션 및 Databricks에 연결된 타사 도구)에서 이식 가능해집니다. 각 메트릭은 선언적으로 정의되므로 엔진은 쿼리 시점에 기본 SQL을 결정론적으로 컴파일하고 실행하여 인간이든 AI 에이전트든 모든 소비자가 액세스하는 방식이나 위치에 관계없이 동일한 정의에서 동일한 결과를 얻도록 보장합니다.

새로운 기능:

쿼리 성능을 위한 구체화(Materialization):  Unity Catalog Business Semantics는 거버넌스된 정의와 구체화를 통한 대규모 성능을 결합합니다. 팀이 어떤 집계 테이블을 사용할지 결정하거나, 다른 성능 계층에 대해 중복 로직을 만들거나, 다른 워크로드를 위해 별도의 파이프라인을 구축하도록 강제하는 대신, 의미론적 계층이 성능을 자동으로 처리합니다. 방법은 다음과 같습니다.

• 자동 사전 집계: 메트릭에 대한 자료화를 정의하면 플랫폼이 수동 개입 없이 최적화된 사전 집계 결과를 유지합니다.
• 증분 새로 고침: 자료화된 결과는 증분 업데이트를 통해 최신 상태로 유지되므로 메트릭이 절대 오래되지 않고 전체 재계산이 거의 필요하지 않습니다.
• 지능형 쿼리 재작성: 쿼리 시점에 엔진은 사용 가능한 최상의 자료화를 활용하도록 쿼리를 재작성합니다.
• 투명한 라우팅: 사용자는 항상 하던 방식대로 메트릭을 쿼리하며, 시스템은 백그라운드에서 가장 빠른 경로로 각 요청을 라우팅합니다.

자료화는 미리 보기 상태이며 자세한 내용은 문서를 참조하세요(AWS, Azure, GCP).

새로운 UI 및 에이전트 AI 환경으로 작성: 이제 공개 미리 보기에서 Unity Catalog 탐색기의 새로운 포인트 앤 클릭 UI를 통해 메트릭 보기를 생성하고 관리할 수 있어, 복잡한 SQL이나 심층 데이터 모델링 전문 지식 없이도 기술 및 비기술 사용자 모두에게 의미론적 모델링을 제공합니다. 이 UI를 사용하면 브라우저를 떠나지 않고도 테이블 간의 관계를 시각적으로 정의하고, 메트릭을 인라인으로 차트로 표시하고, 게시하기 전에 모든 것을 엔드투엔드로 테스트할 수 있습니다. UI 기반 작성에 대해 자세히 알아보려면 문서를 참조하세요(AWS, Azure, GCP).

Genie Code 는 에이전트 AI를 작성 워크플로에 직접 통합하여 작성 프로세스를 더욱 가속화합니다. 빈 페이지에서 시작하는 대신 Genie Code는 다음을 수행할 수 있습니다:

• 의미론적 모델 부트스트래핑 가속화: 측정값, 차원, 동의어 및 문서를 제안하여 팀이 몇 주 대신 몇 분 안에 시작할 수 있도록 합니다.
• 다듬기 및 리팩토링: 기존 정의의 문제를 식별하고 비즈니스 로직이 발전함에 따라 개선 사항을 권장합니다.
• 변경 사항 검증: 제안된 편집 사항을 실제 데이터에 대해 테스트하여 오류가 전파되기 전에 감지할 수 있습니다.
• 세분화된 변경 관리 활성화: 무엇이 변경되었고 왜 변경되었는지 완전히 파악하면서 개별 메트릭 변경 사항을 검토하고 승인합니다.

메트릭 보기는 KPI 정의를 넘어섭니다. 각 메트릭 보기는 풍부한 의미론적 메타데이터, 표시 이름, 형식 및 동의어를 포함하여 인간과 AI 모두가 이해하고 사용할 수 있도록 하여 대시보드 및 대화형 UI 전반에 걸쳐 일관된 표현을 보장하고 AI가 비즈니스 용어와 자연어 쿼리를 올바르게 해석하도록 돕습니다.

비즈니스 의미론이 Databricks AI/BI를 지원하는 방법

이 GA 릴리스를 통해 AI/BI 대시보드와 Genie는 이제 Unity Catalog 비즈니스 의미론과 완전히 통합되었습니다. 실제로 이는 세 가지 주요 이점을 제공합니다:

실제로 이는 세 가지 주요 이점을 제공합니다:

1. 거버넌스 메트릭으로 구동되는 AI/BI 대시보드: 이제 Unity Catalog의 메트릭 보기를 직접 기반으로 대시보드를 구축할 수 있습니다. 모든 시각화, 필터, 드릴스루 및 비교는 동일한 인증된 측정값 및 차원 세트를 사용하므로 팀과 도구 전반에 걸쳐 일관된 숫자를 보장합니다.
2. 비즈니스 언어에 기반한 Genie: Genie 공간은 메트릭 보기를 기반으로 직접 생성될 수 있으므로 Genie가 답변하는 모든 자연어 쿼리는 추론된 논리가 아닌 거버넌스되고 결정론적인 정의에 기반합니다. 메트릭 보기는 런타임에 논리적 쿼리로 컴파일되므로 사용자는 항상 정확하고 일관된 결과를 얻습니다. Genie는 더 이상 메트릭을 환각하는 것이 아니라 단일 진실 공급원에서 메트릭을 해결합니다.
3. 대시보드 논리를 의미론적 계층으로 승격: 기존 메트릭 보기 없이 새 AI/BI 대시보드를 만들 때, 빌드한 테이블 조인, 필터 또는 계산 필드는 이제 단일 작업을 통해 Unity Catalog의 새 메트릭 보기에 승격될 수 있습니다. 즉시 조직의 의미론적 계층의 일부가 되어 Genie, SQL, 노트북 및 외부 BI 도구에서 사용할 수 있습니다. 또한 대시보드는 메트릭 보기 자료화의 이점을 자동으로 누려 기본 쿼리 성능을 크게 향상시킵니다.

즐겨 사용하는 도구로 의미론 확장

강력한 의미론적 기반은 단일 플랫폼을 넘어 이동할 때 더욱 가치가 있습니다. 그렇기 때문에 Unity Catalog 비즈니스 의미론과 직접 통합되는 풍부한 기술 파트너 생태계와 긴밀하게 협력합니다.

• Tableau: Tableau는 Databricks Unity Catalog 비즈니스 의미론을 포함한 외부 메트릭 제공업체의 위임된 의미론에 대한 지원을 관계 데이터 모델에 추가할 예정입니다. 이를 통해 분석가는 메트릭이 일관되게 정의되고 기본 의미론적 계층에 의해 정확하게 집계된다는 것을 신뢰할 수 있습니다. 통합은 2026년 말에 예상됩니다.

  Tableau는 Unity Catalog 비즈니스 의미론을 관계 데이터 모델에 통합하게 되어 기쁘게 생각합니다. 이를 통해 분석가와 조직은 메트릭과 메타데이터를 한 번 정의하고 Tableau가 자동으로 올바른 의미론을 적용하여 일관되고 신뢰할 수 있는 인사이트를 얻을 수 있습니다. — Nicolas Brisoux, Sr. Director Product Management, Tableau

• Sigma Computing: Sigma는 Databricks Unity Catalog 비즈니스 의미론과 직접 통합하여 메트릭 보기를 실시간으로 쿼리함으로써 데이터 이동 없이 가장 최신 정의가 즉시 반영되도록 합니다. 이 아키텍처를 통해 Sigma는 Lakehouse의 투명한 확장으로 작동하며 실행 시점에 Unity Catalog의 보안 및 거버넌스 프로토콜을 엄격하게 상속합니다.

  Sigma에서는 Unity Catalog 비즈니스 의미론과 통합하기 위해 노력하고 있습니다. 이를 통해 고객은 Sigma의 스프레드시트와 같은 경험을 거버넌스된 비즈니스 정의와 페어링하여 모두를 위해 빠르고 일관되며 신뢰할 수 있는 분석을 보장할 수 있습니다. — Jordan Stein, Product Manager, Sigma

• ThoughtSpot: 올해 말, ThoughtSpot은 Unity Catalog 메트릭 보기에 대한 기본 지원을 추가하여 Spotter 사용자가 거버넌스된 Databricks 메트릭을 자연어로 즉시 쿼리할 수 있도록 합니다. 이를 통해 사용자 지정 SQL을 제거하고 조직에 신뢰할 수 있는 비즈니스 메트릭에 대한 유연하고 정확하며 빠른 액세스를 데이터 스택 전반에 제공합니다.

  ThoughtSpot은 Unity Catalog 비즈니스 의미론을 통해 Databricks와의 파트너십을 심화하게 되어 기쁘게 생각합니다. 이를 통해 고객은 비즈니스 의미론을 관리하는 방법과 위치에 대해 훨씬 더 많은 유연성을 확보할 수 있습니다. — Francois Lopitaux, SVP of Product, ThoughtSpot

• Hex: Unity Catalog Metric Views가 이제 Hex에 완전히 통합되었습니다. 사용자는 Hex 노트북에서 SQL을 사용하여 Metric Views를 직접 탐색하고, Databricks 연결에서 Metric Views를 쿼리하며, 거버넌스된 정의를 기반으로 데이터 앱을 구축할 수 있습니다. 이를 통해 메트릭을 다시 정의할 필요 없이 탐색에서 프로덕션 앱으로 더 쉽게 전환할 수 있습니다.

Hex의 Databricks Unity Catalog Metric Views를 사용하면 팀은 신뢰할 수 있고 거버넌스된 메트릭을 기반으로 작업하여 불일치를 줄이고 신뢰할 수 있는 인사이트를 통해 더 빠르게 진행할 수 있습니다. — Hex 파트너 엔지니어 Armin Efendic

• Omni: Omni를 사용하면 팀은 스프레드시트, SQL 또는 AI 기반 채팅과 같은 익숙한 경험을 통해 Metric Views를 분석할 수 있습니다. Omni는 또한 비즈니스 사용자가 데이터를 탐색하면서 새로운 메트릭과 차원을 정의한 다음 API를 통해 Unity Catalog로 해당 업데이트를 푸시할 수 있도록 합니다. 이를 통해 Unity Catalog에서 단일 진실 공급원을 생성하는 동시에 비즈니스 전문가가 조직의 의미론적 모델에 직접 기여할 수 있습니다. 이를 통해 데이터 팀과 비즈니스 전문가 모두 의미론적 모델에 직접 기여할 수 있습니다.

  AI를 비즈니스 컨텍스트에 기반하는 것이 AI를 신뢰할 수 있게 만드는 유일한 방법입니다. Unity Catalog Metrics Views와의 통합은 모든 인터페이스(AI, 스프레드시트, 대시보드 및 SQL)에 거버넌스된 정의를 제공합니다. Omni와 Databricks 간의 양방향 동기화를 통해 팀은 모든 것을 정렬된 상태로 유지하면서 두 시스템 중 하나에서 메트릭을 정의하고 업데이트할 수 있습니다. 이러한 일관성은 고객이 셀프 서비스를 확장하고 AI 채택을 가속화하며 신뢰할 수 있는 고객 대면 데이터 제품을 지원하는 데 도움이 됩니다. — Omni 공동 창립자 Jamie Davidson

• Atlan: UC Metrics와의 Atlan의 기본 통합은 가장 중요한 메트릭을 Atlan Context Graph로 직접 가져와 추가 권한 오버헤드 없이 계보, 소유자 및 비즈니스 정의와 연결합니다. 이를 통해 팀은 작업 흐름에서 메트릭을 단일의 신뢰할 수 있는 보기를 확보하여 문제 해결을 가속화하고 의사 결정을 개선하며 AI 준비 데이터를 확장할 수 있습니다.

  메트릭은 모든 엔터프라이즈의 데이터 및 AI 플랫폼의 맥박입니다. UC Metrics를 계보, 비즈니스 컨텍스트 및 추가 권한 없이 Atlan의 Context Graph로 가져옴으로써 고객은 이전에 도달할 수 없었던 운영 인텔리전스를 얻을 수 있습니다. 이는 AI 준비 데이터를 확장하는 중요한 단계입니다. — Atlan 제품 리더 Chandru

• Monte Carlo: Monte Carlo는 이제 Unity Catalog의 Metric Views를 지원하여 표준화된 비즈니스 메트릭과 이를 지원하는 파이프라인 전반에 걸쳐 엔드투엔드 가시성을 제공합니다.

  신뢰할 수 있는 데이터와 AI는 거버넌스된 비즈니스 메트릭에서 시작됩니다. Unity Catalog Metrics를 사용하면 KPI를 확장하여 표준화하기가 더 쉬워지며, Monte Carlo를 사용하면 데이터 리더가 이러한 인사이트를 신뢰하여 실제 비즈니스 영향을 주도할 수 있습니다. — Monte Carlo 공동 창립자 겸 CTO Lior Gavish

• Collibra: Collibra는 Databricks 메트릭에 대한 신뢰할 수 있는 가시성을 제공하여 사람과 AI 에이전트 모두 비즈니스 결정을 위해 쉽게 검색하고 사용할 수 있습니다. 향상된 통합은 메트릭 시각화를 개선하고, Collibra 승인 메트릭을 Databricks로 직접 흐르도록 하며, 데이터 에스테이트 전반에 걸쳐 일관되고 신뢰할 수 있는 메트릭을 보장하기 위해 양방향 동기화를 추가합니다.

  거버넌스되고 일관된 메트릭은 AI 에이전트와 데이터 사용자가 워크플로를 이해하고 신뢰하며 자동화하기 위해 필요합니다. 당사의 공동 고객은 Databricks와 Collibra 간의 긴밀한 협업을 계속 원합니다. — Collibra 제품 관리, 데이터 거버넌스 부사장 Tom Dejonghe

• Domo: 이제 Unity Catalog Metric Views와 통합되어 거버넌스된 Databricks 메트릭을 Domo의 대시보드, 분석 및 AI 기반 워크플로로 직접 전달할 수 있습니다. 이를 통해 중복이 줄어들고 거버넌스가 강화되며 신뢰할 수 있는 KPI에 대한 인사이트 확보 시간이 단축됩니다.

  Databricks의 거버넌스된 메트릭을 Domo와 통합하면 고객이 중복을 줄이고 거버넌스를 개선하며 신뢰할 수 있는 KPI에 대한 인사이트를 가속화하는 데 도움이 됩니다. — Domo 엔지니어링 부사장 Matthew Payne

• Anomalo: Anomalo는 Unity Catalog Governed Metrics의 출시 파트너로 합류하여 Databricks의 통합 의미론적 계층과 Anomalo의 자동화된 메트릭 모니터링을 결합합니다. 이 통합은 기업이 드리프트 및 데이터 품질 문제를 조기에 감지하여 중요한 결정에 대한 정확하고 신뢰할 수 있는 메트릭을 보장하는 데 도움이 됩니다.

  Databricks의 통합 의미론적 계층과 Anomalo의 메트릭 모니터링을 결합함으로써 고객이 드리프트를 조기에 감지하고 메트릭을 확장하여 정확하고 신뢰할 수 있도록 유지하도록 돕습니다. — Anomalo 비즈니스 개발 및 마케팅 부사장 Amy Reams

이러한 통합 및 향후 통합은 거버넌스된 일관된 의미론이 Databricks를 훨씬 넘어 분석 및 AI 생태계 전반으로 흐르도록 보장합니다.

Unity Catalog Business Semantics 시작하기

이 출시를 매우 기대하고 있습니다. 이제 의미론이 데이터 플랫폼의 핵심 부분이 되었으므로 대시보드 및 AI 에이전트부터 노트북 및 외부 BI 도구에 이르기까지 엔터프라이즈 컨텍스트가 모든 곳으로 흐르며 메트릭 사일로, 공급업체 종속성 및 도구 간의 불일치를 제거합니다. 개방형 기반 위에 구축된 의미론적 계층은 데이터가 있는 모든 곳에서 작동합니다.
비즈니스 의미론 정의, 권한 제어 및 다양한 소비 방법에 대한 자세한 가이드는  문서를 탐색하세요(AWS,  Azure,  GCP).
AI/BI 대시보드 및 Genie 공간에서 비즈니스 의미론을 실제로 사용하는 모습을 보려면 제품 데모를 살펴보세요.

• Unity Catalog Metric Views 개요
• AI/BI에서 Metric Views 노출
• SQL 편집기에서 Metric Views 쿼리

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)