Data + AI Summit 2026에서 소개되는 Unity Catalog의 새로운 기능

에이전트 시대가 열렸습니다. 현재 수십만 개의 에이전트가 기업 데이터에 액세스하여 이를 쿼리하고, 추론하며, 실시간으로 의사 결정을 내리고 있습니다. 이러한 변화는 우리가 카탈로그에 요구하는 역할을 바꾸어 놓았습니다. 카탈로그는 단순한 기록 시스템에서 AI를 위한 런타임 의사 결정권자로 진화했습니다.

이러한 의사 결정을 내리려면 세 가지가 필요합니다. 제어(사람이든 에이전트든 모든 행동이 거버넌스 하에 통제되도록 함), 맥락(에이전트가 비즈니스를 이해하고 환각 현상을 방지하도록 함), 그리고 선택(특정 클라우드, 모델 또는 포맷에 종속되지 않도록 함)입니다. 에이전트 시대의 거버넌스는 바로 이 세 가지를 의미해야 합니다.

5년 전, Databricks는 클라우드, 데이터 포맷, 데이터 플랫폼 전반에서 데이터와 AI를 위한 업계 유일의 통합 거버넌스 솔루션인 Unity Catalog를 출시하여 데이터 및 AI 거버넌스를 선도했습니다. 현재 14,000개 이상의 기업이 Unity Catalog에서 데이터와 AI를 거버닝하고 있습니다.

오늘날 Databricks는 제어, 맥락, 선택이라는 세 가지 가치를 모두 실현하기 위해 Unity Catalog를 한 단계 더 발전시키고 있습니다. 새로운 기능을 소개합니다.

제어: 모든 에이전트를 위한 AI 거버넌스

오랫동안 자산을 거버닝한다는 것은 액세스를 제어하는 것을 의미했습니다. 즉, '누가 이 테이블을 쿼리할 수 있는지', '누가 이 모델을 호출할 수 있는지'를 관리하는 것이었습니다. 하지만 에이전트는 단순히 자산에 액세스하는 데 그치지 않고, 모델을 호출하고, 도구를 실행하며, MCP 서버에 연결하는 등 자산을 통해 직접 행동합니다. 이러한 변화에 발맞추어, 에이전트 행동의 전체 라이프사이클을 거버닝할 수 있도록 설계된 일련의 기능을 새롭게 선보입니다.

Unity AI Gateway: 모든 모델, 도구, 에이전트 거버닝

Unity AI Gateway는 기업용 AI를 위한 거버넌스 솔루션입니다. Unity Catalog를 기반으로 구축되어 데이터 및 AI 자산을 넘어 모델, 에이전트, MCP, 스킬, 도구 간의 런타임 상호작용까지 거버넌스를 확장합니다:

• 모든 AI 자산을 한곳에서 거버닝: 이미 사용 중인 것과 동일한 액세스 제어, 검색, 리니지, 감사 기능을 통해 데이터와 함께 Databricks 호스팅 모델 및 외부 모델, MCP 서비스, 에이전트, 스킬을 등록하고 거버닝하세요. Databricks는 즉시 사용 가능한 파운데이션 모델 서비스뿐만 아니라 Google Drive, Jira, Slack, GitHub와 같은 앱을 위한 관리형 MCP 서비스도 제공합니다.
• 런타임 시 AI가 수행할 수 있는 작업 적용: 현재 Beta 버전으로 제공되는 Contextual Service Policies는 모델이나 도구에 액세스할 수 있는 사용자를 제어하는 것에서 나아가, 특정 상호작용에서 해당 모델이나 도구가 수행할 수 있는 작업까지 거버넌스를 확장합니다. 관리자는 민감한 폴더에 쓰거나 코드를 푸시하는 등의 작업에 대해 허용, 거부 또는 승인을 요구할 수 있습니다. 내장된 가드레일은 PII 노출, 프롬프트 인젝션, 안전하지 않은 콘텐츠로부터 보호합니다.
• 여러 제공업체에 걸친 AI 비용 제어: 이제 AI Gateway 예산 관리에 BYOK 연결을 포함한 외부 제공업체가 포함되므로, Databricks 호스팅 모델과 외부 모델 전체의 AI 지출을 한곳에서 확인할 수 있습니다. 엄격한 지출 한도 설정을 통해 사후에 경고만 보내는 것이 아니라 예산에 도달하면 요청을 즉시 차단합니다.
• AI 활동 모니터링 및 조사: Unity AI Gateway의 통합 에이전트 트레이싱은 하나의 거버닝된 텔레메트리 레이어에서 모델 및 MCP 활동을 캡처하며, 트레이스는 Databricks의 레이크하우스 네이티브 SIEM인 Lakewatch에서 분석할 수 있습니다.

전체 AI 거버넌스 발표 전문을 읽어보세요.

Governance Hub

현재 PrPr 단계인 Governance Hub는 데이터 스튜어드와 관리자가 Databricks 자산을 거버닝할 수 있는 중앙 집중식 커맨드 센터를 제공합니다. 단일 경험을 통해 보안 상태를 모니터링하고, 위험을 식별하며, 개선 작업의 우선순위를 정하고, 데이터, AI, 비용, 성능 전반에 걸쳐 거버넌스 운영을 확장할 수 있습니다.

속성 기반 액세스 제어

최근 Databricks는 대규모로 민감한 데이터를 보호할 수 있도록 지원하는 Governed Tags 및 Data Classification과 함께, 행 필터링 및 열 마스킹을 위한 ABAC 정책의 정식 출시(GA)를 발표했습니다.

Data + AI Summit에서 Databricks는 다음과 같은 기능으로 ABAC를 확장합니다:

• ABAC 권한 부여 정책(모델 대상 Beta): 속성 기반 액세스를 한 번만 정의하면 일치하는 모든 모델에 EXECUTE 권한이 자동으로 부여되므로 모델별 오버헤드가 제거됩니다. 향후 지원 범위는 AI 구성 요소(MCP 서비스, 에이전트), 테이블, 볼륨을 포함한 다른 보안 대상 자산으로 확장될 예정입니다.
• ID 속성(곧 Preview 출시): ID 제공업체에서 동기화되거나 Databricks에서 관리되는 실제 사용자 속성(예: 부서, 지역, 보안 등급)을 사용하여 액세스 규칙을 구축함으로써 경직된 그룹 기반 액세스에서 벗어날 수 있습니다.
• 컨텍스트 속성(곧 Preview 출시): 액세스가 에이전트, 애플리케이션 또는 워크스페이스 중 어디에서 시작되었는지와 같은 요청 컨텍스트를 활용하여 애플리케이션 및 에이전트 중개 액세스를 안전하게 처리합니다.
• 태그 전파(현재 Private Preview 제공): 데이터가 변환될 때 소스 테이블 및 열의 Governed Tags를 다운스트림 테이블 및 뷰로 자동으로 전달하여, 수동 작업 없이도 분류 및 액세스 정책을 일관되게 유지합니다.

역할 기반 액세스 제어

역할 기반 액세스 제어 (곧 Public Preview 출시)는 고객이 역할처럼 작동하는 그룹을 정의할 수 있도록 지원함으로써 Databricks의 협업적이고 상속 기반의 ID 및 권한 모델을 보완합니다. 역할은 사용자가 수임할 수 있는 권한 모음이 있는 그룹에 불과합니다. 사용자가 역할을 수임하면 해당 역할로 행동하게 되며, 데이터 액세스를 포함한 모든 작업은 해당 역할로 권한이 부여됩니다.

RBAC를 사용하면 고객은 독점적 액세스(exclusive access)와 같은 새로운 사용 사례를 모델링할 수 있습니다. 여기서 역할은 데이터 세트를 결합하여 액세스해서는 안 되는 민감한 데이터를 다루는 프로젝트(예: 임상 시험 또는 국가별 데이터)나 액세스 제어 문제 디버깅과 같이 높은 권한이 필요한 작업을 수행할 때 데이터 격리 경계를 제공합니다. 사용자는 UI에서 쉽게 역할을 전환하거나 클라이언트 OAuth 흐름에서 역할을 지정할 수 있으며, 워크스페이스는 해당 역할이 허용하는 권한에 정확히 맞춰 조정됩니다.

맥락: 개방형 및 적응형 기업 컨텍스트

에이전트의 성능은 에이전트가 확보한 맥락에 좌우됩니다. 비즈니스가 실제로 의미하는 바에 대한 공유된 정의가 없다면, 아무리 유능한 에이전트라도 추측에 의존할 수밖에 없습니다. Unity Catalog Semantics는 에이전트와 사람 모두에게 단일화되고 공유된 의미의 원천을 제공합니다. 개념과 비즈니스 KPI는 한 번만 정의되고 도메인별로 정리되며 SQL, API, MCP를 통해 액세스할 수 있으므로, 어떤 도구나 에이전트도 종속성 없이 이를 사용할 수 있습니다. 이제 맥락을 정의하고 구성하는 새로운 기능을 통해 Unity Catalog Semantics를 확장하고 있습니다.

Glossary

Glossary를 사용하면 에이전트와 사용자가 비즈니스를 이해하는 데 도움이 되는 신뢰할 수 있는 개념, 용어, 분류 체계를 정의하거나 이미 보유하고 있는 체계를 가져올 수 있습니다. Glossary 페이지는 기본 데이터 및 서로 연결되어 관계를 캡처합니다. Genie Code는 새로운 Glossary 페이지의 초안을 작성하고, 개선 사항을 제안하며, 데이터가 실제로 사용되는 방식과 다른 정의를 찾아냅니다. 동시에 전체 팀이 제안, 댓글, 도메인 수준의 소유권을 통해 이를 함께 관리할 수 있습니다. Glossary의 Preview 버전이 곧 출시될 예정입니다.

도메인

현재 퍼블릭 프리뷰(Public Preview)로 제공되는 도메인(Domains)은 데이터 및 AI 자산을 비즈니스에 부합하는 카테고리로 정리하여, 에이전트에게 전체 카탈로그 대신 범위가 지정된 관련 컨텍스트를 제공합니다. 사용자는 내부 마켓플레이스를 통해 도메인을 탐색하고 에이전트는 도메인을 쿼리하며, 인증 및 관리 신호를 통해 신뢰할 수 있는 자산이 무엇인지 보여줍니다. 곧 프리뷰로 제공될 AI 기반 도메인 추천 기능은 도메인을 자동으로 제안하므로 처음부터 모든 것을 구성할 필요가 없습니다.

Unity Catalog의 이 사용자 정의 시맨틱 기반은 Databricks 플랫폼의 지속적으로 학습되는 엔터프라이즈 컨텍스트 레이어인 Genie Ontology에 제공됩니다. 자세한 내용은 이번 발표 블로그에서 Genie Ontology에 대해 알아보세요.

메트릭

Unity Catalog의 메트릭 을 사용하면 매출, 이탈률, 활성 사용자 수, 마진과 같은 비즈니스 KPI를 거버넌스가 적용된 재사용 가능한 객체로 한 번만 정의한 다음, SQL, BI 도구, API 및 에이전트에서 일관되게 쿼리할 수 있습니다. Databricks는 모델링할 수 있는 범위와 작성 방식을 크게 확장하고 있습니다:

• 더 풍부한 시맨틱 모델링: 다중 팩트 관계(대시보드에서 퍼블릭 프리뷰로 제공), 선택한 세분성으로 계산하는 LOD(level-of-detail) 계산, 런타임 입력에 맞게 조정되는 매개변수화된 메트릭, 전년 대비 분석을 더 쉽게 만들어 주는 개선된 윈도우 측정값을 통해 단일 테이블 측정을 넘어설 수 있습니다.
• 에이전트 및 UI 기반 작성: UI에서 시각적으로 메트릭 모델을 빌드하고 세분화하거나, 에이전트가 정의를 초안으로 작성하고 제안하도록 하여 잘 정의된 시맨틱을 만드는 장벽을 낮출 수 있습니다.
• 구체화(Materialization)를 통한 더 빠른 쿼리 (퍼블릭 프리뷰): 메트릭이 정의되는 방식을 변경하지 않고도 대시보드 및 에이전트 쿼리가 더 빠르게 반환되도록 메트릭 결과를 미리 계산합니다.
• 서드파티 도구에서 가져오기 (베타): Power BI 및 Tableau의 기존 모델을 Databricks로 직접 가져와 이미 사용 중인 도구에서 신속하게 시작할 수 있습니다.

메트릭은 개방형이기도 합니다. 오픈 소스이며 Apache Spark 및 Unity Catalog OSS에서 사용할 수 있고, OSI(Open Semantic Interchange)를 지원합니다.

외부 리니지

이제 정식 출시(GA)된 외부 리니지는 Unity Catalog의 리니지 기능을 Databricks 외부의 자산으로 확장합니다. 업스트림 소스 시스템과 다운스트림 BI 보고서를 등록하여 단일 리니지 그래프가 전체 데이터 흐름을 엔드투엔드로 포괄하도록 할 수 있습니다. 이번 릴리스의 일부로, Lakeflow Connect 관리형 수집 파이프라인은 소스 테이블에서 Unity Catalog의 대상 테이블까지 리니지를 자동으로 기록합니다. 이를 통해 에이전트는 데이터의 출처와 이동 경로를 더 명확하게 파악하여 보다 안정적으로 추론할 수 있습니다.

테이블 인사이트 및 인기도

Unity Catalog의 테이블 인사이트에 이제 새로운 파생 신호인 열 수준 인기도(Column-level Popularity)가 포함됩니다. 카탈로그 탐색기(Catalog Explorer)의 테이블 개요 페이지에서 해당 테이블에 대한 과거 쿼리 중 해당 열을 읽은 횟수를 측정하여 각 열의 상대적 인기도를 확인할 수 있습니다. 이 신호는 Genie Ontology에도 제공되어 테이블을 추론할 때 어떤 열이 가장 중요한지 더 정확하게 판단할 수 있도록 돕습니다.

선택권: 에이전트 시대를 위한 개방형 인프라 활용

에이전트 시대에는 특정 벤더에 종속(lock-in)될 여유가 없습니다. 컴퓨팅 자원은 부족하고, 모델은 빠르게 변화하며, 데이터는 여러 클라우드, 리전, 포맷에 걸쳐 있습니다. 플랫폼을 재구축하지 않고도 용량이 있는 곳 어디에서나 실행하고, 데이터를 적절한 리전에 유지하며, 다양한 포맷에서 작업하고, 새로운 모델이 출시되는 즉시 도입할 수 있도록 인프라가 이 모든 것에 유연하게 대처해야 합니다. 이를 실현하기 위한 몇 가지 새로운 기능을 발표합니다.

크로스 클라우드, 크로스 리전 주소 지정 가능성

Unity Catalog는 이제 계정, 리전, 클라우드를 아우르는 고객의 전체 Databricks 환경으로 거버넌스를 확장합니다. 새로운 4단계 네임스페이스(metastore.catalog.schema.table)는 전체 자산에 걸쳐 모든 자산에 단일 주소를 부여하여, 고객에게 통합된 검색 환경, 일관되게 적용되는 단일 액세스 정책 세트, 단일 감사 내역, 엔드투엔드 열 수준 리니지를 제공합니다.

크로스 리전 거버넌스는 곧 프리뷰로 제공될 예정입니다. 크로스 클라우드 및 크로스 계정 거버넌스도 그 뒤를 이어 지원될 예정입니다. 적절한 용량, GPU 또는 데이터와의 근접성을 갖춘 클라우드 및 리전 어디로든 Databricks 워크로드를 가져올 수 있으며, 해당 워크로드가 실행되는 모든 곳에서 거버넌스가 일관되게 유지됩니다.

관리형 재해 복구

관리형 재해 복구는 고객의 미션 크리티컬 워크로드에 대한 복원력을 제공합니다. 이를 통해 Databricks 배포의 중요한 부분을 보조 리전에 복제하고 재해 발생 시 몇 분 내에 해당 리전으로 장애 조치(failover)를 수행할 수 있습니다. 관리형 재해 복구를 사용하려면 새로운 Mission Critical 애드온이 필요하며, 이를 통해 관리형 재해 복구와 기존의 향상된 보안 및 규정 준수 기능을 모두 사용할 수 있습니다.

크로스 포맷, 크로스 플랫폼 상호 운용성

Unity Catalog는 Delta Lake 및 Apache Iceberg 에코시스템 전반에서 가장 포괄적이고 개방적인 카탈로그로, Iceberg v3 GA, 관리형 Iceberg GA, 새로운 페더레이션 커넥터, 크로스 엔진 ABAC를 포함한 최근의 발전을 보여주고 있습니다. 이번 Data + AI Summit에서는 한 걸음 더 나아갑니다:

• 관리형 Delta 테이블에 대한 외부 액세스(퍼블릭 프리뷰): 이제 Spark 및 Flink와 같은 외부 엔진이 Unity Catalog 관리형 Delta 테이블을 생성하고 여기에 쓸 수 있습니다.
• 개방형 포맷의 멀티모달 데이터(베타): 새로운 FILE 유형을 통해 관리형 Delta 및 Iceberg 테이블이 PDF, 이미지, 오디오, 비디오와 같은 비정형 데이터를 기본적으로 거버닝할 수 있습니다.
• Delta 및 Iceberg v3의 지리 공간 유형(GA): 경로 최적화, 차량 분석, 지오펜싱 기반 위험 모니터링과 같은 사용 사례를 위한 네이티브 지리 공간 지원을 제공합니다.

개방형 공유 및 협업 에코시스템

5년 전, Databricks는 Delta Sharing 프로토콜을 통해 개방형 공유 및 협업을 개척했습니다. 이 프로토콜은 현재 수천 개의 기업에서 사용하는 안전한 제로 카피 데이터 공유를 위해 가장 널리 채택된 개방형 프로토콜입니다. 이러한 모멘텀을 바탕으로 지난주 Databricks는 Delta Sharing의 차세대 진화인 OpenSharing을 발표했습니다. 이제 Linux Foundation의 프로젝트가 된 OpenSharing은 에이전트 기술(Agent Skills), AI 모델, 비정형 데이터를 포함한 AI 자산을 안전하게 공유하기 위한 최초의 개방적이고 벤더 중립적인 프로토콜을 도입합니다.

협업을 지원하기 위한 여러 가지 새로운 기능을 발표합니다:

• 크로스 클라우드 공유: SecureConnect는 제로 카피 데이터 공유를 통해 클라우드 간에 안전한 연결을 지원하는 최초의 기능입니다. Global Distribution 은 클라우드와 리전 간의 자동화된 복제를 지원합니다.
• 멀티모달 협업: 데이터를 넘어 이제 AI 자산 및 애플리케이션에서도 협업할 수 있습니다. Genie Sharing 은 Genie 에이전트에 대한 조직 간 협업을 지원합니다. 3rd Party Apps도 이제 Databricks 마켓플레이스(Databricks Marketplace)에서 사용할 수 있습니다.

Unity Catalog 시작하기

Unity Catalog는 업계 유일의 통합 거버넌스 레이어이자 안전하고 지능적이며 비즈니스를 잘 이해하는 데이터 플랫폼의 기반으로서 계속해서 발전하고 있습니다. AI 에이전트를 구축하든, BI 대시보드를 제공하든, 조직 간에 데이터를 공유하든 관계없이 Unity Catalog는 단일 개방형 카탈로그를 통해 이 모든 것을 연결합니다.

시작하려면 AWS, Azure 및 GCP용 Unity Catalog 가이드를 따르세요.

Data + AI Summit에 등록하고 거버넌스 및 보안 세션을 살펴보세요.

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)