Governance Hub 소개: Databricks 자산에 대한 지능형 계정 수준 거버넌스

귀사의 FinOps 책임자는 수십 개의 쿼리와 대시보드를 유지 관리할 필요 없이 Databricks 비용을 쉽게 드릴다운하고 비용을 유발하는 요인을 파악할 수 있어야 합니다. 데이터 거버넌스 팀은 분류 커버리지를 추적하기 위해 자체 도구를 구축했지만, 이는 이미 구식이 되었습니다. AI 배포 팀은 개발자가 어떤 모델과 에이전트를 사용하고 있는지 파악해야 합니다.

이는 저희가 고객들로부터 반복해서 들었던 이야기입니다. 여러 리전에 걸쳐 수백 개의 워크스페이스에서 Databricks 자산을 관리하는 거버넌스 담당 팀은 필요한 인사이트에 액세스하지 못하는 경우가 많습니다. 액세스할 수 있더라도 데이터가 시스템 테이블, 워크스페이스 수준 뷰, 서드파티 도구에 분산되어 있습니다. 바로 이 문제를 해결하기 위해 Governance Hub가 출시되었습니다. AWS, Azure, GCP 전반에서 데이터 상태, AI 사용량, 비용을 중앙 집중식 계정 수준에서 보여주며, 우선순위가 지정된 권장 사항을 제공합니다. 현재 Beta 버전으로 제공됩니다.

가장 필요한 팀을 위해 구축되었습니다. Governance Hub는 도메인 전반의 거버넌스를 담당하는 플랫폼 및 거버넌스 팀을 위해 설계되어, 단일 워크스페이스에 제한되지 않고 중요한 사항을 드릴다운할 수 있는 기능을 제공합니다. 또한 관리자가 병목 현상을 일으키지 않으면서 계정을 감독하고, 권한을 위임하며, 조직의 규정 준수 상태를 유지할 수 있도록 지원합니다.

자산 전반에 숨겨진 메타데이터 공백 발견하기

Governance Hub 이전에는 어떤 테이블에 태그, 소유권 또는 문서화가 누락되었는지 확인하려면 시스템 테이블을 직접 쿼리하거나, 감사 또는 액세스 요청이 지연될 때 비로소 어렵게 알아내야 했습니다. 이제 데이터 페이지에서 보유 자산 수, 태그 지정·소유권 설정·분류가 완료된 자산의 비율, 관리 수준이 미흡한 자산 등을 한눈에 확인할 수 있습니다. 진정한 강점은 드릴다운 기능에 있습니다. 자산 인벤토리를 클릭하면 필수 태그나 설명이 누락된 테이블과 스키마가 무엇인지, 그리고 어디서부터 공백을 메워야 할지 정확히 확인할 수 있습니다. 데이터 품질을 클릭하여 비정상적이거나 문서화되지 않은 메타스토어를 찾아내세요. 페이지를 벗어나지 않고도 정책 생성, 값 편집, 권한 부여 등 거버넌스 태그를 관리할 수 있습니다.

주체(Principal)별 액세스 인사이트 보기

"이 사용자가 실제로 쿼리할 수 있는 것은 무엇인가?"라는 질문에 답하려면 예전에는 수십 개의 소스에서 데이터를 병합하고, 그룹 멤버십을 수동으로 확인하며, 개별 보안 대상 객체 전반의 소유권을 추적해야 했습니다. 계정이 확장됨에 따라 이 질문은 답하기가 훨씬 더 어려워지는 동시에 훨씬 더 중요해집니다.

Access Insights는 이를 단일 주체 중심 뷰로 대체합니다. 사용자, 그룹 또는 서비스 주체를 선택하면 직접 부여된 권한, 그룹 멤버십을 통해 상속된 액세스 권한, 소유한 객체를 포함하여 계정 전반에서 액세스할 수 있는 모든 항목을 확인할 수 있습니다.

카탈로그나 권한별로 필터링하여 몇 초 만에 실제 질문에 대한 답을 얻으세요. 최종 사용자가 테이블에 액세스할 수 있거나 없는 이유를 디버깅하고, 협력업체를 온보딩하기 전에 그룹의 액세스 권한을 검토하며, 서비스 주체가 액세스할 수 있는 항목을 감사하거나, 퇴사하는 직원이 소유한 모든 자산을 오프보딩 전에 식별할 수 있습니다.

Governance Hub의 Access Insights를 사용하면 단일 화면에서 이러한 질문을 비롯한 다양한 질문에 대한 답을 얻을 수 있습니다.

예상치 못한 AI 비용 발생을 조기에 감지하세요

AI 도입이 가속화되면서 조직 전체에서 AI가 실제로 어떻게 사용되고 있는지에 대한 의문도 커지고 있습니다. Unity AI Gateway 는 모델, 에이전트, 도구, MCP 전반에서 사용량, 액세스, 비용을 관리할 수 있는 단일 거버넌스 창을 제공합니다. 조직에서 Databricks 호스팅 모델을 사용하든 외부 호스팅 모델을 사용하든 관계없이, AI Gateway는 모든 AI 트래픽에 대해 통합된 거버넌스를 제공합니다.

Governance Hub의 AI 버티컬은 Unity AI Gateway를 통해 흐르는 트래픽에 대한 상세한 관측 가능성(observability)을 제공합니다. AI 페이지는 토큰 소비량, 모델 활동, 사용자별 비용, 가드레일 커버리지를 한곳에서 추적합니다. 어떤 모델이 가장 활성화되어 있는지, 어떤 사용자가 비용을 유발하는지, AI 예산이 계획대로 집행되고 있는지 확인하세요. 사용자가 임계값을 초과하면 즉시 표시됩니다.

인지하지 못했던 태그 미지정 비용 찾기

비용(Cost) 페이지에서는 지난 30일간의 지출, 당월 누계, 일일 평균을 각각 이전 기간과 비교하여 보여줍니다. 하지만 가장 가치 있는 인사이트 중 하나는 태그 지정된 비용입니다. 즉, 실제 비용 중 몇 퍼센트가 귀속되었는가 하는 점입니다. 클릭 한 번으로 Governance Hub가 태그가 지정되지 않은 리소스를 자동으로 필터링하여, 내부 정산(chargeback) 및 예산 수립 프로세스에서 보이지 않던 비용을 드러내 줍니다.

어떤 타일에서든 Explorer를 열어 제품, 워크스페이스, 리소스 또는 태그별로 세분화하여 분석할 수 있습니다. 클릭 두 번만으로 상위 수준의 KPI에서 워크스페이스 내 주요 작업(job), 클러스터, 엔드포인트, 웨어하우스와 같은 세부 정보로 바로 이동할 수 있습니다.

자율적인 에이전트 기반 거버넌스를 위해 Genie 활용하기

Governance Hub는 Genie와 통합되어 있어 사전 구축된 뷰나 정적 대시보드 그 이상을 활용할 수 있습니다. "왜 비용이 급증했나요?" 또는 "마스킹 정책이 없는 민감한 데이터가 포함된 테이블을 보여줘"와 같은 질문을 던지면, 실제 거버넌스 데이터를 기반으로 한 답변과 권장 사항을 얻을 수 있습니다. SQL은 필요하지 않습니다. 머지않아 Genie는 정책 구성, 알림 설정, 권한 사항 적용 등 사용자를 대신해 직접 조치를 취할 수도 있게 됩니다.

Genie는 각 버티컬(데이터, AI, 비용)의 맥락을 이해하므로, 토큰 사용량 급증을 조사하든 분류되지 않은 자산을 추적하든 쿼리를 작성하는 대신 몇 초 만에 답을 얻을 수 있습니다.

시작하기

계정 관리자는 계정 콘솔의 Previews 페이지에서 Governance Hub를 활성화할 수 있습니다. 계정 관리자는 전체 액세스 권한을 가지며, 워크스페이스 관리자는 해당 워크스페이스의 비용 및 AI 정보를 볼 수 있고, 메타스토어 관리자는 해당 메타스토어의 데이터를 볼 수 있습니다. Governance Hub는 기존 권한을 준수하므로 새로 구성할 액세스 제어가 없습니다.

이것은 시작에 불과합니다. 성능 및 보안에 대한 인사이트, 위임 가능한 조치 가능한 권장 사항, 대규모 거버넌스를 위한 에이전트 기능 등이 곧 추가될 예정입니다.

지금 계정 콘솔에서 Governance Hub를 활성화하세요

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)