Databricks의 내부 레이크하우스에는 엔지니어링, GTM, HR, 재무 및 제품 텔레메트리에 걸쳐 10만 개 이상의 테이블이 있습니다. Unity Catalog를 도입하기 전에는 거버넌스가 일관되지 않았습니다. 팀마다 액세스 패턴이 달랐고, 분류가 불완전했으며, 어떤 데이터 세트가 AI 학습에 안전한지 누구도 확신할 수 없었습니다. 데이터 플랫폼 팀은 거버넌스를 기초부터 다시 구축했습니다. 이들은 Databricks의 거버넌스를 자동화하고 측정 가능하게 만들었으며, 에이전틱 AI 시대를 대비할 수 있도록 준비했습니다. 그 과정을 소개합니다.
'이 데이터가 거버넌스 하에 관리되고 있는가?'라는 질문에 아무도 답할 수 없을 때
Databricks는 빠르게 성장하고 있었고, 데이터는 그보다 더 빠르게 늘어났습니다. 수십 개의 팀, 워크스페이스, 카탈로그에 걸쳐 10만 개 이상의 테이블이 흩어져 있었습니다. 팀마다 액세스를 관리하는 방식이 달랐고, 분류는 일관되지 않거나 아예 누락되어 있었습니다.
이러한 마찰은 이론적인 문제가 아니었습니다. 보안, 법무, 엔지니어링 팀은 컴플라이언스 검토 시 기본적인 질문에 답하기 위해 스프레드시트를 확인하느라 몇 시간씩 허비해야 했습니다. 데이터 세트가 개인정보 보호 요건을 충족하는지 누구도 확인할 수 없어 새로운 AI 프로젝트가 지연되었습니다. 팀에서 모델을 학습시키고자 할 때, 학습 데이터가 제대로 분류되었는지, 거버넌스 하에 있는지, 심지어 최신 데이터인지 체계적으로 확인할 방법이 없었습니다.
“모든 사람이 모든 단일 테이블과 모든 단일 작업에 대해 읽기 및 쓰기 권한을 가지고 있었습니다”라고 Databricks의 엔지니어링 부문 시니어 디렉터이자 데이터 플랫폼 총괄인 Bruce Wong은 말합니다. “단일 진실 공급원(Single Source of Truth)이 없었던 것뿐만 아니라, 수많은 소스가 존 재했고 그 중 진실은 없었습니다.” Wong은 팀이 물려받은 환경을 사일로화되고 거버넌스가 부재하며 확장이 불가능한 '데이터 늪(data swamp)'이라고 설명합니다.
문제는 좋은 의도가 부족해서가 아니었습니다. 팀들은 데이터 품질에 신경을 썼습니다. 하지만 직원 10명과 기가바이트 단위에서 작동하던 거버넌스 모델은 직원 1만 명과 엑사바이트 단위에서는 작동하지 않습니다. 통합된 시스템이 없다 보니 거버넌스는 변화 속도를 따라가지 못하는 수동 프로세스의 짜깁기에 불과했습니다.
그동안 데이터 플랫폼 팀은 데이터 자산을 전면 개편하여 Lakeflow Connect를 통한 SaaS 데이터 수집부터 멀티 클라우드 이식성, 비즈니스 도메인 전반의 페더레이션 분석에 이르기까지 모든 것을 개선했습니다. 회사의 성장에 발맞추기 위해 각 사업 부서가 운영을 지속하려면 신뢰할 수 있고 거버넌스가 적용된 데이터가 필요했습니다. 플랫폼 팀은 파이프라인을 구축하는 엔지니어뿐만 아니라 회사의 모든 분석가, 마케터, 재무 책임자, 영업 담당자에게도 유효한 솔루션이 필요했습니다. Databricks의 시니어 엔지니어링 매니저인 Li Yang은 다른 기술 기업에서 10년간 유사한 확장성 문제를 해결하며 이 과제를 누구보다 잘 알고 있었습니다. “B2B 세계에서 신뢰는 단순한 기능이 아닙니다. 신뢰가 곧 제품입니다”라며, Yang은 “비행 중에 비행기를 고치려는 듯한 기존 모델에서 벗어나야 했습니다”라고 말합니다.
모든 데이터 세트에 대한 분류, 액세스 제어 및 점수 부여
팀은 Unity Catalog의 알파 고객으로 시작하면서 '통제가 아닌 가드레일을 통해 모든 데이터 세트가 기본적으로 신뢰할 수 있고, 거버넌스가 적용되며, AI에 바로 활용될 수 있어야 한다'는 핵심 원칙을 세웠습니다. 이들은 Unity Catalog 덕분에 개별 사용자나 테이블을 관리하는 대신 카탈로그 수준에서 정책 및 거버넌스 결정을 내릴 수 있었으며, 이는 레이크하우스에 접근하는 방식을 근본적으로 바꾸는 패러다임의 전환이었습니다.
첫째, 이들은 Unity Catalog 내에 범용 분류 모델을 구축했습니다. 모든 테이블은 데이터 민감도(Public, Internal, Confidential, Restricted, Highly Restricted) 및 도메인(Engineering, GTM, HR, Finance 등)에 따라 태그가 지정됩니다. 이 태그들은 액세스 권한 적용을 결정하는 거버넌스 영역에 매핑됩니다. 둘째, 액세스 제어를 자동화했습니다. Unity Catalog의 보안 API를 기반으로 구축된 내부 플랫폼인 Fortress는 목적이 제한되고 시간 제한이 있는 액세스를 강제합니다. 더 이상 영구적인 권한 부여는 없습니다. 모든 요청은 사유를 명시해야 하며, 예정된 시간에 만료되고, 완전히 감사 가능합니다.
대규모 환경에서 신뢰도를 측정하기 위해 팀은 모든 데이터 세트에 대해 0에서 100까지의 지속적인 메트릭을 제공하는 데이터 거버넌스 점수(Data Governance Score)를 구축했습니다. 이 점수는 문서화(열에 대한 설명이 있고 테이블에 주석이 달려 있는가?), 신뢰성(데이터 품질 검사를 통과했는가?), 거버넌스(데이터가 분류되고 액세스가 제어되는가?)라는 세 가지 핵심 요소를 평가합니다. 데이터 거버넌스 점수는 리니지(lineage)를 통해 다운스트림으로 전파됩니다. 업스트림 테이블의 신뢰도가 떨어지면 이를 사용하는 모든 테이블에 해당 변경 사항이 자동으로 반영됩니다. Databricks 데이터 플랫폼 팀의 스태프 소프트웨어 엔지니어인 Amit Pahwa는 회사가 암묵적인 지식에 의존하는 방식에서 벗어날 수 있도록 데이터 거버넌스 점수를 설계하는 데 기여했습니다. 그는 구조화된 데이터가 없다면 “신뢰란 사실을 따르느냐 아니면 직감에 따르느냐의 차이와 같다”고 강조합니다.
핵심 거버넌스 레이어 외에도 추가적인 데이터 플랫폼 워크스트림이 플랫폼의 도달 범위를 넓혀줍니다. Lakeflow Connect는 대규모로 안전한 SaaS 수집을 처리하여, 불안정한 커넥터를 메달리온 아키텍처로 데이터를 직접 전송하는 거버넌스 적용 파이프라인으로 대체했습니다. 멀티 클라우드 플랫폼은 AWS, Azure, GCP 전반에서 워크로드의 이식성과 보안을 보장합니다. 페더레이션 분석 레이어는 AI/BI Genie 및 Databricks Apps와 같은 도구를 통해 재무부터 마케팅, 영업 운영에 이르는 각 비즈니스 도메인에 거버넌스가 적용된 데이터에 대한 셀프 서비스 액세스를 제공합니다. Unity Catalog Metric Views를 기반으로 구축된 전용 메트릭 저장소는 회사 전체의 팀들이 모든 핵심 메트릭에 대해 단일 정의를 공유할 수 있도록 지원합니다. Fortress의 도입은 회사의 문화적 전환점이었습니다. "Fortress 도입 전에는 사용자들에게 데이터 액세스 요청이 블랙박스처럼 느껴졌습니다"라며 Yang은 "이제는 정책이 자동으로 적용되는 투명한 셀프 서비스 프로세스가 되어, 엔지니어들이 수동으로 티켓을 승인하는 대신 혁신에 집중할 수 있게 되었습니다"라고 말합니다.
에이전틱 AI가 요구하는, 이미 구축된 거버넌스
데이터 거버넌스 점수는 데이터 플랫폼 팀에 이전에는 전혀 없었던 기능, 즉 어떤 도메인이 규정을 준수하고 있고 어떤 도메인에 주의가 필요한지에 대한 실시간 가시성을 제공했습니다. 이제 10만 개 이상의 모든 테이블이 지속적으로 스캔되고 0에서 100 사이의 신뢰 등급이 지정됩니다. 컴플라이언스 검토로 인해 비상 상황이 발생하는 대신, 팀은 실시간으로 취약한 영역을 발견하고 선제적으로 대응합니다. 보안 및 법무 팀은 스프레드시트를 쫓는 대신 위험을 예방하는 데 시간을 보냅니다.
더 광범위한 영향은 컴플라이언스 준수를 넘어섭니다. 신뢰할 수 있는 데이터는 모든 다운스트림 워크스트림의 속도를 높입니다. 팀에서 모델을 학습시키고자 할 때 거버넌스 점수를 확인하면 데이터가 기준을 충족하는지 즉시 알 수 있으므로, 수동 검토나 승인 대기가 필요하지 않습니다. 메트릭 저장소 덕분에 경영진이 파이프라인, 매출 또는 사용량에 대해 질문할 때 쿼리를 실행하는 사람이나 사용하는 도구에 관계없이 동일한 답변을 얻을 수 있습니다.
하지만 가장 중요한 변화는 팀이 계획하지 않았던 변화였습니다. Wong은 이를 단도직입적으로 표현합니다. “데이터 거버넌스는 에이전틱 AI의 기본 요건입니다.” 사람은 결코 10만 개의 테이블을 일일이 찾아보지 못합니다. 하지만 AI 에이전트는 사람이 절대 발견하지 못할 오래된 데이터, 과도한 권한이 부여된 테이블, 분류되지 않은 데이터 세트를 찾아낼 것입니다. Wong은 “현재 시점에서는 AI가 실제로 할루시네이션(환각)을 일으키기보다 잘못된 데이터를 찾아내어 이를 바탕으로 답변을 제공할 가능성이 더 큽니다”라고 경고합니다. 분류 모델부터 데이터 거버넌스 점수, 리니지 기반의 신뢰 전파에 이르기까지 팀이 수년에 걸쳐 구축한 거버넌스 인프라는 이제 회사 전체의 에이전트를 위한 가드레일 레이어 역할을 하고 있습니다.
오늘날 Databricks의 엔지니어링, 재무, 마케팅, 영업, 심지어 시설 관리에 이르기까지 모든 부서가 이 거버넌스 기반 위에 구축된 에이전트를 사용하고 있습니다. 에이전틱 AI가 생성하는 데이터의 양은 인간이 생성하는 데이터의 양을 능가할 정도로 빠르게 증가하고 있다고 Wong은 예상합니다. 대규모의 인간 사용자를 위해 설계된 거버넌스 구조였기 때문에, 대규모 에이전트 환경에도 그대로 적용될 수 있습니다. 거버넌스를 기초부터 다시 구축한 팀은 이제 회사의 AI 미래를 실현하는 팀이 되었습니다.
