7-Eleven의 Unity Catalog 성공 여정

7-Eleven, Inc.는 전 세계 85,000개 이상의 매장을 운영하며 매일 수백만 명의 고객에게 서비스를 제공합니다. 이러한 규모의 배경에는 모바일 결제, 로열티 프로그램, 온디맨드 딜리버리, AI 기반 개인화를 지원하는 똑같이 방대한 데이터 플랫폼이 있습니다.

2023년이 되자 이 플랫폼은 한계에 부딪히기 시작했습니다. 플랫폼이 확장됨에 따라 외부 Hive metastore 및 워크스페이스 수준 거버넌스 모델을 포함한 레거시 아키텍처 패턴이 가시성과 일관성을 제한하기 시작했습니다. 메타데이터가 여러 환경에 분산되어 데이터 탐색이 더 어려워지고 신뢰도가 떨어졌습니다. 규정 준수팀은 데이터 액세스에 대한 통합된 계정 수준의 뷰가 없었고, 수천 개의 작업이 하드코딩된 경로, RDD, DBFS 마운트 지점에 의존하면서 기술 부채가 누적되었습니다. 동시에 여러 스토리지 위치와 레거시 워크스페이스에 데이터가 무분별하게 퍼지면서 현대화 작업이 지연되었습니다.

7-Eleven의 엔터프라이즈 데이터 플랫폼(EDP) 팀은 Unity Catalog 로 마이그레이션하면 액세스 제어를 중앙 집중화하고, 규정 준수를 간소화하며, 연합 데이터 아키텍처를 구현할 수 있다는 것을 알고 있었습니다. 이 블로그에서는 Unity Catalog로 마이그레이션한 이유, UCX와 시스템 테이블이 마이그레이션 방향을 재설정하는 데 어떻게 도움이 되었는지, 그리고 UC를 표준화한 후 얻게 된 이점에 대해 살펴보겠습니다.

Data + AI Summit 2025에서 7-Eleven의 세션 을 통해 Unity Catalog로의 마이그레이션에 대해 더 자세히 알아볼 수 있습니다.

미래 지향적인 데이터 거버넌스 전략 구축

7-Eleven에게 Unity Catalog는 단지 거버넌스 격차를 해소하는 것뿐만 아니라 미래를 위한 기반을 구축하는 것이었습니다. 중앙 집중식 액세스 제어, 감사 로깅, 리니지 및 데이터 탐색은 운영을 단순화하고 데이터에 대한 신뢰를 향상시킬 것입니다. 페더레이션 아키텍처를 통해 비즈니스 도메인은 엔터프라이즈 표준을 준수하면서 독립적으로 혁신할 수 있었습니다. 또한 Unity Catalog는 시맨틱 레이어를 통해 비즈니스 지표를 표준화하여 분석 및 보고 전반에 걸쳐 일관된 KPI를 보장했습니다.

하지만 7-Eleven은 소위 브라운필드 마이그레이션에 직면했습니다. 수년간 굳어진 코드 패턴, 수천 개의 테이블과 노트북, 외부 Hive metastore를 중심으로 구축된 작업으로 인해 간단한 리프트 앤 시프트(lift-and-shift)는 불가능했습니다. 팀은 자산을 평가하고, 기술 부채를 해결하며, 일상적인 운영을 중단하지 않고 마이그레이션할 수 있는 체계적인 방법이 필요했습니다.

UCX 및 시스템 테이블을 사용한 원활한 마이그레이션 단계

7-Eleven은 수동 작업을 구조화된 워크플로로 대체하기 위해 Databricks Labs의 오픈 소스 마이그레이션 도우미인 UCX를 도입했습니다. UCX는 자산을 크롤링하여 테이블, 작업, 권한에 대한 포괄적인 인벤토리를 제공하고 '준비도 점수'로 블로커에 플래그를 지정했습니다. 이러한 가시성을 통해 팀은 가장 중요한 사안에 집중할 수 있었습니다.

시스템 테이블 및 리니지 인사이트를 통해 EDP 팀은 비활성 또는 저가치 레거시 작업의 약 40%를 범위에서 제외하면서 가치가 높은 워크플로의 우선순위를 정했습니다. 이 '비즈니스 가치 우선' 접근 방식을 통해 마이그레이션을 관리하기 쉽게 유지하고 이해관계자의 우선순위에 맞게 조정할 수 있었습니다.

주요 단계는 다음과 같습니다.

• ID 연합: UCX가 중첩된 계층 구조에서도 권한 매핑을 자동화하여 워크스페이스 로컬 그룹에서 계정 수준 그룹으로 이동합니다.
• 메달리온 아키텍처 재설계: 마이그레이션 중에 스토리지를 브론즈, 실버, 골드 레이어로 다시 매핑합니다.
• 동기화 및 역동기화를 통한 증분 마이그레이션: 전환 기간에 Hive와 Unity Catalog가 공존하도록 하여 가동 중지 시간과 위험을 최소화합니다.

평가, 계획, 마이그레이션, 검증 및 해체로 구성된 이 단계별 플레이북은 이 프로젝트를 벅찬 과제에서 체계적인 변환으로 바꾸었습니다.

Databricks Unity Catalog로 거버넌스는 강화하고 혁신은 가속화

Unity Catalog를 도입한 7-Eleven은 거버넌스를 획기적으로 간소화하고 새로운 비즈니스 역량을 확보했습니다. 40% 이상의 중복 워크플로를 제거함으로써 팀은 데이터 자산을 합리화하고 운영 오버헤드를 줄였습니다. 이제 거버넌스가 통합되어 모든 데이터 및 AI 자산에 걸쳐 중앙 집중식 감사 로깅, 세분화된 보안 및 데이터 계보 추적이 가능합니다. 플랫폼 팀은 여러 정책 대신 단일 정책 세트를 관리하여 효율성과 보안을 모두 향상시킵니다.

하지만 이점은 단순화 그 이상입니다. 중앙 카탈로그를 통해 여러 사업부의 사용자들은 이제 보고서를 다시 만드는 대신 데이터 자산을 발견 및 신뢰하고, 데이터 계보를 통해 연결 방식을 확인하며, 확신을 갖고 재사용할 수 있습니다. 내장된 감사 기능은 팀이 며칠이 아닌 단 몇 분 만에 '누가 무엇을 쿼리했는가' 와 같은 질문에 답변할 수 있도록 보장하며, 이는 규정 준수를 위한 결정적인 이점입니다.

협업 또한 가속화되었습니다. 이제 데이터 사이언티스트, 애널리스트, 엔지니어는 동일한 거버넌스가 적용된 플랫폼에서 작업하며 여러 도메인에 걸쳐 데이터를 원활하게 공유합니다. 이러한 일관성은 오류를 줄이고 생산성을 높이며 팀이 관리 오버헤드 대신 비즈니스 성과에 집중할 수 있도록 해줍니다.

이러한 거버넌스 개선 외에도 Unity Catalog는 비즈니스 혁신을 촉진하는 새로운 기능을 구현했습니다.

• Delta Sharing 및 Databricks Clean Rooms 는 마케팅 최적화와 안전한 데이터 수익화를 지원합니다.
• 서버리스 클러스터 는 수동 클러스터 관리를 제거합니다.
• AI/BI Genie Spaces 와 연합 도메인을 활용한셀프 서비스 분석 을 통해 비즈니스 팀은 필요한 인사이트에 직접 액세스할 수 있습니다.

7-Eleven의 UC 마이그레이션에서 얻은 교훈

7-Eleven의 UC 마이그레이션은 단순한 기술적 업그레이드 그 이상입니다. 이는 거버넌스를 단순화하고, 여러 사업부에 걸친 통합을 지원하며, 대규모 혁신을 지원하는 등 디지털 변환의 초석이 됩니다.

Unity Catalog로의 마이그레이션은 단순한 '리프트 앤 시프트' 프로젝트가 아니라 전략적인 재설정이었습니다. ``` UCX와 시스템 테이블을 통해 가시성을 확보하고, 마이그레이션을 단계적으로 진행하며 기술 부채를 줄였습니다. 오늘날 모든 데이터와 AI 자산은 통합 거버넌스 모델 하에 있으며, 이는 7-Eleven 전반에 걸쳐 AI를 확장하는 데 필요한 신뢰와 민첩성을 제공합니다. — 가네쉬 수살라, 7-Eleven 아키텍처 및 거버넌스 담당 디렉터

이 여정의 일환으로 Enterprise Data Platform 팀은 복잡한 마이그레이션을 처리하는 다른 기업에 지침을 제공할 몇 가지 모범 사례를 발견했습니다.

• 사전에 철저한 평가에 투자하세요: UCX와 시스템 테이블을 사용하여 기술 부채를 조기에 드러내고, 범위에서 제외할 가치가 낮은 자산을 식별하여 전체 마이그레이션 규모를 줄였습니다.
• ID 및 권한 우선 마이그레이션: 초기에 계정 수준 거버넌스를 구축하여 이후의 모든 단계를 단순화하는 깔끔한 기반을 만들었습니다.
• 마이그레이션을 현대화의 기회로 활용: 팀은 무분별한 확장을 줄이고 패턴을 표준화하며 오랜 기술 부채를 해소하기 위해 메달리온 아키텍처를 채택했습니다.
• 타격을 최소화하도록 작업을 단계적으로 수행: 동기화 및 역동기화를 통해 전환 기간 동안 Hive와 Unity Catalog가 공존할 수 있었으며, 일상적인 운영이 중단 없이 지속되었습니다.

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)