NBCUniversal의 원활한 마이그레이션: Databricks를 통한 확장 가능한 분석 실현

세계적인 미디어 및 엔터테인먼트 기업 중 하나인 NBCUniversal은 글로벌 방송, 케이블 및 스트리밍 네트워크 전반에서 타의 추종을 불허하는 엔터테인먼트 경험을 선사하기 위해 데이터에 의존하고 있습니다. 콘텐츠 제공에 실시간 분석, 복잡한 데이터 파이프라인, 고급 머신러닝이 요구됨에 따라, 이 회사의 데이터 인프라는 포트폴리오 전반의 의사 결정을 지원하는 중요한 비즈니스 자산이 되었습니다.

NBCUniversal은 100년 동안 혁신의 선두에 서 왔으며, 운영 비용을 유지하면서 성장하는 콘텐츠 생태계를 지원하기 위해 데이터 인프라를 현대화해야 할 필요성을 인식했습니다. 데이터 볼륨이 증가하고 분석 요구 사항이 진화함에 따라, 이 회사는 더 확장 가능하고 통합된 솔루션을 모색했습니다. 기존 인프라는 핵심 분석 요구 사항을 지원했지만, 유연성을 높이고 고급 워크로드의 성능을 개선하며 컴퓨팅 비용을 최적화하여 운영 효율성을 강화할 수 있는 기회도 보여주었습니다.

“NBCUniversal은 회사 전반의 팀들이 데이터를 운영하고 데이터에 대한 접근성을 넓기 위한 여정을 이어왔으며, 이를 위해서는 더 빠르게 작업할 수 있는 새로운 솔루션이 필요했습니다.”라고 NBCUniversal의 데이터 기술 및 제품 부문 SVP인 Kevin Hill은 말했습니다. “Databricks 덕분에 데이터를 빌드하는 데 드는 시간을 줄이고 분석하는 데 더 많은 시간을 할애할 수 있게 되었습니다.”

NBCUniversal이 데이터 플랫폼 현대화에 착수했을 때의 목표는 과도한 프로비저닝 없이 주요 콘텐츠 출시, 시상식, 라이브 이벤트에 맞춰 확장할 수 있는 민첩성을 확보하는 것이었습니다. EXL 및 Databricks와의 파트너십을 통해 NBCUniversal은 Databricks의 작업별 전용 컴퓨팅으로 마이그레이션하여 단일 플랫폼에서 분석과 ML을 통합하고 300명의 분석가를 동참시켰습니다.

한눈에 보는 결과

• 작업별 전용 컴퓨팅을 통해 데이터 인프라 비용 30% 절감

• 300명 이상의 분석가가 Databricks SQL에 성공적으로 온보딩

• 사전 예약된 슬롯 낭비 없이 트래픽이 많은 이벤트를 위한 탄력적 확장 가능

• MLflow 및 Lakeflow Jobs를 통한 ML 및 분석 통합

과제: 비용과 성능의 균형 유지

NBCUniversal이 혁신을 거듭함에 따라 마케팅, 제품, 콘텐츠 등의 팀 전반에서 의사 결정을 내리는 데 데이터가 더욱 중요해졌습니다. 기존 아키텍처는 빠르게 발전하는 조직을 지원하는 데 필요한 데이터 양이나 쿼리를 더 이상 충분히 관리할 수 없었습니다. 슬롯 기반 예약 모델을 통해 조직은 이러한 병렬 워크로드를 지원하기 위해 수많은 슬롯을 예약할 수 있었지만, 결과적으로 상당한 컴퓨팅 비용과 리소스 경합이 발생했습니다.

“오늘날 콘텐츠 생태계가 빠르게 진화함에 따라 회사 전반의 파트너들은 정보에 입각한 의사 결정을 더 빠르게 내려야 합니다.”라고 NBCUniversal의 데이터 엔지니어링 부문 VP인 Louie Kuznia는 말했습니다. “Databricks는 민첩성이나 속도를 타협하지 않고 NBCUniversal의 데이터 인프라를 현대화할 수 있도록 지원하는 솔루션을 제공했습니다.”

머신러닝과 같은 고급 사용 사례에 대한 더 큰 유연성, 그리고 데이터 계보에 대한 강화된 거버넌스에 대한 요구와 함께 변화하는 비용 고려 사항으로 인해 NBCUniversal은 대안 플랫폼을 탐색하게 되었습니다.

솔루션: Databricks 레이크하우스 아키텍처

NBCUniversal은 글로벌 컨설팅 기업인 EXL 및 Databricks와 파트너십을 맺고 Databricks 데이터 인텔리전스 플랫폼으로의 전략적 마이그레이션을 실행했습니다. 이 파트너십은 EXL의 깊이 있는 마이그레이션 전문 지식과 Databricks의 선도적인 데이터 솔루션을 결합하여 데이터 엔지니어링, 머신러닝 및 고급 분석을 지원하는 현대화된 데이터 인프라를 구축했습니다.

Databricks와의 협력 결정은 데이터 워크로드에 대한 유연성 향상 및 전반적인 효율성을 비롯한 여러 이점을 제공했습니다:

• 통합 분석 플랫폼: Databricks는 데이터 엔지니어링, 데이터 과학, 머신러닝, 비즈니스 인텔리전스 워크로드를 위한 단일 플랫폼을 제공하므로 여러 전문 도구를 유지 관리할 필요가 없습니다.

• 유연한 레이크하우스 아키텍처: Databricks는 오픈 소스 Apache Spark™ 및 레이크하우스(Databricks SQL)와 함께 Delta Lake 및 Apache Iceberg™을 활용하여 다양한 형식의 정형 및 비정형 데이터를 유연하게 처리할 수 있도록 지원합니다.

• 고급 분석 기능: Databricks는 실험 추적 및 모델 버전 관리를 위한 MLflow의 네이티브 통합을 통해 머신러닝 워크로드를 포함한 복잡한 분석을 지원하는 데 탁월합니다.

• 세분화된 컴퓨팅 제어: Databricks 아키텍처를 사용하면 컴퓨팅 리소스를 더욱 세분화하여 제어할 수 있으며, 각 데이터 파이프라인이 공유 슬롯을 두고 경쟁하는 대신 전용 컴퓨팅에서 실행됩니다.

마이그레이션 전략: 파트너 주도의 단계별 접근 방식

Databricks로 마이그레이션하려면 데이터 구조 변환, 코드 수정, 데이터 형식 조정, 업스트림 및 다운스트림 종속성의 신중한 오케스트레이션이 필요합니다. EXL과 Databricks는 협력하여 운영 중단을 최소화하면서 전환을 가속화하는 포괄적이고 단계적인 접근 방식을 개발했습니다.

1단계: 기존 환경 평가

팀은 포괄적인 디스커버리 단계부터 시작하여 기존 워크로드, 테이블, 코드베이스의 인벤토리를 생성하는 동시에 이들의 종속성을 철저히 분석했습니다. 이 평가 단계에서는 마이그레이션이 필요한 아티팩트를 식별하고 우선순위별로 정리하여 성공 기준을 수립했습니다.

2단계: 목표 상태 아키텍처 설계

설계 단계는 비용과 성능을 최적화하면서 기존 구성을 그에 상응하는 Databricks 구성에 매핑하는 데 중점을 두었습니다.

주요 설계 결정 사항은 다음과 같습니다:

• 워크스페이스 아키텍처: Databricks Well-Architected 프레임워크에 따라 워크스페이스를 구성하고, 모범 사례 핵심 요소를 NBCUniversal의 조직 구조 및 보안 요구 사항에 매핑하여 확장 가능하고 안전하며 미래 경쟁력을 갖춘 환경을 보장합니다.

• 데이터 거버넌스 전략: Unity Catalog를 중앙 거버넌스 레이어로 구현합니다.

• 컴퓨팅 전략: 각 워크로드의 요구 사항에 맞게 조정된 작업 클러스터 구성, 인스턴스 유형 및 자동 확장 정책을 정의합니다.

• 스토리지 레이아웃: 대규모 환경에서 지속적인 성능을 유지할 수 있도록 효율적인 파일 레이아웃, 통계 및 스토리지를 자동으로 유지 관리하는 적절한 파티셔닝, 클러스터링 및 예측 최적화를 통해 Delta Lake 테이블 구조를 설계합니다.

3단계: 맞춤형 마이그레이션 도구로 개념 검증

본격적인 마이그레이션을 진행하기 전에 EXL은 NBCU 워크로드의 대표적인 하위 집합을 사용하여 타겟팅된 MVP를 실행했습니다. 이 파일럿 단계는 마이그레이션 접근 방식을 검증하고 더 광범위한 작업을 가속화할 맞춤형 자동화 도구를 개발하는 두 가지 목적을 수행했습니다.

MVP 기간 동안 EXL은 특히 NBCU 환경에 맞춤화된 4개의 독점 액셀러레이터를 구축했습니다:

• SQL 변환 엔진: SQL 구문을 분석하고 이를 최적화된 Spark SQL로 자동 변환하여 방언 차이, 함수 매핑 및 성능 튜닝을 처리하는 지능형 코드 변환기입니다.

• 오케스트레이션 마이그레이터: 기존 DAG를 파싱하고 종속성 및 스케줄링 로직을 보존하면서 이를 Lakeflow Jobs로 재생성하는 도구입니다.

• 데이터 전송 오케스트레이터: 테이블 크기 및 업데이트 빈도에 따라 최적의 전송 방법을 선택하여 데이터를 Delta Lake로 이동하는 자동화된 파이프라인입니다.

• 검증 프레임워크: 소스 시스템과 타겟 시스템 간의 쿼리 결과, 행 수, 집계 통계를 비교하는 포괄적인 테스트 스위트입니다.

이러한 액셀러레이터는 몇 달이 걸렸을 수동 작업을 품질 검사 기능이 내장된 자동화되고 반복 가능한 프로세스로 전환했습니다.

4단계: 전략적 웨이브에 따른 마이그레이션

액셀러레이터 검증과 타겟 아키텍처 확정이 완료된 후, 팀은 신중하게 순서가 지정된 웨이브에 따라 마이그레이션을 실행했습니다. 모든 워크로드를 동시에 마이그레이션하는 대신 가치가 높고 복잡성이 낮은 파이프라인을 우선시하는 위험 기반 접근 방식을 채택했습니다.

각 마이그레이션 웨이브는 일관된 패턴을 따랐습니다:

1. 워크로드 선택: 마이그레이션을 위해 서로 밀접하게 관련된 테이블 및 파이프라인 그룹을 식별합니다.
2. 자동 코드 생성: SQL Translation Engine을 사용하여 쿼리를 변환하고 Orchestration Migrator를 사용하여 워크플로우를 재구축합니다.
3. 데이터 동기화: 기존 인프라의 증분 업데이트를 유지하면서 이력 데이터를 전송합니다.
4. 품질 보증: Validation Framework를 실행하여 데이터의 정확성과 완전성을 보장합니다.

이러한 반복적인 접근 방식을 통해 팀은 비즈니스 연속성을 유지하고 각 웨이브마다 프로세스를 개선하여 얻은 교훈을 후속 마이그레이션에 적용할 수 있었습니다.

5단계: 이중 운영을 통한 검증

Databricks로 전환하기 전 마지막 단계는 연장된 검증 기간 동안 두 플랫폼을 병렬로 실행하는 것이었습니다. 몇 주 동안 NBCUniversal은 이중 파이프라인을 운영하여 기존 플랫폼과 Databricks 모두에서 동일한 변환을 실행하는 동시에 출력을 비교했습니다.

이러한 병렬 운영은 다음과 같은 여러 중요한 기능을 수행했습니다:

1. 프로덕션 검증: 실제 프로덕션 데이터 볼륨 환경에서 Databricks가 생성한 출력과의 동등성을 보장합니다.
2. 성능 벤치마킹: 기존 성능 대비 Databricks 환경에서의 실제 실행 시간과 비용을 측정합니다.
3. 이해관계자 신뢰: 비즈니스 사용자 및 다운스트림 소비자에게 마이그레이션 후에도 데이터 품질과 가용성이 유지되었다는 실증적인 증거를 제공합니다.
4. 전환(Cutover) 계획: 레거시 플랫폼을 완전히 폐기하기 전에 추가적인 주의가 필요한 예외 상황(edge case)이나 특이 시나리오를 식별합니다.

모든 검증 지표에서 일관된 결과를 얻은 후에야 NBCUniversal은 새 플랫폼에 대한 완전한 신뢰를 바탕으로 기존 워크로드를 파이프라인별로 정리하며 최종 전환을 진행했습니다.

비즈니스 영향: 30% 비용 절감 및 전략적 이점

NBCUniversal의 마이그레이션 결과는 상당하고 측정 가능했습니다:

• 컴퓨팅 비용 절감: “Databricks의 작업별 컴퓨팅으로 전환함으로써 NBCUniversal은 전체 데이터 인프라 비용을 30% 절감했습니다. 이제 각 파이프라인은 자체 전용 컴퓨팅 리소스에서 실행되므로, 트래픽이 몰리는 피크 시간대에는 독립적인 확장이 가능하고 수요가 적은 기간에는 자동으로 축소됩니다.”--Ludwig Kuznia, Vice President, Data Engineering at NBCUniversal

• 운영 유연성 향상: 병렬 실행 모델은 비즈니스 요구에 대응하는 데 더 큰 민첩성을 제공합니다. 대규모 콘텐츠 출시나 시상식 등 트래픽이 많이 발생하는 이벤트 기간 동안 NBCUniversal은 다른 워크로드에 영향을 주거나 미리 예약해 두었지만 사용되지 않는 슬롯의 낭비 없이 작업 클러스터 용량을 동적으로 확장할 수 있습니다.

• 통합 분석 기능: 비용 절감 외에도 마이그레이션을 통해 새로운 기능이 실현되었습니다. NBCUniversal의 데이터 엔지니어링 팀은 MLflow를 통해 통합 ML 운영에 액세스할 수 있게 되었으며, 이를 통해 다음과 같은 작업이 가능해졌습니다:

  • 실험 추적 및 모델 버전 관리

  • 훈련부터 프로덕션까지 간소화된 ML 라이프사이클

  • Lakeflow Jobs를 통한 자동화된 워크플로우 표준화

• 데이터 문화 강화: 이번 마이그레이션은 더 광범위한 조직 변화를 촉진했습니다. 인프라 관리를 단순화하고 운영 오버헤드를 줄임으로써 NBCUniversal은 데이터 엔지니어링 팀과 분석가 팀 간에 더욱 민첩하고 협업적이며 데이터 중심적인 문화를 조성할 수 있는 여건을 마련했습니다. 팀은 인프라 제약 조건 대신 비즈니스 문제에 집중할 수 있게 되었습니다.

• 분석가 온보딩의 용이성: 이번 마이그레이션을 통해 약 300명의 분석가가 Databricks로 신속하고 편안하게 전환할 수 있었습니다. 이는 Databricks SQL의 완전한 ANSI SQL 준수와 통합 작업 공간 내에서 쿼리 작성, 대시보드 생성 및 분석을 간소화하는 직관적인 플랫폼 덕분이었습니다.

결론: 비용 센터에서 전략적 자산으로

NBCUniversal의 Databricks 마이그레이션은 전략적인 기술 결정이 어떻게 데이터 인프라를 혁신하여 더 큰 효율성과 경쟁 우위를 확보할 수 있는지 보여줍니다. EXL과의 파트너십을 통해 Databricks의 레이크하우스 아키텍처를 도입함으로써 NBCUniversal은 운영 비용을 낮췄을 뿐만 아니라, 팀이 더 빠르게 실험하고 새로운 데이터 제품을 시장에 더 일찍 출시하며 변화하는 시청자와 광고주의 요구에 더 신속하게 대응할 수 있는 더욱 민첩하고 통합된 플랫폼을 구축했습니다.

새로운 플랫폼 덕분에 NBCUniversal은 시청자 인사이트를 신속하게 반복 적용하고, 광고 제품을 거의 실시간으로 최적화하며, 이전에는 실행하기 어렵거나 비용이 너무 많이 들었던 새로운 수익화 모델을 지원할 수 있게 되었습니다. 이러한 비용 절감, 빠른 의사 결정 주기, 데이터, 분석 및 ML을 위한 단일 환경의 결합은 데이터 플랫폼을 차별화 요소로 전환하여 NBCUniversal이 경쟁사보다 더 빠르게 시청자를 이해하고 서비스를 제공하며 성장시킬 수 있도록 지원합니다.

시작하기

데이터 인프라를 현대화하고 이와 유사한 비용 절감 및 분석 기능을 실현할 준비가 되셨나요?

Databricks에 문의하기:

• Databricks의 Delivery Solutions Architects(DSA)와 귀사의 사용 사례에 대해 논의해 보세요.

  • 이번 마이그레이션 과정 전반에 걸쳐 NBCUniversal 담당 DSA는 EXL과 긴밀히 협력하여 고객의 우선순위에 맞춘 전략을 수립했습니다. DSA는 구현을 가속화하고, 장애물을 조기에 식별하며, 평가 및 아키텍처 설계부터 실행 및 검증에 이르기까지 여러 팀 간의 조율을 담당하여 위험을 줄이고 제공 속도를 높이는 데 필요한 기술적 감독을 제공합니다. DSA가 마이그레이션 팀의 역량을 어떻게 확장할 수 있는지 알아보려면 Databricks 어카운트 팀에 문의하세요.

• EXL의 웹사이트를 방문하여 EXLdata.ai를 포함한 솔루션 제품군에 대해 자세히 알아보세요.

• 여정을 가속화하기 위해 파트너 주도 마이그레이션 옵션을 살펴보세요.

• 현재 환경에 대한 평가부터 시작해 보세요.

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)