NBCUniversalのシームレスな移行：Databricksでスケーラブルなアナリティクスを実現

世界有数のメディア・エンターテインメント企業であるNBCUniversalは、グローバルな放送、ケーブル、ストリーミングネットワークを通じて比類のないエンターテインメント体験を提供するために、データを活用しています。リアルタイム分析、複雑なデータパイプライン、高度な機械学習を必要とするコンテンツ配信において、同社のデータインフラストラクチャは、ポートフォリオ全体における意思決定を支える極めて重要なビジネス資産となっています。

100年にわたりイノベーションの最前線に立ってきたNBCUniversalは、運用コストを維持しながら、拡大するコンテンツエコシステムを支えるために、データインフラストラクチャを近代化する必要性があることを認識していました。データ量が増大し、分析へのニーズが進化する中、同社はよりスケーラブルで統合されたソリューションを求めました。既存のインフラストラクチャは、中核となる分析ニーズに対応していたものの、柔軟性の向上、高度なワークロードのパフォーマンス改善、そしてコンピューティングコストの最適化による運用効率の強化といった、さらなる改善の余地も浮き彫りにしていました。

「NBCUniversalは、社内のあらゆるチームがデータを実用化し、データへのアクセスを広げるための取り組みを進めてきましたが、これにはより迅速な作業を可能にする新しいソリューションが必要でした」と、NBCUniversalのデータテクノロジー＆プロダクト担当シニアバイスプレジデントであるKevin Hill氏は述べています。「Databricksのおかげで、構築にかける時間を減らし、データの分析により多くの時間を費やすことができるようになりました」

NBCUniversalがデータプラットフォームの近代化に着手した際、その目標は、過剰なプロビジョニングを行うことなく、主要なコンテンツのリリース、授賞式、ライブイベントに合わせて柔軟にスケールできる俊敏性を実現することでした。EXLおよびDatabricksと提携したNBCUniversalは、Databricksのジョブ専用コンピューティングへと移行し、単一のプラットフォーム上で分析とMLを統合。300人のアナリストのスムーズな移行も実現しました。

成果の概要

• ジョブ専用コンピューティングにより、データインフラストラクチャコストを30%削減

• 300人以上のアナリストがDatabricks SQLへスムーズに移行

• 事前にスロットを予約する無駄を省き、高トラフィックイベント時に弾力的なスケーリングを実現

• MLflowとLakeflow JobsによるMLと分析の統合

課題：コストとパフォーマンスのバランス

NBCUniversalがイノベーションを継続する中で、マーケティング、プロダクト、コンテンツなどのチームにわたる組織内の意思決定において、データはさらに重要なものとなりました。既存のアーキテクチャでは、急速に進化する組織を支えるために必要なデータ量やクエリを十分に管理できなくなっていました。 スロットベースの予約モデルにより、これらの並列ワークロードをサポートするために多数のスロットを予約できましたが、結果として多大なコンピューティングコストとリソースの競合が発生していました。

「今日のコンテンツエコシステムが急速に進化する中、社内のパートナーは情報に基づいた意思決定をより迅速に行う必要があります」と、NBCUniversalのデータエンジニアリング担当バイスプレジデントであるLouie Kuznia氏は述べています。「Databricksは、俊敏性やスピードを損なうことなく、NBCUniversalのデータインフラストラクチャの近代化を支援してくれるソリューションを提供してくれました」

コスト面での配慮の変化に加え、機械学習などの高度なユースケースに対する柔軟性の向上や、データリネージに関するガバナンス強化への要望から、NBCUniversalは代替プラットフォームの検討を進めました。

ソリューション：Databricksレイクハウスアーキテクチャ

NBCUniversalは、Databricksおよびグローバルコンサルティング企業である EXLと提携し、 Databricks Data Intelligence Platformへの戦略的移行を実施しました。このパートナーシップにより、EXLの深い移行専門知識とDatabricksの最先端データソリューションが融合し、データエンジニアリング、機械学習、高度な分析をサポートする近代的なデータインフラストラクチャが構築されました。

Databricksの採用は、データワークロードの柔軟性向上や全体的な効率化など、いくつかのメリットをもたらしました。

• 統合分析プラットフォーム： Databricksは、データエンジニアリング、データサイエンス、機械学習、ビジネスインテリジェンス（BI）のワークロードに対応する単一のプラットフォームを提供し、複数の専用ツールを維持する必要性を排除します。

• 柔軟なレイクハウスアーキテクチャ： Databricksは、Delta LakeとApache Iceberg™を、オープンソースのApache Spark™および Lakehouse（Databricks SQL）と組み合わせて活用することで、多様なフォーマットの構造化データと非構造化データの双方を柔軟に処理できるようにします。

• 高度な分析機能： Databricksは、実験追跡やモデルのバージョン管理を行うMLflowのネイティブ統合により、機械学習ワークロードを含む複雑な分析のサポートにおいて優れた性能を発揮します。

• きめ細かなコンピューティング制御： Databricksのアーキテクチャにより、コンピューティングリソースをよりきめ細かく制御できます。各データパイプラインは、共有スロットで競合することなく、専用のコンピューティング上で実行されます。

移行戦略：パートナー主導の段階的アプローチ

Databricksへの移行には、データ構造の変換、コードの修正、データフォーマットの調整、そしてアップストリームとダウンストリームの依存関係の慎重なオーケストレーションが必要です。EXLとDatabricksは共同で、運用の混乱を最小限に抑えながら移行を加速する、包括的で段階的なアプローチを開発しました。

フェーズ1：既存環境の評価

チームはまず包括的な現状把握から開始し、既存のワークロード、テーブル、コードベースのインベントリを作成するとともに、それらの依存関係を徹底的に分析しました。この評価フェーズにより、移行が必要なアーティファクトが特定され、優先度順に整理され、成功基準が確立されました。

フェーズ2：ターゲット状態のアーキテクチャ設計

設計フェーズでは、コストとパフォーマンスを最適化しながら、既存の構成要素をDatabricksの対応する機能にマッピングすることに焦点を当てました。

主な設計決定は以下の通りです。

• ワークスペースアーキテクチャ：Databricksの Well-Architectedフレームワークに従ってワークスペースを構成し、そのベストプラクティスの柱をNBCUniversalの組織構造とセキュリティ要件にマッピングすることで、スケーラブルで安全、かつ将来にわたって有効な環境を確保しました。

• データガバナンス戦略：Unity Catalogを中央ガバナンスレイヤーとして実装しました。

• コンピューティング戦略：各ワークロードの要件に合わせたジョブクラスター構成、インスタンスタイプ、および自動スケーリングポリシーを定義しました。

• ストレージレイアウト：適切なパーティショニング、クラスタリング、および 予測最適化（predictive optimization）を備えたDelta Lakeテーブル構造を設計し、効率的なファイルレイアウト、統計情報、ストレージを自動的に維持して、大規模環境でも持続的なパフォーマンスを実現しました。

フェーズ3：カスタム移行ツールによる概念実証（PoC）

本格的な移行に取り組む前に、EXLはNBCUのワークロードの代表的なサブセットを使用して、ターゲットを絞ったMVPを実行しました。このパイロットフェーズには、移行アプローチを検証することと、広範な取り組みを加速するカスタム自動化ツールを開発することという2つの目的がありました。

MVPの期間中、EXLはNBCUの環境向けに特別に設計された4つの独自のアクセラレータを構築しました：

• SQL翻訳エンジン：SQL構文を分析し、最適化されたSpark SQLに自動的に変換するインテリジェントなコードコンバーター。方言の違い、関数マッピング、パフォーマンスチューニングを処理します。

• オーケストレーションマイグレーター：既存のDAGを解析し、依存関係とスケジュールロジックを維持したままLakeflow Jobsとして再生成するツール。

• データ転送オーケストレーター：テーブルサイズと更新頻度に基づいて最適な転送方法を選択し、データをDelta Lakeに移動する自動パイプライン。

• 検証フレームワーク：ソースシステムとターゲットシステムの間で、クエリ結果、行数、集計統計を比較する包括的なテストスイート。

これらのアクセラレータにより、数か月かかるはずだった手作業が、品質チェック機能が組み込まれた自動化された再現可能なプロセスへと変換されました。

フェーズ4：段階的な戦略的移行

アクセラレータの検証が完了し、ターゲットアーキテクチャが確定したことで、チームは慎重に順序立てられたウェーブ（段階）に沿って移行を実行しました。すべてのワークロードを同時に移行するのではなく、価値が高く複雑性の低いパイプラインを優先する、リスクベースのアプローチを採用しました。

各移行ウェーブは、以下の一貫したパターンに従いました。

1. ワークロードの選択：移行対象となる、関連するテーブルやパイプラインのまとまったグループを特定します。
2. コード生成の自動化：SQL Translation Engineを使用してクエリを変換し、Orchestration Migratorを使用してワークフローを再構築します。
3. データ同期：既存のインフラストラクチャからの増分更新を維持しながら、履歴データを転送します。
4. 品質保証：Validation Frameworkを実行して、データの正確性と完全性を確保します。

この反復的なアプローチにより、チームはビジネスの継続性を維持し、各ウェーブでプロセスを改善し、得られた教訓をその後の移行に適用することができました。

フェーズ5：二重運用による検証

Databricksへの切り替え前の最終フェーズでは、十分な検証期間を確保するために両方のプラットフォームを並行して実行しました。数週間にわたり、NBCUniversalは二重のパイプラインを運用し、既存のプラットフォームとDatabricksの両方で同じ変換を実行して、出力を比較しました。

この並行運用は、いくつかの重要な役割を果たしました。

1. 本番環境での検証：本番環境のデータ量を使用し、実際の運用条件下でDatabricksが生成した出力との整合性を確保します。
2. パフォーマンスのベンチマーク：Databricks環境での実際の実行時間とコストを測定し、従来のパフォーマンスと比較します。
3. 関係者の信頼獲得：ビジネスユーザーや下流の消費者に、移行後もデータの品質と可用性が維持されているという実証的な証拠を提供します。
4. 切り替え計画：レガシープラットフォームを完全に廃止する前に、特別な注意が必要なエッジケースや例外的なシナリオを特定します。

すべての検証指標で一貫した結果が得られた後にのみ、NBCUniversalは最終的な切り替えを進め、新しいプラットフォームに完全な自信を持って、既存のワークロードをパイプラインごとに順次廃止しました。

ビジネスへの影響：30%のコスト削減と戦略的メリット

NBCUniversalの移行結果は、非常に大きく、測定可能なものでした。

• コンピュートコストの削減：「Databricksのジョブ専用コンピュートに移行したことで、NBCUniversalはデータインフラストラクチャ全体のコストを30%削減できました。現在、各パイプラインは独自の専用コンピュートリソースで実行されているため、ピーク時のワークロードに合わせて個別にスケーリングでき、需要が低い時期には自動的にスケールダウンできます」-- Ludwig Kuznia氏（NBCUniversal、データエンジニアリング担当バイスプレジデント）

• 運用の柔軟性の向上： 並行実行モデルにより、ビジネスの需要に対してより俊敏に対応できるようになります。アクセス集中が予想されるイベント（主要なコンテンツのリリースや授賞式など）の際、NBCUniversalは他のワークロードに影響を与えることなく、また事前に予約したものの十分に活用されないスロットを無駄にすることなく、ジョブクラスターの容量を動的にスケールアップできます。

• 統合された分析機能：コスト削減だけでなく、移行によって新たな機能も解放されました。NBCUniversalのデータエンジニアリングチームは、MLflowを通じて統合されたML運用（MLOps）を利用できるようになり、以下のことが可能になりました。

  • 実験の追跡とモデルのバージョン管理

  • トレーニングから本番環境までのMLライフサイクルの合理化

  • Lakeflow Jobsによる自動化されたワークフローの標準化

• データカルチャーの強化： この移行は、組織全体のより広範な変革を促しました。インフラストラクチャ管理を簡素化し、運用オーバーヘッドを削減することで、NBCUniversalはデータエンジニアリングチームとアナリストチームの間で、より俊敏で協調的、かつデータ駆動型のカルチャーを醸成する環境を整えました。チームはインフラストラクチャの制約にとらわれることなく、ビジネス上の課題に集中できるようになりました。

• アナリストのオンボーディングの容易さ：Databricks SQLがANSI SQLに完全準拠していること、また、統合されたワークスペース内でクエリの作成、ダッシュボードの構築、分析を効率化する直感的なプラットフォームのおかげで、この移行により約300名のアナリストが迅速かつスムーズにDatabricksへと移行できました。

結論：コストセンターから戦略的資産へ

NBCUniversalのDatabricksへの移行は、戦略的なテクノロジーの決定がデータインフラストラクチャをどのように変革し、効率性の向上と競争優位性をもたらすかを示しています。EXLと提携し、Databricksのレイクハウスアーキテクチャを採用することで、NBCUniversalは運用コストを削減しただけでなく、チームがより迅速に実験を行い、新しいデータ製品をより早く市場に投入し、視聴者や広告主の変化するニーズに迅速に対応できる、より俊敏で統合されたプラットフォームを実現しました。

新しいプラットフォームにより、NBCUniversalは視聴者のインサイトを迅速に反復し、ほぼリアルタイムで広告製品を最適化し、以前は実行が困難だった、あるいはコストがかかりすぎていた新しい収益化モデルをサポートできるようになりました。低コスト、迅速な意思決定サイクル、そしてデータ、分析、MLのための単一環境の組み合わせにより、データプラットフォームが差別化要因となり、NBCUniversalは視聴者の理解、サービス提供、および拡大において競合他社よりも迅速に行動できるようになります。

開始方法

データインフラストラクチャをモダン化し、同様のコスト削減と分析機能を実現する準備はできていますか？

Databricksにお問い合わせください：

• お客様のユースケースについて、Databricksの Delivery Solutions Architects（DSA）にご相談ください。

  • この移行プロセス全体を通じて、NBCUniversalの担当DSAはEXLと緊密に連携し、お客様の優先事項に沿った戦略を策定しました。DSAは、アセスメントやアーキテクチャから実行、検証に至るまで、チーム間の調整を行い、実装を加速させ、障害を早期に発見します。これにより、リスクを軽減し、迅速なデリバリーに必要な技術的監視を提供します。DSAがどのように移行チームを拡張できるかについては、Databricksのアカウントチームにお問い合わせください。

• EXLのWebサイトにアクセスして、EXLdata.aiを含むソリューションスイートの詳細をご覧ください。

• 移行を加速させるための、パートナー主導の移行オプションを探索する

• 現在の環境のアセスメントから始める

(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事