Fizz、Databricks SQLでeコマース分析を高速化

Databricks SQLは、私たちがやりたいことのほぼすべてを可能にします。これは、完全なデータインテリジェンスを備えたオールインワンのプラットフォームです。ほとんど自動で動作するため、心配することなく構築に集中できます。— Tamas Bacskai, Head of Data, Fizz.hu

Fizz.huは、OTPグループが支援する急成長中のeコマースマーケットプレイスです。OTPの「beyond banking」戦略の一環としてわずか2年前にローンチされたFizzは、500以上の加盟店を抱え、エレクトロニクス、家庭用品などで150万以上のアクティブな商品オファーを提供しています。

当初からデータは優先事項でした。しかし、同社はMicrosoft SQL ServerとPower BIというシンプルな基盤からスタートし、レポート作成のために日次バッチロードを実行していました。商品カタログが拡大し、新しいユースケースが登場するにつれて、そのセットアップは限界を見せ始めました。

Fizzは、従来のデータウェアハウス以上のものを必要としていました。SQL、Python、そして将来のAIイニシアチブを、運用上の複雑さを増すことなくサポートできるオールインワンプラットフォームが必要だったのです。チームはDatabricks SQLにそれを見出し、ビジネスと共にスケールするように構築されたレイクハウスアーキテクチャへの移行を決定しました。

3ヶ月で実現した、現実的な移行

Tamas Bacskaiがデータ責任者として着任したとき、彼の使命は明確でした。データ中心のチームを構築し、スケーラブルな将来パスを定義することです。既存のSQL Server環境は基本的なウェアハウスとして機能していましたが、Pythonワークロードは別の仮想マシンで実行され、ガバナンスは限定的で、スケールアップはインフラコストの増加を意味していました。

チームは3つの選択肢を評価しました。1つ目は、引き続きウェアハウジングにのみ焦点を当てること。2つ目は、高度なワークロードを別の開発チームに分割すること。3つ目は、SQLとPythonを統合できるレイクハウスアーキテクチャを採用することです。Bacskai氏によると、レイクハウスモデルは、機械学習やAIへの将来的な拡張を含む、「すべての条件を満たしました」。

完璧な再設計を目指すのではなく、FizzはMVP（Minimum Viable Product）ファーストのアプローチを取りました。外部パートナーの支援を受け、約50のテーブルといくつかのストアドプロシージャを移行し、Databricks SQLでコアビューを再作成しました。目標はシンプルでした。レポートを実行し続け、新しいエンジンに接続することです。

Bacskai氏は、「それは型破りでした」と述べています。「すべてを書き直すような完璧な移行は望んでいませんでした。可能な限り迅速に移行し、後で洗練・近代化したいと考えていました。データがDatabricksにあれば、それははるかに簡単になります。」

3ヶ月後、従来のSQL Serverは完全に停止されました。Power BIレポートは、Databricksによって引き続きシームレスに動作しました。「不可能ではありませんでした、ただ野心的だっただけです」とBacskai氏は言い、「しかし、予測可能で達成可能でした。」

レポート作成の高速化とサービスレベルの向上

直接的な影響はパフォーマンスにありました。以前は、日次のETLサイクルに3〜4時間かかることがあり、レポートは午前7時または8時まで確実に利用できませんでした。これは、より早く一日を始めるビジネスユーザーとの間に摩擦を生じさせていました。

Databricks SQLにより、Fizzは夜間のエンドツーエンドの処理時間を約90分に短縮しました。レポートは現在、週末や休日でも午前4時30分までに確実に準備されます。Power BIの更新サイクルは約50%短縮され、ギガバイト規模のエクスポートも数分で完了するようになりました。

この成果は、過剰にプロビジョニングされたインフラストラクチャによるものではありません。Fizzは比較的穏やかなワークロード（ブロンズ層とシルバー層全体で合計約10 TB）を実行していますが、新しいSQLエンジンと自動最適化機能により、継続的なチューニングなしで測定可能な改善が実現しました。

Bacskai氏は、「単に、より多くのお金やより大きなクラスターを投入したわけではありません」と明確に述べています。「SQL実行エンジンが単純に速くなったのです。自動最適化され、すべてが整っています。」

同様に重要なのは、DatabricksがPythonを実行するための別個の環境の必要性をなくしたことです。すべてのジョブが現在プラットフォーム内でネイティブに実行され、運用が簡素化され、将来の機械学習イニシアチブのためのクリーンな基盤が構築されました。

AIとセルフサービスによる機能拡張

当初から、FizzはAIの野心を制限しないプラットフォームを望んでいました。移行中であっても、チームは機械学習、生成AI、およびより高度なデータガバナンスに対する需要の高まりを予測していました。

現在、Databricksは単一の環境でSQL、Python、および機械学習ワークロードをサポートできます。チームは、GDPRおよびEU AI法への対応を強化するために、マスキングポリシーとガバナンス制御を検討しています。AIを活用したSQL関数は、商品名のクリーニングと標準化に役立ち、複雑な正規表現への依存を減らし、データ準備を加速します。

Databricks Genieを通じて、セルフサービス分析も拡大しています。ビジネスユーザーは、SQLを書かずにハンガリー語で自然言語の質問をすることができます。現在約20人のアクティブユーザーがGenieを利用しており、以前はアドホックなリクエストに回答するために費やされていたアナリストの時間の約20%を解放し、チームはより付加価値の高い取り組みに集中できるようになりました。

Bacskai氏は、「Genieの設定はまだ完了していませんが、質問するためにSQLを学ぶ必要がないということです。データとチャットするだけでいいのです。」と述べています。

成長中のeコマース企業にとって、その価値はスピードを超えて広がります。Databricksは、マーケティングデータ統合からモデルサービングエンドポイントまで、新しいユースケースに対応できる、統一されたAI対応の基盤を提供し、管理のためにチームを増員する必要もありません。

Bacskai氏は、「Databricks SQLは、私たちの予想をはるかに上回るものでした」と述べています。「私たちが喜んで取り組めるものです。私たちが望むすべてを実行できるので、ただ構築し、望むものを作成することができます。」

(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事