ERGO HestiaがLakebaseとMosaic AI Model Servingで市場投入までの時間を短縮した方法

次世代のリアルタイム価格設定の構築

ポーランドを代表する保険会社の1社であるERGO Hestiaは、100以上のモデルと1,000以上の変数をサポートする大規模な価格設定プラットフォームを運営しています。Databricksのポーランドにおける最大規模のユーザーの1社として、ERGO Hestiaは、ミリ秒単位の最先端の価格設定と業界をリードする実行速度において、強力な能力を構築してきました。

しかし、同チームは保険テクノロジーにおける次の大きなイノベーションを常に追求しているため、リアルタイムのB2C機能を導入することで、収益をさらに最大化する機会があると考えました。既存のアーキテクチャは非常に機能的でしたが、継続的なモデルの更新と即座の顧客対応への移行により、複雑さが増す中でイノベーションのスピードを維持するという新たな課題が浮き彫りになりました。同チームは競争力のある価格設定の技術を極めており、今や次世代のリアルタイム価格配信を開拓する準備が整っていました。

緊密で生産的なパートナーシップに基づき、ERGO HestiaとDatabricksは、次世代のリアルタイム価格設定に向けて従来のアーキテクチャをどのように強化すべきか共同で議論しました。この素晴らしいコラボレーションにより、Lakebaseを使用してオンライン特徴量ストアを提供するとともに、Mosaic AI Model Serving Endpointsを活用して、すべてのデータとロジックをDatabricksエコシステム内に維持するプラットフォームへと進化させました。このアーキテクチャは、データとモデルサービングの両方をレイクハウス内に維持することで、外部システムを排除し、モデルのデプロイ時間を短縮します。Unity Catalogを介してガバナンスを統一することで、チームはデータとモデルの管理を統合し、過去のトレーニングセットやモデルバージョンの完全なトレーサビリティと長期保存を保証します。このアーキテクチャは、価格設定のエキスパートに信頼性の高い監査証跡を提供し、モデルのピークパフォーマンスを維持しながら、すべての決定が完全に追跡可能かつ検証可能であることを保証します。最終的に、この変革により、チームはイノベーションのスピードを加速させ、市場の状況に迅速に対応しながら、最先端の価格設定モデルを継続的に進化させることができるようになります。

課題：摩擦を生むことなくスピードをスケールさせる

従来のアーキテクチャは、Databricksがメダリオンアーキテクチャを通じて価格データをインジェストおよび変換し、処理されたデータセットを外部のAzure PostgreSQLデータベースにエクスポートするという論理的なパターンに従っていました。中間のアダプターレイヤーがキャッシュを処理し、価格設定エンジンにデータを公開していました。スループットが中程度であるうちは、これでうまく機能していました。しかし、データ量が増加し、モデルの反復が加速するにつれて、データをレイクハウスから外部データベース、キャッシュレイヤーを経てアプリケーションへと移動させるマルチホップパターンが、パフォーマンスと俊敏性を制限し始めました。

1. 運用上の複雑さ：外部データベースとカスタムアダプターレイヤーの維持は、抽出ジョブの膨大なメンテナンス負担がこのような重要なユースケースにおける最大の課題となったため、大きな運用オーバーヘッドを生み出しました。さらに、データ処理用のDatabricksや本番サービング用のPostgreSQLを含むシステム間での断片化したデータガバナンス、およびリクエストロジックと統合を処理するカスタムアプリケーションコードへの対応は、リネージの追跡を困難にし、コンプライアンスと監査性が低下することを意味していました。
2. モデルデプロイのスピード：従来のマルチホップアーキテクチャでは、モデルロジックと基盤となるサービングインフラストラクチャとの間で慎重な同期が必要であり、これが調整されたデプロイウィンドウへの技術的な依存関係を生み出していました。チームはすでに迅速に反復するための価格設定の専門知識を持っていましたが、外部データベースとアダプターレイヤーの複雑さにより、システムの安定性を確保するために更新はオフピークの時間帯にスケジュールされることがよくありました。この特殊なオーケストレーションにより、外部アダプターレイヤーにおけるパフォーマンスリスクを避けるため、営業時間中の更新頻度が制限されていました。
3. データの鮮度のボトルネック：大規模なデータのインジェストは、営業時間への影響を避けるために慎重なオーケストレーションを必要とするパフォーマンス上の制約を生み出しました。具体的には、これらの更新によって外部サービングレイヤーで10倍から20倍のレイテンシスパイクが発生することが多く、事実上、データの更新が時間指定のバッチウィンドウに制限されていました。リアルタイムのB2C価格設定への戦略的な移行をサポートするために、チームは、これらの運用上のトレードオフなしに、1日を通じて継続的なデータ可用性を提供できるアーキテクチャを必要としていました。

規制の厳しい業界で1,000以上の変数にわたる100以上のモデルを管理する組織にとって、この断片化は運用上の摩擦とガバナンスリスクの両方を生み出していました。

解決策：レイクハウス内への統合

ERGO Hestiaの変革は、レイクハウス内ですべての業務を統合する3つの主要な技術的柱に基づいて構築されました。

統合データサービングのためのLakebase。Databricks Lakebaseは、Deltaテーブルの真上にリレーショナルなトランザクションレイヤーを直接提供します。Sync Tablesを使用することで、チームは処理済みデータとサービングレイヤー間の継続的かつ自動的な同期を可能にしました。これにより、手動のオーケストレーションや外部の抽出ジョブが不要になりました。その結果、レイクハウス内に存在する、価格設定データの信頼できる唯一の情報源（single source of truth）が実現しました。

直接的なAPIアクセスのためのModel Serving Endpoints。独立したキャッシュレイヤーと外部データベースを持つ中間アプリケーションを経由するのではなく、Model Serving Endpointsは価格設定エンジンアプリケーションにデータを直接公開します。これにより、アダプターレイヤーが完全に排除され、リクエストロジックがDatabricks内でネイティブに維持されるようになります。リクエストは価格設定エンジンからModel Serving Endpointsへ、そしてミリ秒単位で戻るため、クエリの実行とデータサービングを単一の管理されたレイヤーに統合することでアーキテクチャが簡素化されます。

高速なエコシステム統合のためのModel Serving。モデルはまずMLflowに記録され、最適なバージョンがUnity Catalogに登録された後、専用のModel Serving Endpointsを通じて公開されます。このアーキテクチャは、価格設定のエキスパートがDatabricksエコシステム内のライブデータに対してリアルタイムでモデルを検証できる、単一の管理されたプレーンを提供することで、既存のデプロイ機能を拡張します。モデルのライフサイクル全体が基盤となるデータソースにネイティブに接続されたまま、複数のモデルバージョンを同時に実行してA/Bテストや回帰テストを通じてパフォーマンスを比較できます。このアプローチにより、Unity Catalogにおけるデータとモデルサービングレイヤーの両方にまたがる、組み込みのリネージ追跡とガバナンス管理を通じて、完全な可視性が確保されます。

Databricksの既存のETLパイプラインは変更を必要とせず、データはPostgreSQLに抽出される代わりに、単にLakebaseに同期されました。Model Servingは、MLflowに登録され、Unity Catalogに公開され、Model Serving Endpointsを通じて公開された既存のGLMおよびMLモデルを使用できました。デプロイのオーケストレーションには、Azure DevOpsのCI/CDパイプラインが利用されました。

段階的な移行による成功：変革のリスクを軽減する

一斉切り替えを行うのではなく、ERGO Hestiaは確実性とビジネスの継続性を優先した段階的なアプローチを採用しました。チームは、ミッションクリティカルなシステムに拡張する前に、パフォーマンスと安定性を検証しながら、最も重要度の低いエンドポイントから開始しました。価格設定業務は終始中断されることなく継続されました。

フェーズ1：PoC（1〜3週目）

チームは、限定されたポートフォリオセグメントに対応する、小規模で範囲の明確なデータエンドポイントを使用してアーキテクチャを検証しました。既存のDeltaテーブルをLakebaseに同期し、Model Servingエンドポイントを通じて公開しました。Lakebaseの決定的な利点は、コンピューティングとストレージの独自の分離であり、これにより、コンピューティングインフラストラクチャを手動で調整することなく、ピーク時のリクエスト量に合わせてシステムを容易にスケールさせることができました。Databricksは、レイテンシやCPU使用率、スループットやメモリ消費量にわたる組み込みのオブザーバビリティを提供しました。パフォーマンス・テストでは、毎秒40リクエストという高負荷下でも、20ミリ秒のレイテンシと5%未満のCPU使用率を達成し、アーキテクチャが期待を大幅に上回ることが実証されました。この初期の成功により、プロジェクトが本番環境に拡張される前に、アーキテクチャ上のリスクが排除されました。

フェーズ2：本番デプロイ（3〜6週目）

PoCが検証されたことで、チームは重要度の低いエンドポイントから本番環境への移行を開始しました。エンドポイントが移行されるにつれて、それぞれが一貫した結果をもたらしました。Delta LakeとLakebase間の完全なデータ整合性、安定して予測可能なパフォーマンス、そしてレガシーアーキテクチャよりも少ないカスタムコンポーネントです。移行が成功するたびに関係者の信頼が高まり、チームはよりリスクの高いエンドポイントへの拡張を加速させることができました。

フェーズ3：トラフィックスプリッティングと実環境での検証。

一斉にシステムを切り替えるのではなく、ERGO Hestiaは本番環境の規模でトラフィック分割を実施しました。顧客ベースの半分をレガシーシステムに、残りの半分を新しいシステムにルーティングしたのです。このアプローチにより、実際のユーザーの行動や負荷パターンをリアルタイムで観察することが可能になりました。新しい価格設定モデルは、一貫した見積もり生成を実現し、すべてのレイテンシ要件を満たしました。極めて重要な点として、チームは新しいシステムが設計通りに本番環境の負荷を処理できることを検証できました。

このアプローチが成功した理由： 段階的な戦略により、各ステージでのリスクが排除されました。重要度の低い部分での検証により、システム全体に及ぶ壊滅的な障害を防ぐことができました。マイルストーンを達成するごとに組織としての信頼が築かれ、より迅速な展開が可能になりました。本番環境の規模での実環境検証により、アーキテクチャが設計通りに動作することが確認されました。すべてのフェーズを通じて、価格設定業務は顧客に影響を与えることなく、中断されることなく継続されました。

ビジネス成果：イノベーションのスピード向上

モデルの市場投入までの時間を短縮：価格設定の専門家は、モデルをDatabricksのエコシステム内に直接デプロイできるようになり、そこでモデルは最新の本番データと自動的に同期されます。Mosaic AIを通じてモデルをサービングし、Lakebase Online Feature Storeと併用することで、外部モデルの出力とライブデータストリームを同期する際に通常発生するレイテンシを排除できます。この統合により、ERGO Hestiaが本来持つ俊敏性に加え、リアルタイムの市場データと価格設定エンジンの間の直接的な高速接続が実現します。これらの同期されたモデルを実行できることで、市場の状況や競合他社の価格競争に迅速に対応できるようになり、最終的には組織の収益向上につながります。

運用の簡素化：運用の複雑さが、アーキテクチャのシンプルさへと置き換えられました。外部のPostgreSQLデータベースとアダプター層を排除することで、ERGO HestiaはUnity Catalogを使用してスタックを単一のガバナンスモデルの下に統合しました。この移行により、パッチ適用や容量計画の手動オーバーヘッドが排除されると同時に、価格設定リクエストのロジックがDatabricksエコシステム内に一元化されました。ロジックとデータが高性能な環境で共存するようになったことで、エンジニアリングのリソースは、カスタムミドルウェアの保守からモデルのイノベーションの推進へとシフトしています。

統合されたガバナンスとコンプライアンス：規制の厳しい業界において、価格決定の根拠となったデータを正確に証明できることは極めて重要です。すべての価格設定データとモデルをUnity Catalogの下に統合することで、ERGO Hestiaは自動化された監査トレイル、バージョン追跡、およびアクセス制御を実現しました。パイプライン全体でデータの整合性が自動的に検証されるようになり、テストで使用されたロジックが本番環境のロジックと完全に一致することが保証されます。プラットフォームに組み込まれたリネージ機能により、特定の期間にどのモデルがどの顧客に対応したかを即座に特定し、完全に監査することができます。これにより、手動でのコンプライアンス対応業務が不要になります。コンプライアンスチームは、各価格決定の根拠となったデータ、アクセス権を持っていた人物、変更が発生したタイミングを正確に証明できるようになりました。すべてが自動的に記録されるため、手動で再現する必要がなくなり、組織が絶対的な自信を持って収益最大化戦略を拡大するための信頼の基盤が構築されます。

今後の展望：企業全体へのイノベーションの拡大

価格設定部門の成功は、他の価格設定領域へと拡大するための設計図（ブループリント）となっています。ERGO Hestiaは現在、LakebaseとModel Servingのアーキテクチャを、より広範な価格設定組織全体に展開しています。各領域は、意思決定エンジンをレイクハウスプラットフォーム内に統合し、統一されたガバナンスのもとでモデルとデータをファーストクラスのサービスとして提供することになります。

重要度の低い小規模なエンドポイントでの初期検証により、このアプローチの有効性が証明されました。現在、価格設定部門は、同じ段階的なプレイブックを使用して、より大規模で重要なワークロードや大容量のデータベースへと拡張を進めています。より重要度の高いデータセットや複雑なモデルには、より厳格な検証が必要となりますが、段階的な移行パターン自体は変わりません。

目標は明確です。すべての価格設定領域がLakebaseへの移行を完了した時点で、外部のAzure PostgreSQLデータベースを廃止することです。各領域の移行が次の移行への自信につながり、Databricksネイティブな統合価格設定インフラストラクチャの構築に向けた全体のスケジュールが加速します。

価格設定業務にとどまらず、すべての価格設定データをレイクハウス内に統合することで、新たな可能性が広がります。価格インテリジェンスがDatabricksに一元化されることで、チームはAI/BI Genieを活用して、エンジニアリングのサポートを受けることなく、価格パターンの調査、インサイトの発見、臨時のビジネス上の質問への回答を行うことができます。価格設定エンジンに提供されているものと同じデータが、ビジネスインテリジェンスやAI主導のデータ探索にも活用されるようになり、レイクハウスへの投資価値が何倍にも高まります。

この実証済みのパターンは、他の業務部門が外部への依存関係を排除し、独自の意思決定スピードを向上させるためのテンプレートとなります。

まとめ

ERGO Hestiaの変革は、あらゆる業界に適用できる原則を示しています。それは、統合されたプラットフォームへの集約が、運用を簡素化しながらイノベーションのスピードを加速させるということです。データとモデルがDatabricks LakebaseおよびModel Servingを通じて直接提供されるレイクハウスネイティブなアーキテクチャに移行することで、価格設定部門はより迅速で信頼性が高く、持続的なイノベーションが可能な組織へと生まれ変わりました。

ミリ秒単位で勝負が決まる市場において、差別化要因はもはやモデルそのものだけではなく、現実の変化にリアルタイムで対応できるアーキテクチャです。Unity CatalogにおけるネイティブなA/Bテスト、自動化されたガードレール、継続的な監査トレイルにより、すべての決定の追跡可能性が確保され、設定されたリスク許容範囲内に収まるようになります。

このアーキテクチャは、より広範なERGO組織、および市場への影響力と収益拡大を最大化するためにミリ秒単位の価格設定エンジンの導入を目指すすべての企業にとって、実用的なリファレンスとなります。業界における問いは、もはやリアルタイム価格設定の技術的な可能性ではなく、それを現実にするアーキテクチャをいかに迅速に導入できるかという点に移行しています。

(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事