Ray × DatabricksでAIモデル開発をスーパーチャージ：データ並列＆タスク並列の力

最適なインフラで最大の影響を：小売業界のAIにおいて並列処理が重要な理由

正確な売上予測は、旅行業界や小売業界を含むあらゆる業界で顧客満足度を向上させます。Pilot Company は 900 以上の拠点を運営しており、その事業運営は、お客様にサービスを提供するための迅速で信頼性の高い予測に依存しています。未活用のコンピュートや長いモデルサイクルといった従来のボトルネックは、予測の陳腐化につながり、お客様の体験に悪影響を及ぼす可能性がありました。

Pilot Company は、インフラストラクチャの支出を増やすことなく、頻繁で詳細な予測を可能にする AI パイプラインを必要としていました。従来のバッチまたは手動による再トレーニング方法では追いつけませんでした。

これらの課題に対処するため、Pilot Company は以下を活用しました。

• Databricks Sparkクラスター（ランタイム 16.4）：ETL（抽出、変換、ロード）、ビッグデータの準備、パーティショニングに使用
• 統合され、統制されたストレージとシームレスなアクセスを実現するLakehouse アーキテクチャ
• チームの安全なデータ共有のためのDatabricks Unity Catalog
• Managed MLflow：エクスペリメントの追跡と再現性の確保に使用

Spark のデータ並列処理の上に Ray のタスク並列処理を重ねることで、Pilot Company はエンドツーエンドのモデル構築を効率化できます。新しいデータが利用可能になるとすぐにモデルが再トレーニングされるようになり、インフラストラクチャの効率が目に見えるビジネス上のメリットに変わります。

並列処理の実践: データ準備からモデルチューニングまで

小売売上向けの精度の高い予測モデルを構築するには、いくつかのステップが必要です。

Spark によるデータ並列処理

Sparkでは、データはパーティションに分割されます。各エグゼキューターは、RDDまたはDataFrame全体で高階関数とラムダ関数（map、filterなど）を使用し、これらを並列で処理します。これにより、ETL、バッチ処理、特徴量エンジニアリングをシームレスにスケーリングでき、データの準備と変換にかかる時間が大幅に短縮されます。

Ray によるタスク並列処理 — Databricks 上

Ray を使用すると、何千ものモデル トレーニングやハイパーパラメーターチューニングのジョブを同時に実行でき、タスクごとに最適な CPU または GPU の割合を割り当てることで、クラスター使用率を最大化します。たとえば、Ray は 52 コアのクラスター全体で 1,400 以上の時系列モデルを一度にファインチューニングし、コンピュートの供給をjobの需要に合わせることができます。

Databricksとの統合によりApache Arrowを介したインメモリ転送が可能になり、Sparkのデータ環境からRay主導の機械学習タスクにI/Oボトルネックなしで移行できます。

タスク並列処理は、モデルのトレーニングとチューニング、特に、小売ネットワーク全体の全店舗における全商品の需要予測のように、何千もの個別モデルを最適化する際に不可欠です。Rayはこの層で優れた能力を発揮し、各モデルのトレーニングやハイパーパラメータ最適化タスクが独立して同時に実行されるよう、ワークロードをオーケストレーションします。

Rayの際立った特徴はリソース効率の高さです。何千もの並列タスクを管理できるだけでなく、複雑さに応じて各タスクに特定の数、あるいはCPUやGPUコアの小数部分まで割り当てることで、適切な量のコンピュートリソースを動的に配分します。例えば、Rayは0.25、0.5、または1つのCPUコア（あるいは1つのCPUと0.5のGPUの組み合わせなど）といった単位で異なるJobにリソースを割り当て、クラスター全体の使用率を最大化できます。

私たちのベンチマークでは、このきめ細かな並列処理により、52コアのクラスターで1,400以上の時系列モデルを同時にトレーニングおよびチューニングすることが可能になりました。その結果、総処理時間は（Sparkのみを使用した場合の）約3時間から、Databricks上でRayを使用することで30分未満に短縮されました。これは、エンジニアがより多くの作業をより迅速に行えることを意味するだけでなく、利用可能なあらゆるハードウェアがビジネス価値のために最大限に活用されることを保証します。

主なメリット：RayとDatabricksの統合により、Apache Arrowを使ったインメモリデータ転送が可能になります。これにより、面倒なファイルI/Oを行うことなく、機械学習ワークロードをSparkのデータ準備環境からRayを利用したエクスペリメントに直接移行できます。

実環境でのベンチマーク：小売売上の予測

シナリオ

• 目的: 小売売上向けに 1,400 を超える個別の時系列予測モデル (製品と店舗の場所ごとに 1 つ) をチューニングする。
• タスク：豊富で多次元な探索空間を持つOptunaを使用したハイパーパラメータ最適化。

ベースライン: Spark のみ (クラスター 1)

• 6 つのワーカーノード、各 8 コア、61 GB RAM。
• モデルはワーカーノード全体で順次ランされ、一度に処理できるのは 6 つだけです。
• 総実行時間：約2時間47分
• CPU 使用率: わずか 20～25%。

高速化: Ray-on-Spark (クラスター 2)

• 同じハードウェア スタックに Ray クラスターを追加 (Ray ワーカーあたり 4 CPU)。
• Ray によって管理される 52 の並列タスク (6x8+4)。
• 総実行時間: わずか 28 分 12 秒 — 約 8 倍の改善です！
• CPU使用率: 90～95% (ポテンシャルをほぼ最大限に活用)

ビジネスへの影響:

この並列化アプローチは、当社の小売事業における予測を加速させただけでなく、「あらゆる場面でお客様を大切にする」という当社の理念をサポートすべく、Pilot Companyのサプライチェーン、マーチャンダイジング、マーケティングの各チームによる知見の活用方法も変革していきます。予測モデルのトレーニングとチューニングにかかる時間を時間単位から分単位に短縮することで、モデルをはるかに高い頻度で再トレーニングできます。この頻度の増加により、リアルタイムの売上動向、季節性、変化する消費者の嗜好を予測に反映できるようになり、時間のかかるバッチベースのアプローチよりも「現場の状況」をはるかに的確に捉えることができます。

その結果、在庫計画がより正確になり、店舗は必要なものを正確に在庫として抱えることができるようになります。カテゴリーマネージャーにとっては、実用的な知見を迅速に得られることで、需要予測と調達決定の連携をより緊密にすることが可能になります。

最も重要なのは、マーケティングおよびマーチャンダイジングチームが、データドリブンのプロモーションキャンペーンで迅速に対応できるようになることです。最適なタイミングでオファーを開始し、あらゆる場面でお客様を大切にしていることを示します。このクローズドフィードバックループ (最新の店舗レベルのデータに基づいてモデルが継続的に改善される) によって、ビジネスは急速に変化する小売環境において、アジャイルであり続け、ゲスト中心であり続けることができます。

技術的な詳細：その仕組み

• Sparkは売上データをパーティション分割して前処理を行い、モデルで利用できるように特徴量を準備します。
• Ray は、ハイパーパラメータチューニングとモデルトレーニングのオーケストレーションと並列化を行います。各 Ray ワーカーノードは複数のモデルを処理するか、必要に応じて大規模なデータセットを分散トレーニングのために分割します。
• データはシームレスに移動します。DatabricksのArrowベースのメモリ統合により、SparkとRay間でデータがシームレスに移動し、低速なディスク書き込みやストレージのボトルネックが回避されます。

簡単なコード例:

• Optunaで探索空間を定義します。
• Ray の tune ライブラリを使用して、並列分散モデルのトレーニングとハイパーパラメータ検索を実行します。
• Logsと使用状況を監視し、ハードウェアがビジネス価値のために最大限に活用されていることを確認します。

Spark、Ray、またはその両方を使用する場面

• Spark: ETL、大規模データ処理、ストリーミング/バッチワークフロー、特徴量エンジニアリングに最適です。
• Ray: ハイパーパラメーターチューニング、ディープラーニング、強化学習、および高性能コンピュート タスクに最適です。
• 組み合わせ: エンドツーエンドの AI パイプラインに Spark と Ray を使用します。Spark による準備/特徴量エンジニアリング、Ray によるトレーニング/チューニング/実験など、すべてを最小限の摩擦で実行できます。

モデルトレーニングの変革：今後の展望

Spark によるデータ並列処理と Ray によるタスク並列処理の組み合わせは、特に統合された Databricks スタックでランされる場合、AI/機械学習 チームが従来のボトルネックを打破することを可能にします。実行時間は大幅に短縮され、コンピュート使用率は飛躍的に向上し、エンタープライズでの導入ははるかにコスト効率の高いものになります。

Databricks Spark クラスタに Ray を追加すると、大規模な機械学習のモデル構築時間が短縮され、組織は新たなスピードと精度で予測、計画、競争できるようになります。

Databricksデータインテリジェンスプラットフォームで、可能性を再定義しましょう。詳細はこちら。