生成AIによる時系列予測入門

生成AIによる時系列予測入門

時系列予測は、数十年にわたりエンタープライズリソースプランニングの基盤となってきました。将来の需要予測は、在庫数、雇用すべき人員、生産・履行インフラへの資本投資、商品やサービスの価格設定といった重要な意思決定を導きます。正確な需要予測は、これら多くのビジネス上の意思決定に不可欠です。

しかし、予測が完璧であることは稀です。2010年代半ば、計算能力の制約や高度な予測機能へのアクセス制限に直面していた多くの組織では、予測精度がわずか50〜60%であったと報告されています。しかし、クラウドの普及、よりアクセスしやすい技術の導入、そして天気やイベントデータなどの外部データソースへのアクセス改善により、組織は改善を見始めています。

生成AIの時代を迎えるにあたり、時系列トランスフォーマーと呼ばれる新しいクラスのモデルが、組織がさらなる改善を達成するのに役立つ可能性を秘めています。文章の次の単語を予測することに長けたChatGPTのような大規模言語モデルと同様に、時系列トランスフォーマーは数値シーケンスの次の値を予測します。大量の時系列データに触れることで、これらのモデルは、これらのシーケンス内の値間の微妙な関係パターンを捉える専門家となり、さまざまなドメインで実証済みの成功を収めています。

このブログでは、マネージャー、アナリスト、データサイエンティストがその仕組みを基本的な理解を深められるように、このクラスの予測モデルの概要を紹介します。その後、Databricksでデータを管理している組織が、予測ニーズのために最も人気のあるモデルのいくつかに簡単にアクセスできることを実証する、公開されているデータセットを中心に構築された一連のノートブックを提供します。これにより、組織がより良い予測精度を達成するために生成AIの可能性を活用できることを願っています。

時系列トランスフォーマーの理解

生成AIモデルは、ディープニューラルネットワークの一種であり、多数の入力がさまざまな方法で組み合わされて予測値に到達する複雑な機械学習モデルです。モデルが正確な予測に到達するためにどのように入力を組み合わせるかを学習するメカニズムは、モデルのアーキテクチャと呼ばれます。

生成AIの基盤となったディープニューラルネットワークのブレークスルーは、トランスフォーマーと呼ばれる特殊なモデルアーキテクチャの設計でした。トランスフォーマーが他のディープニューラルネットワークアーキテクチャとどのように異なるかの正確な詳細は非常に複雑ですが、単純に言えば、トランスフォーマーは長いシーケンス内の値間の複雑な関係を捉えるのが非常に得意です。

時系列トランスフォーマーをトレーニングするには、適切にアーキテクトされたディープニューラルネットワークに大量の時系列データが与えられます。数百万、あるいは数十億もの時系列値でトレーニングする機会を得た後、それらはこれらのデータセットに見られる複雑な関係パターンを学習します。その後、これまで見たことのない時系列に触れると、この基盤となる知識を使用して、時系列内に類似した関係パターンが存在する場所を特定し、シーケンス内の新しい値を予測できます。

大量のデータから関係を学習するこのプロセスは、事前トレーニングと呼ばれます。モデルが事前トレーニング中に獲得した知識は非常に汎用性が高いため、ファウンデーションモデルと呼ばれる事前トレーニング済みモデルは、追加のトレーニングなしで、これまで見たことのない時系列に適用できます。とはいえ、組織のプロプライエタリデータでの追加トレーニング（ファインチューニングと呼ばれるプロセス）は、場合によっては組織がさらに優れた予測精度を達成するのに役立つ可能性があります。いずれにしても、モデルが満足のいく状態にあると判断されたら、組織は単に時系列を提示して、「次は何が来る？」と尋ねるだけです。

一般的な時系列の課題への対応

時系列トランスフォーマーのこの概要は理解できるかもしれませんが、ほとんどの予測実務者は3つの即時の質問を持つでしょう。第一に、2つの時系列が類似したパターンに従う場合でも、それらは完全に異なるスケールで動作する可能性がありますが、トランスフォーマーはこの問題をどのように克服するのでしょうか？第二に、ほとんどの時系列モデルには、考慮する必要のある日次、週次、年次の季節性のパターンがありますが、モデルはそれらのパターンを探すことをどのように知るのでしょうか？第三に、多くの時系列は外部要因の影響を受けますが、このデータを予測生成プロセスにどのように組み込むことができるのでしょうか？

これらの課題の最初のものは、スケーリングと呼ばれる一連の技術を使用して、すべての時系列データを数学的に標準化することによって対処されます。このメカニズムは各モデルのアーキテクチャの内部にありますが、基本的に、入力される時系列値は標準スケールに変換され、モデルは基盤となる知識に基づいてデータ内のパターンを認識できるようになります。予測が行われ、その予測は元のデータの元のスケールに戻されます。

季節性のパターンに関しては、トランスフォーマーアーキテクチャの中核には自己注意と呼ばれるプロセスがあります。このプロセスは非常に複雑ですが、基本的にこのメカニズムにより、モデルは特定の過去の値が将来の値にどの程度影響するかを学習できます。

これは季節性の解決策のように聞こえますが、モデルが季節性の低レベルのパターンを捉える能力は、時系列入力をどのように分割するかによって異なると理解することが重要です。トークン化と呼ばれるプロセスを通じて、時系列の値はトークンと呼ばれる単位に分割されます。トークンは単一の時系列値である場合もあれば、短い値のシーケンス（しばしばパッチと呼ばれる）である場合もあります。

トークンのサイズは、季節性のパターンを検出できる最も低い粒度を決定します。（トークン化は、欠損値の処理ロジックも定義します。）特定のモデルを探索する際には、モデルがデータに適しているかどうかを理解するために、トークン化に関する技術的な情報を読むことが重要です。

最後に、外部変数に関しては、時系列トランスフォーマーはさまざまなアプローチを採用しています。一部では、モデルは時系列データと関連する外部変数の両方でトレーニングされます。他のモデルでは、単一の時系列が複数の並列で関連するシーケンスで構成されている可能性があることを理解するようにアーキテクトされています。採用されている正確な技術に関係なく、これらのモデルでは外部変数に対する限定的なサポートが見られます。

4つの人気のある時系列トランスフォーマーの簡単な紹介

時系列トランスフォーマーの概要を理解したところで、4つの人気のあるファウンデーション時系列トランスフォーマーモデルを見てみましょう。

• Chronos
• TimesFM
• Moirai
• TimeGPT

Chronos

Chronosは、Amazonのオープンソースの事前トレーニング済み時系列予測モデルファミリーです。これらのモデルは、時系列を独自のトークン間の関係パターンを持つ特殊な言語として解釈するという、比較的単純なアプローチを採用しています。欠損値はサポートしますが外部変数はサポートしないという、この比較的単純なアプローチにもかかわらず、Chronosファミリーのモデルは、汎用予測ソリューションとしていくつかの印象的な結果を実証しています（図1）。

図1。27のベンチマークデータセットに適用されたChronosおよびその他のさまざまな予測モデルの評価指標（https://github.com/amazon-science/chronos-forecastingより）

TimesFM

TimesFMは、Google Researchによって開発されたオープンソースのファウンデーションモデルであり、1000億を超える実世界の時系列ポイントで事前トレーニングされています。Chronosとは異なり、TimesFMはアーキテクチャに時系列固有のメカニズムをいくつか組み込んでおり、ユーザーは入力と出力の編成方法を細かく制御できます。これは季節性のパターンの検出方法だけでなく、モデルに関連する計算時間にも影響します。TimesFMは、非常に強力で柔軟な時系列予測ツールであることが証明されています（図2）。

図2。 TimesFMおよびその他のさまざまなモデルとMonash Forecasting Archiveデータセットとの比較評価指標（出典：https://research.google/blog/a-decoder-only-foundation-model-for-time-series-forecasting/）

Moirai

Moiraiは、Salesforce AI Researchによって開発された、時系列予測のためのもう一つのオープンソース基盤モデルです。 「9つの異なるドメインにまたがる270億の観測値」でトレーニングされたMoiraiは、欠損値と外部変数の両方をサポートできるユニバーサルフォレスターとして提示されています。可変パッチサイズにより、組織はデータセットの季節パターンに合わせてモデルを調整でき、適切に適用された場合、他のモデルと比較して非常に良好なパフォーマンスを発揮することが実証されています（図3）。

図3。 Moiraiおよびその他のさまざまなモデルとMonash Time Series Forecasting Benchmarkとの比較評価指標（出典：https://blog.salesforceairesearch.com/moirai/）

TimeGPT

TimeGPTは、外部（外因性）変数をサポートしますが、欠損値はサポートしないプロプライエタリモデルです。使いやすさに重点を置いたTimeGPTは、公開APIを通じてホストされており、組織はわずか1行のコードで予測を生成できます。さまざまな時間的粒度で300,000のユニークな系列に対してモデルをベンチマークしたところ、非常に短い予測レイテンシでいくつかの印象的な結果を生み出すことが示されました（図4）。

図4。 TimeGPTおよびその他のさまざまなモデルと300,000のユニークな系列との比較評価指標（出典：https://arxiv.org/pdf/2310.03589）

DatabricksでのTransformer予測の開始方法

多くのモデルオプションがあり、さらに登場する予定がある中で、ほとんどの組織にとっての主な疑問は、「独自のプロプライエタリデータを使用してこれらのモデルを評価するにはどうすればよいか」ということです。他の予測アプローチと同様に、時系列予測モデルを使用する組織は、予測を作成するために過去のデータをモデルに提示する必要があり、それらの予測は慎重に評価され、最終的にアクション可能にするために下流システムにデプロイされる必要があります。

Databricksの拡張性とクラウドリソースの効率的な使用により、多くの組織は長年にわたり予測作業の基盤としてDatabricksを使用してきました。毎日、さらに高頻度で数千万件の予測を生成してビジネスオペレーションを実行しています。新しいクラスの予測モデルの導入は、この作業の性質を変えるものではなく、この環境内でそれを行うためのオプションをこれらの組織に提供するだけです。

とはいえ、これらのモデルには新しい課題がないわけではありません。ディープニューラルネットワークアーキテクチャ上に構築されているため、これらのモデルの多くはGPUに対して使用した場合に最もパフォーマンスを発揮し、TimeGPTの場合は、予測生成プロセスの一部として外部インフラストラクチャへのAPI呼び出しが必要になる場合があります。しかし、根本的には、組織の過去の時系列データを格納し、そのデータをモデルに提示し、クエリ可能なテーブルに出力をキャプチャするというパターンは unchanged のままです。

組織がDatabricks環境内でこれらのモデルをどのように使用できるかを理解するために、上記で説明した4つのモデルそれぞれで予測を生成する方法を示す一連のノートブックをまとめました。実務家はこれらのノートブックを自由にダウンロードし、Databricks環境内で使用して、その使用に慣れることができます。提示されたコードは、他の類似モデルにも適応可能であり、予測作業の基盤としてDatabricksを使用している組織に、リソース計画プロセスで生成AIを使用するための追加のオプションを提供します。

この一連のノートブックを使用して、Databricksで予測モデリングを開始しましょう。

(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事