リアルタイム分析とは？

リアルタイムアナリティクスとは、データが生成されると同時に収集、処理、分析を行う手法であり、組織が最小限の遅延で意思決定を下したり、アクションを実行したりできるようにします。スケジュールされたレポートやバッチ処理を待つことなく、ビジネスの最新状態を反映した新鮮なインサイトを提供します。これは、最新の情報に基づいて行動することが極めて重要となる、不正検知、パーソナライズされたレコメンデーション、IoTモニタリングなどのユースケースを強力にサポートします。

固定のスケジュールでデータを処理するバッチアナリティクスとは異なり、リアルタイムアナリティクスはデータが到着すると同時にそれを調査し、対応します。「リアルタイム」は固定されたしきい値ではなく、幅のある概念です。不正防止やアルゴリズム取引などの一部のアプリケーションではミリ秒単位の応答が必要となります。一方で、運用ダッシュボードやサプライチェーンモニタリングなどでは、数秒から数分でデータが更新されれば十分に効果的です。

最新のリアルタイムアナリティクスは、継続的なデータインジェスチョン（取り込み）と高速なクエリパフォーマンスを組み合わせることで、ユーザー、アプリケーション、AIシステムが利用可能な最新のデータを分析できるようにします。ストリーミング技術は重要な基盤であり、データが生成されると同時に継続的に移動および処理を行います。

リアルタイムアナリティクスはどのように機能するのか？

リアルタイムアナリティクスは、スケジュールされたバッチジョブを待つことなく、データをソースからインサイトへと移動させる継続的なデータパイプラインです。新しいデータが生成されると、アプリケーションの要件に応じて、数秒または数ミリ秒以内にキャプチャ、処理され、分析に利用できるようになります。

イベントの生成とインジェスチョン

すべてのリアルタイムワークフローはイベントから始まります。アプリケーション、IoTデバイス、ビジネストランザクション、クリックストリーム、システムログなどのソースが継続的にデータを生成します。ストリーミングプラットフォームや変更データキャプチャ（CDC）技術は、これらのイベントを収集し、発生と同時にアナリティクスのパイプラインへと移動させます。

処理とエンリッチメント

データがパイプラインを流れる過程で、フィルタリング、変換、参照データとの結合、集計、または追加のコンテキストによるエンリッチメントが行われます。

リアルタイムデータストレージ

処理されたデータはアナリティクスシステムに書き込まれ、すぐにクエリを実行できるようになります。アーキテクチャに応じて、データはストリーミングテーブル、データウェアハウス、または低レイテンシのクエリに最適化されたその他のアナリティクスシステムに保存されます。

クエリ、サービング、アクション

ダッシュボード、アプリケーション、API、AIエージェントは、利用可能な最新のデータをクエリして、ライブレポート、パーソライズされた体験、運用モニタリング、自動化された意思決定を強力にサポートします。これらのインサイトは、オペレーターへのアラート、不正なトランザクションのブロック、配送ルートの変更などのアクションをトリガーできます。

リアルタイム vs. ニアリアルタイム vs. バッチアナリティクス

リアルタイムアナリティクスとバッチアナリティクスのどちらを選択するかは、次の2つの問いに集約されます。データの鮮度はどの程度必要か、および待つことのコストはどれくらいか？ 即時の意思決定が必要なアプリケーションでは、リアルタイム処理に伴う追加の要件が正当化されることがよくあります。一方で、多くのレポートや分析のワークロードは、低コストと高効率を引き換えに、わずかな遅延を許容できます。

ほとんどの組織は、1つだけを選択するのではなく、これらのアプローチを組み合わせて使用しています。適切なアーキテクチャは、単一のアナリティクスプラットフォーム上で複数のレイテンシ要件をサポートします。

リアルタイムアナリティクスの3つの次元

すべてのアナリティクスワークロードで「リアルタイム」の定義が同じであるとは限りません。その代わりに、リアルタイムシステムは通常、測定可能な3つの次元（鮮度、レイテンシ、同時実行性）で評価されます。これらの特性を総合することで、ワークロードが本当にリアルタイムアナリティクスを必要としているか、そしてそれをサポートするためにどのようなインフラストラクチャが必要かを判断するのに役立ちます。

鮮度

鮮度とは、クエリ実行時にデータがどれだけ新しいかを測定する指標です。具体的には、イベントが発生してから、そのイベントが分析可能になるまでの時間のことです。

アプリケーションによって、必要な鮮度は異なります。不正検知システムでは1秒未満でトランザクションを利用可能にする必要があるかもしれませんが、1分ごとに更新される運用ダッシュボードでも、実用的なインサイトを得るには十分な場合があります。

レイテンシ

レイテンシとは、クエリが送信されてからシステムが結果を返すまでの速さを測定する指標です。鮮度がデータの新しさを表すのに対し、レイテンシはアナリティクスシステム自体の応答性を表します。

たとえば、ダッシュボードにわずか5秒前のデータが表示されている（高い鮮度）としても、各クエリの実行に数秒かかるようであれば、ユーザーは真のリアルタイムアナリティクスを体験しているとは言えません。

同時実行性

同時実行性とは、パフォーマンスを低下させることなく、システムが同時に対応できるユーザー、アプリケーション、またはクエリの数を測定する指標です。

社内のビジネスインテリジェンスツールは数十から数百人の同時実行ユーザーをサポートするかもしれませんが、顧客向けのダッシュボード、組み込みアナリティクス、API、AIエージェントは、しばしば数千の同時リクエストを生成します。組織がより多くのユーザーやアプリケーションにアナリティクスを提供するようになるにつれ、同時実行性は鮮度やレイテンシと同様に重要になります。

実際にリアルタイムアナリティクスが必要になるのはどのような場合か？

リアルタイムアナリティクスは、従来、アーキテクチャの複雑さや運用上の考慮事項を伴うため、即時のインサイトから得られる価値が投資を明らかに上回るケースに最適です。ユースケースでリアルタイムデータが必要かどうかを判断するには、以下の質問を検討してください。

• 古いデータが、収益の損失、顧客の離脱、または運用上のリスクに直接つながりますか？
  情報の遅れが意思決定の結果を左右する場合、リアルタイムアナリティクスは大きな優位性をもたらします。
• 出力結果は、人間へのレポートではなく、自動化されたアクションをトリガーしますか？
  リアルタイムアナリティクスは、インサイトがアラート、不正防止、レコメンデーション、ワークフローの変更などの対応を促進する場合に最も価値を発揮します。
• 顧客やエンドユーザーは、アプリケーションや製品内の新鮮なデータに依存していますか？
  ライブ情報、パーソナライズ、追跡、またはレコメンデーションに依存するアプリケーションでは、多くの場合、リアルタイムデータが必要になります。
• 異常が発生した瞬間にそれを検知する必要がありますか？
  不正検知、システム障害の監視、品質管理などは、問題が発生したその時に特定することに依存しています。
• チームやシステムがライブアクティビティを連携して行っていますか？
  物流、配車・配送、取引、その他の時間に敏感な業務では、多くの場合、継続的に更新されるデータが必要になります。

これらいずれにも当てはまらない場合は、バッチ処理またはニアリアルタイム処理で十分な可能性があります。

業界別のリアルタイムアナリティクスのユースケース

リアルタイムアナリティクスは、さまざまな業界で広く導入されており、その基本パターンは共通しています。すなわち、イベントをキャプチャし、その意味を判断し、情報の価値が失われないうちに対策を講じることです。不正の検知から運用の最適化まで、組織はリアルタイムデータを使用してより迅速に対応し、より適応性の高い体験を提供しています。

金融サービス

金融機関は、リアルタイムアナリティクスを使用してトランザクションを監視し、不正行為を特定し、異常が発生した時点で検知します。金融活動を継続的に分析することで、不正防止、アルゴリズム取引、信用リスクスコアリングなどのユースケースにおいて、より迅速な意思決定が可能になります。

小売・Eコマース

小売業者は、リアルタイムアナリティクスを使用して顧客の行動を理解し、レコメンデーション、ターゲットを絞ったプロモーション、ダイナミックプライシングを通じてパーソナライズされた体験を提供します。また、リアルタイムデータにより、買い物客がカートを放棄したときにオファーをトリガーしたり、需要の変化に応じて在庫の表示を調整したりするアクションも可能になります。

製造・IoT

製造業者は、リアルタイムアナリティクスを使用して機器のパフォーマンスを監視し、センサーストリームを分析し、障害が発生する前にメンテナンスの必要性を特定します。これらの機能は、問題が発生した時点で検知することにより、予兆保全や品質管理をサポートします。

メディア・アドテクノロジー

メディアや広告企業は、リアルタイムアナリティクスを使用して、ユーザーエンゲージメントのスピードに合わせて意思決定を行います。リアルタイム入札システムは、オーディエンスのシグナルと広告機会を即座に評価し、パブリッシャーやストリーミングプラットフォームは、オーディエンスのセグメンテーションやパーソナライズされたレコメンデーションにライブデータを使用します。

サイバーセキュリティ・オブザーバビリティ

セキュリティチームやITチームは、リアルタイムアナリティクスを使用してシステムを監視し、ログを分析し、脅威が発生した時点で検知します。異常やパフォーマンスの問題を迅速に特定することで、組織はセキュリティインシデントや運用の中断に対してより迅速に対応できます。

物流・運輸

運輸・物流企業は、車両の追跡、ルートの最適化、配送業務の改善にリアルタイム分析を活用しています。位置データ、交通状況、運行シグナルをリアルタイムで分析することで、正確な配送ETAの提供、フリートの調整、混乱への迅速な対応が可能になります。

リアルタイム分析にはどのようなツールが使用されますか？

従来のリアルタイム分析スタックは、単一のツールに依存するのではなく、いくつかの専門的なコンポーネントを組み合わせていました。これらのコンポーネントが連携して、イベントのキャプチャ、データ到着時の処理、最新データの保存と提供、エンドユーザーへのインサイトの提供を行います。

ストリーミングプラットフォーム

ストリーミングプラットフォームは、ソースシステムから分析パイプラインへ、イベントが発生した時点で転送します。トランザクション、アプリケーションイベント、センサーの読み取り値、ユーザーインタラクションなどのアクティビティをキャプチャします。一般的な例としては、Apache Kafka、Amazon Kinesis、Azure Event Hubsなどがあります。

ストリームプロセッサ

ストリームプロセッサは、移動中のデータを変換および分析し、バッチ処理を待つことなく、イベントのフィルタリング、パターンの検出、メトリクスの計算を可能にします。Apache Spark Structured StreamingやApache Flinkなどの技術が、大規模なストリーム処理をサポートしています。

変更データキャプチャ（CDC）ツール

CDCツールは、稼働中のデータベースから変更をキャプチャし、更新情報を分析システムにストリーミングします。これにより、レコードの作成、更新、削除に合わせて、下流のアプリケーションとデータプラットフォームの同期が維持されます。

リアルタイムOLAPデータベース

リアルタイム分析システムは、継続的に更新されるデータに対して低レイテンシのクエリを提供します。ライブダッシュボード、運用分析、最新情報への迅速なアクセスを必要とするアプリケーションなどのユースケースをサポートします。

可視化とBIレイヤー

可視化ツールやBIツールは、ダッシュボード、レポート、インタラクティブな分析体験を通じて、リアルタイムのインサイトを提示します。ユーザーが変化する状況を監視し、利用可能な最新データに基づいて意思決定を行うのを支援します。

Lakehouse//RTを駆動する新しいReydenエンジンなどの画期的な進歩により、サービングレイヤーや個別のツールの複雑なスタックなしで、リアルタイム分析を実行できるようになりました。Databricksのような統合データプラットフォームは、データの取り込み、処理、ストレージ、ガバナンス、サービングの機能を1つの環境に統合します。個別のシステム間でのデータ移動を減らすことで、一貫したセキュリティとガバナンスを維持しながら、リアルタイムアーキテクチャを簡素化できます。

リアルタイム分析の課題

リアルタイム分析は重要なビジネス課題を解決しますが、個別のサービングレイヤーを介して作業する場合、エンジニアリング、コスト、ガバナンスの課題が生じる可能性があります。導入を成功させるには、信頼性の高いパイプライン、強力なデータ品質、一貫したセキュリティとガバナンスが必要です。

コストと複雑さ

個別のリアルタイムシステムは、従来のバッチ処理と比較して、常時稼働のインフラストラクチャ、専門的なツール、追加の運用オーバーヘッドを必要とします。投資が正当化されるように、チームはビジネス価値と期待される成果を明確に定義する必要があります。

移動中のデータ品質

ストリーミングデータは継続的に到着するため、イベントの遅延、順序の乱れ、スキーマの変更、データの重複などの課題が生じる可能性があります。品質チェックがスケジュールされた処理中に実行されることが多いバッチシステムとは異なり、リアルタイムパイプラインでは継続的な検証と監視が必要です。

リアルタイムデータと履歴データの整合性

データ処理のルールや定義に一貫性がない場合、リアルタイム分析は履歴レポートとは異なる結果をもたらすことがあります。リアルタイム分析とバッチ分析が、一貫性のある信頼できる回答を提供できるように、組織には共有定義レイヤーが必要です。

パイプラインの陳腐化や停止

パイプラインの失敗や遅延が発生すると、ダッシュボードやアプリケーションに古い情報が気づかないうちに表示される原因になります。パイプラインのオブザーバビリティ、鮮度のSLA、およびプロアクティブなアラート機能は、リアルタイムデータが最新でなくなったことをチームが確実に把握するために不可欠です。

ガバナンスとアクセス制御

最新のデータがより多くのアプリケーション、ダッシュボード、運用システムに流れ込むにつれて、一貫したアクセス制御、リネージ、監査を維持することがより困難になります。統合ガバナンスレイヤーは、組織がリアルタイムデータと履歴データ全体で権限と可視性を管理するのに役立ちます。

スキルとチーム体制

リアルタイム分析には、ステートフル処理、Exactly-Onceセマンティクス、イベント時間処理などの概念を含む、従来のバッチETLとは異なる専門知識が必要です。多くの組織にとって、ストリーミングの経験を持つエンジニアを見つけることや育成することは、導入における大きな障壁となる可能性があります。

4つの分析タイプにおけるリアルタイム分析の位置づけ

4つの分析タイプは、組織がデータを活用して解決しようとする問いを表しています。記述的分析は「何が起きたか」を説明し、診断的分析は「なぜそれが起きたか」を説明し、予測的分析は「次に何が起きそうか」を予測し、処方的分析は「どのようなアクションをとるべきか」を推奨します。

リアルタイム分析は、5番目の分析タイプではありません。そうではなく、特定のユースケースに必要な鮮度と速度でデータとインサイトを提供する手段です。リアルタイム分析は、ライブダッシュボードによる記述的ユースケース、根本原因アラートによる診断的ユースケース、リアルタイムの需要予測による予測的ユースケース、動的ルーティングのような自動意思決定による処方的ユースケースをサポートできます。

Databricksがリアルタイム分析をサポートする方法

Databricksプラットフォームは、ガバナンスが適用された同一のデータ上で、リアルタイム分析とバッチ分析を行うための統合された基盤を提供します。システム間での不安定なデータの受け渡しを伴う、個別のストリーミングアーキテクチャとバッチアーキテクチャを維持する代わりに、チームは一貫したガバナンス、セキュリティ、品質を維持しながら、データの取り込み、処理、分析、提供を継続的に行うことができます。

Lakehouse//RTは、レイクハウス上で直接、高コンカレンシーかつ低レイテンシのワークロード向けにリアルタイム分析機能を提供する新しいデータウェアハウスタイプです。ダッシュボードや対話型分析向けのDatabricks AI/BIと、データおよびAI資産全体のガバナンス向けのUnity Catalogを使用することで、組織は信頼できるリアルタイムのインサイトをダッシュボード、アプリケーション、AIエージェントに提供できます。

チームは、単一のプラットフォームから、一度の構築と一度のガバナンス設定で、リアルタイムのインサイトをダッシュボード、アプリケーション、AIエージェントに提供できます。

FAQ

リアルタイム分析はバッチ分析とどう違うのですか？

バッチ分析は、毎時、毎日、毎週のジョブなど、スケジュールされた間隔でデータを処理するのに対し、リアルタイム分析はイベントの発生に合わせて継続的にデータを処理・分析します。バッチ処理は、多くの履歴レポートや分析ワークロードに最適ですが、リアルタイム分析は、意思決定やアクションが可能な限り最新のデータに依存する場合に使用されます。

「リアルタイム」分析とはどのくらいの速さですか？

「リアルタイム」とは、特定の1つの速度を指すわけではありません。ユースケースに応じて、リアルタイム分析は、イベントの発生からデータが分析可能になるまでの遅延が数秒から数ミリ秒であることを意味します。適切な鮮度のレベルは、意思決定をどれだけ迅速に行う必要があるかなどのビジネス要件によって異なります。

リアルタイム分析は従来の分析に代わるものですか？

いいえ。リアルタイム分析はバッチ分析に代わるものではありません。そうではなく、特定のユースケースに必要な鮮度と速度でデータを提供する手段です。多くの組織は、ビジネスニーズに応じて、リアルタイム、ニアリアルタイム、バッチ処理を組み合わせて使用しています。

リアルタイム分析にはどのようなデータベースが使用されますか？

リアルタイム分析では、最新データに対する高速な分析クエリ向けに設計されたリアルタイムOLAPデータベースなど、ワークロードに応じて異なるタイプのデータベースを使用できます。従来のリアルタイムアーキテクチャでは、低レイテンシのインサイトを提供するために、ストリーミングプラットフォーム、処理エンジン、ストレージレイヤー、サービングシステムを組み合わせることがよくあります。

リアルタイム分析を導入する上での最大の課題は何ですか？

個別のサービングレイヤーやリアルタイムスタックを使用する場合、最大の課題には、コストと複雑さの管理、継続的に到着するデータの品質維持、一貫したガバナンスの確保、強力な監視とアラート機能を備えた信頼性の高いパイプラインの構築などがあります。組織には、ストリーミングデータ処理、イベントタイミング、システムの信頼性などの概念を管理するための適切な専門知識も必要です。

まとめ

リアルタイム分析は、継続的なデータを即座のインサイトとアクションに変換し、組織が変化する状況により迅速に対応できるようにします。リアルタイムアーキテクチャの構築を成功させるには、鮮度、レイテンシ、コンカレンシーと、コスト、複雑さ、ガバナンス要件とのバランスをとる必要があります。ストリーミング分析とバッチ分析のための統合プラットフォームを使用することで、組織は信頼できるリアルタイムのインサイトをダッシュボード、アプリケーション、AIシステムに提供できます。

Databricksが、統合されガバナンスが確保された Lakehouse上でどのようにリアルタイム分析を提供しているかをご覧ください。ぜひ Lakehouse//RTをご体験ください。

(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事