10億件のデータで1万個の異常検知モデルを同時訓練！ 説明可能な予測を、驚きの低コストで実現

業界を超えて活躍する異常検知の力

異常検知は、潜在的な問題や機会を示す可能性のある異常なパターンを特定するための重要な技術です。この技術の初期の用途には、侵入を検出するためのサイバーセキュリティや、潜在的な詐欺を特定するための金融が含まれていましたが、今日ではその応用範囲は、ヘルスケアの患者監視、通信ネットワークの保守などにまで広がっています。特に製造業では、異常検出は品質管理と運用効率を変革し、リアルタイムの生産データで予想されるパターンからの逸脱を特定しています。

製造業におけるデータと分析の進歩

製造業者は何十年もの間、データ分析を活用し、統計的プロセス制御やシックス・シグマの手法を用いて生産を最適化し、機械のメンテナンスのための変化点検出を行ってきました。これらのアプローチは1980年代と90年代に品質を革新しましたが、今日の接続された機械は、振動センサーから熱読み取りまで、はるかに多くのデータを生成します。このリアルタイムデータの指数関数的な増加は、製造業者に対して、数千の変数を同時に分析するための洗練された手法を採用するように迫っており、伝統的な統計手法では不可能なスケールでシックス・シグマの原則を拡張しています。例えば、エレベーターの振動と張力センサーは機械的な摩耗の早期兆候を明らかにすることができ、温度と速度センサーを装備したタービンは、部品の故障を示す可能性のある性能低下を検出することができます。これらの問題を事前に対処することで、ダウンタイムが減少し、機器の動作がスムーズになり、重要な生産期限の達成が容易になります。

統計を超えて進む課題

大きな利益が見込まれるにもかかわらず、予測保守のための機械学習の実装はいくつかの課題を提示します：

1. スケーラビリティ: 産業環境は大量のデータを生成し、しばしば数十億のレコードに達し、大規模な製造業者にとって大きな課題を生み出します。多数の資産や施設で個々に数千のモデルを作成し、管理することは困難であり、大量の計算リソースと効率的なアルゴリズムが必要となり、これにより禁止的なコストが発生することなく処理することが求められます。
2. 説明可能性： 多くの高度な機械学習モデルは「ブラックボックス」として動作し、予測をどのように行っているかについての洞察をほとんど提供しません。保守エンジニアやオペレーターにとって、異常を引き起こしている特定のコンポーネントを理解することは、適時かつ効果的な介入のために重要です。センサーデータは、しばしば異常についての洞察を得るために使用されます。例えば、「センサー5の温度が80°C以上」と知ることは、行動可能な洞察へのヒントを提供します。
3. コストと複雑さ: 大規模な機械学習に関連する計算コストと複雑さは大きいことがあります。組織は、効果的であるだけでなく、実装と維持がコスト効率的なソリューションを必要としています。

DAXSメソドロジー

これらの課題に対処するために、DAXS（Detection of Anomalies, eXplainable and Scalable）が開発され、製造業における予測保守に対する説明可能で、スケーラブルで、コスト効果的なアプローチを提供する異常検出技術として利用されています。DAXSは、センサーデータの異常を検出するためにECOD（Empirical Cumulative Distribution Functions for Outlier Detection）アルゴリズムを利用しています。伝統的なブラックボックスモデルとは異なり、ECODは、異常予測に寄与する特定のセンサーや特徴を特定することで透明性を提供します。DAXSは、10億以上のレコードを持つデータセットを処理し、分散コンピューティングプラットフォームを活用して数千のモデルを効率的に訓練し、信頼性の高いパフォーマンスとコスト効率を確保することができます。

風力タービンのデモンストレーション

このノートブックのシリーズでは、DAXSがどのようにスケールで適用できるかを示しています。このタスクは、現場の数千のタービンの潜在的な故障を監視することを含んでいます。10,000台のタービンに組み込まれた100個のセンサーから得られる1,440の読み取り値を使用して10,000のモデルを訓練し、新しい読み取り値に対する予測を行う方法を示します—すべて5分以内に。これは、ECODの効率的な実装と、Databricksの堅牢な計算操作のスケーリング能力を組み合わせることで達成されます。

Databricks を選ぶ理由

Databricksは、ビッグデータと高度な分析を取り扱うための堅牢な機能を持つため、DAXSの実装に最適なプラットフォームを提供します。Databricksを利用することで、組織は以下を活用できます：

• 統合分析プラットフォーム: データエンジニアリング、データサイエンス、機械学習を統合する協力的な環境で、ワークフローを合理化し、生産性を向上させます。
• スケーラビリティとパフォーマンス: Databricksのスケーラブルな計算リソースと最適化されたSparkエンジンは、数十億のレコードに対するモデルの訓練に必要な大規模なデータセットの迅速な処理を可能にします。
• コスト効率: リソース割り当てを最適化し、クラウドベースのインフラを利用することで、Databricksは運用コストを削減し、DAXSの超安価なソリューション提供の目標と一致します。
• 高度なツール： 人気のある機械学習ライブラリとフレームワークのサポート、これによりECODアルゴリズムや他の高度な分析ツールのシームレスな統合が可能になります。

まとめ

DAXS（Detection of Anomalies, eXplainable and Scalable）異常検知は、大規模な製造業務の監視に標準化されたアプローチを提供します。モデルを通常の機器の動作に訓練することで、製造業者はこの技術を複数の生産ライン、施設、資産タイプに対してコスト効率的に展開することができます。この再利用可能性により、企業は予測保守と品質管理を迅速に実装し、効率と出力品質の一貫した改善を運用全体で推進することができます。
 

DAXSのスケーラブルで説明可能な異常検出を用いて、大規模な操作の異常を監視し始めます。