CPSのロゼッタストーン：ClarotyのAI搭載ライブラリ

CPSのローゼッタストーン：Clarotyの革新的なAI搭載ライブラリの内部

数十年にわたり、工場、病院、重要インフラを稼働させている機械であるサイバーフィジカルシステム（CPS）の世界は、静かな「アイデンティティクライシス」に苦しんできました。IT管理者はネットワーク上のすべてのラップトップを簡単に特定できますが、OT（オペレーショナルテクノロジー）セキュリティチームは、プラント内で何が稼働しているかを正確に把握するのに苦労することがよくあります。

ClarotyのTeam82リサーチチームによる最近のレポートは、驚くべき現実を明らかにしました。CPSアセットの88%は正確な製品コードを送信しておらず、76%はベンダーの公式記録とは異なる製品コードを使用しています。この「デジタル出生証明書」の欠如は、セキュリティチームが不整合なリソースから情報を手動で組み合わせることを余儀なくされるため、脆弱性管理をほぼ不可能にします。

これを解決するために、Clarotyは最近、産業用およびヘルスケア用ハードウェアの「ユニバーサルトランスレーター」となるように設計された、初の権威あるマッピングエンジンであるAI搭載CPSライブラリを発表しました。

その核心は、エンティティ解決（ER）の課題であり、システムの目的は、ノイズの多い実世界のデータを単一の信頼できる情報源に照合および統合することによって、アイデンティティクライシスを解決することです。高忠実度の決定論的トレーサビリティを実現するために、標準的なマッチングアルゴリズムを超えて、実績のある古典的なER手法と生成AIの認知能力を組み合わせたハイブリッドアーキテクチャをエンジニアリングしました。

業界の重要なペインポイントに対応するため、GenAI MVPプログラムを通じてDatabricksと提携しました。このコラボレーションは、当社の専門的なオファリングとDatabricksのデータ＆AI機能を利用して、問題に対する決定的なソリューションを提供します。

現実世界での様子

工場での典型的な状況を想像してみてください。ClarotyのxDomeは、CIPプロトコルを使用して1769-L36ERMS/Bのようなモデル番号のデバイスを見つけます。人間や単純なセキュリティツールにとっては、これは単なるRockwell Automationの内部コードであり、脆弱性データベースには存在せず、リスクをすぐに示唆するものではありません。

このデバイスを保護するために、スタッフは通常、それが何であるかを手動で特定する必要があります。これには以下が含まれます。

1. Web検索：Rockwellのカタログを検索して、このコードがCompact GuardLogix 5370コントローラーであることを確認します。
2. 脆弱性の確認：CISAの警告でその名前を検索すると、「バージョン33以前」に対するリスクとしてCVE-2020-6998が指摘される可能性があります。
3. 詳細の確認：NVD（National Vulnerability Database）で特定のCPE（Common Platform Enumeration）が一致するかどうかを確認しますが、「GuardLogix」サブタイプが含まれるかどうかわからない一般的な「CompactLogix 5370 L3」のエントリしか見つかりません。

この手動の「探偵作業」は、セキュリティが失敗することがよくあります。AI搭載CPSライブラリは、このプロセス全体を自動化します。内部コードを即座に認識し、商用名にリンクし、特定の部品とファームウェアバージョンを特定し、正確なCVEを確実に添付して、数ミリ秒で混乱した文字の文字列を明確で安全なセットアップに変換します。

決定論的ビジビリティによるアイデンティティクライシスの解決

CPSライブラリは単なるデータベースではありません。これは、「ラストマイル」の修復を可能にするマルチエージェントAIシステムです。業界の巨人との提携により、Clarotyは、ネットワークの乱雑なデータを単一の信頼できる情報源に調和させる証拠グラフを構築しました。

主なブレークスルー：

• 決定論的トレーサビリティ：デバイスが最小限のデータしか報告しない場合でも、ライブラリは統計的推論とドメインガイドロジックを使用して正確なIDを特定します。
• 脆弱性属性：特定のサブコンポーネントとファームウェアツリーを特定することにより、ライブラリは脆弱性の特定精度を25%向上させました。
• 実行可能なインサイト：初期テストでは、分析されたデバイスの56%が、これまでセキュリティチームには見えなかった古いファームウェアに関する新しいまたは更新されたセキュリティ推奨事項を受け取りました。

内部：Databricksのデータインテリジェンスエンジン

1700万を超えるアセットとその複雑な依存関係のグローバルカタログを管理するために、Clarotyは、統一されたバックボーンとしてDatabricksのデータインテリジェンスプラットフォームを活用しています。レイクハウスアーキテクチャを採用することにより、Clarotyは従来のデータサイロを排除し、独自のOTプロトコルやAPI呼び出しから非構造化ベンダーPDFマニュアルまで、さまざまなデータセットを単一のスケーラブルな環境に取り込むことができます。この基盤は、数百万のデータポイントにわたる複雑な統計的推論モデルを実行するために必要な高性能コンピューティングを提供し、すべてのCPS-ID（Clarotyによるサイバーフィジカルシステムのアイデンティティの新しい業界標準）が厳格なデータ整合性とクロスサイロインテリジェンスに裏付けられていることを保証します。

大規模なデータエンジニアリング：メダリオンパイプライン

このエコシステムを支えているのは、Delta Lake上に構築され、Unity Catalogで管理されている堅牢なメダリオンアーキテクチャです。旅は、生の異種JSONペイロードが追加専用Deltaテーブルにキャプチャされるブロンズレイヤーから始まります。そこから、Delta Change Data Feed（CDF）から読み取るプロモーションパイプラインを通じて、マッピングレジストリを動的に適用して、生データを管理された正規スキーマに変換します。Delta Lakeのスキーマ進化とタイムトラベルを利用することにより、Clarotyは壊れない管理の連鎖を維持します。各アセットレコードは、元の生アーティファクトとそれを分類した特定のマッピングバージョンまで追跡可能であり、最も機密性の高い産業環境でも完全な監査可能性を保証します。

Databricksのカスタムエージェントによるマルチエージェントインテリジェンス

このハイブリッドエンジンの最も洗練された部分は、Databricksのカスタムエージェントの使用です。単一のモノリシックモデルに依存するのではなく、Clarotyは、専門AIエージェントが協力して複雑な信号を解釈する同期ネットワークであるオーケストレーションマルチエージェントシステムをエンジニアリングしました。

これらのエージェントに信頼できるコンテキストを提供するために、独自のソースから収集された構造化データの古典的な統計分析と、ベンダーのドキュメント、技術データシート、および公開Webソースに固有のノイズから信号を抽出する高度なNLP技術を組み合わせています。DatabricksのUnity Catalogは、これらの多様なデータセットを統合するために必要な管理されたデータ基盤を提供し、Spark搭載パイプラインは情報を大規模に処理および正規化します。これらを組み合わせることで、断片的で一貫性のない情報を、エージェントが正確なエンティティ解決マッチングを提供するために必要な、正確でコンテキスト化された回答に統合します。

システムは3つのコアコンポーネントを中心に構築されています。

• NLPエージェント：標準モデルが見逃しがちなプロトコル由来の名前付け文字列や不明瞭なソフトウェアマーカーを含む、複雑な混合形式データを解析します。
• 推論エージェント：信頼度スコアリングと統計テストを適用して証拠を評価し、ノイズから高忠実度の信号を識別してデータ整合性を確保します。
• Human-in-the-loop（HITL）：専門家がレビューするために低信頼度のマッピングをフラグ付けする重要なフィードバックメカニズムです。これらのセッションからの出力はシステムにフィードバックされ、モデルを再トレーニングして継続的な精度向上を実現します。

Databricksの機能によるイノベーション

このアーキテクチャの成功は、エージェント自体だけでなく、それを支えるDatabricks上に構築されたエンドツーエンドのエコシステムにもあります。MVPから本番環境への移行を迅速かつ確実に実現するために、プラットフォームの全範囲を活用しました。

1.モデルサービングによるドメイン固有のインテリジェンスヘルスケアとOTのニュアンスに対処するために、必要な精度レベルに対して汎用埋め込みでは不十分でした。「ユニバーサルトランスレーター」を真に成功させるには、汎用RAGアーキテクチャはドメイン固有のフレームワークに進化する必要があることを特定しました。現在、最高の医療埋め込みモデルをカスタムエンドポイントとしてDatabricks Model Servingを使用してデプロイすることで、このギャップを埋めています。しかし、将来を見据えると、最も不明瞭な産業方言を決定論的な精度で理解できるように、これらのモデルをファインチューニングすることが論理的な次のステップであると考えています。

2.高度なRAGと情報抽出Knowledge Assistantを活用して、大量の独自のドキュメントを摂取できる堅牢なRAG（Retrieval-Augmented Generation）システムを構築しました。Information Extractionエージェントを使用することで、非構造化された独自のドキュメントを構造的に解析し、生のテキストを実行可能なインテリジェンスに変換してCPSライブラリに提供できます。

3.MLflowによるフルライフサイクル管理MVPフェーズの初期から厳格な評価と最終的なデプロイメントまで、ML開発ライフサイクルのバックボーンとして機能します。

• 継続的評価: 手動ラベリングセッションと並行して、"LLMを審査員として使用"する包括的な評価戦略を実装しました。MLflowの機能により、コンセプトドリフトを防ぐためにモデルのパフォーマンスを常に評価することができました。
• オブザーバビリティと監視: 本番環境では、MLflowのオブザーバビリティ機能を利用して、エージェントの正常性をリアルタイムで監視しています。これには、トークン使用量とインフラストラクチャコストの追跡、レイテンシのボトルネックの特定、およびユーザーに影響を与える前に潜在的なバグの検出が含まれます。戦略的な注力分野の1つは、Vector Searchインデックスのコスト効率です。 パフォーマンスは世界クラスですが、現在のところ、ベクトルエンドポイント向けの "scale-to-zero" モデルがないことは、特に産業用セキュリティデータのバースト的でイベント駆動型の性質にとって重要なニュアンスであり、アイドル期間中の高いROIを維持するために特定のアーキテクチャパターンを設計する必要があります。

従来のエンティティ解決手法と、Databricksの堅牢なインフラストラクチャに支えられた洗練されたオーケストレーションされたマルチエージェント戦略を融合させることにより、自己改善型でコスト効率が高く、非常に正確なインテリジェンスレイヤーを作成しました。このシステムは、最終的に、乱雑なネットワークデータと単一の真実のソースとの間のギャップを埋め、CPSセキュリティのID危機を解決します。

ジョブ、パイプライン、LLMを使用した自動化

さまざまなソースからの膨大な量の情報を処理するために、ClarotyはLakeflow Jobsを使用して、生データから構造化されたテーブルまでのプロセス全体をオーケストレーションします。

当社のパイプラインの1つは、CSAF（JSON形式のセキュリティアドバイザリ）をテーブル構造に解析するETLプロセスをオーケストレーションします。このプロセスでは、各ステップは専用のデルタテーブルにエントリを読み書きします。

このETLおよびその他の多くのユースケースでは、LLMを使用してデータを強化しています。分類タスクや、Serving endpoints および MLflow を使用した AI Functions のような ai_query を使用して、LLMから得られる回答を評価し、統計メトリクスとLLM-as-a-judgeを使用し、コストを監視します。

このパイプラインを大規模で信頼性の高いものにするために、LLMを審査員として使用するアプローチを採用し、独自のLLM出力の品質を継続的にスコアリングしています。多くの場合、現実世界のCPSデータでは欠落しているか曖昧である完全なラベル付きグラウンドトゥルースにのみ依存するのではなく、専用の審査員モデルに別のモデルの応答をレビューさせ、それが許容できるかどうかを判断させます。審査員の仕事はシンプルで保守的です。各結果を、合格（正しそう）、不合格（間違っていそう）、または不明（情報不足）としてマークします。これらの審査員はすべて Delta table に保存されます。この方法を使用すると、チームは評価サンプルをロードし、カスタムMLflow GenAI審査員を起動し、構造化された評価を実行できます。MLflow GenAI監視ネイティブ機能は、カスタム評価スタックを構築することなく、品質を監視し、バージョンを比較し、多くのLLMユースケースでリグレッションをキャッチするための統一された方法を提供します。

Lakebaseによるトランザクション整合性

「ライブラリ」を機能させるためには、データは一貫性があり、高可用性である必要があります。Clarotyは、Databricks上の完全に管理されたトランザクションデータレイヤーである Lakebase を統合しています。LakebaseはPostgres上に構築されており、リアルタイムクエリに必要な低レイテンシパフォーマンスを提供すると同時に、分析処理のためのより広範なLakehouseとのシームレスなリンクを維持します。これにより、厳密な制約を適用してデータの高品質を維持し、構成がドリフトしてもアセットマッピングが正確であることを保証します。

Databricks Appsによる迅速なイノベーション

これらのすべてのインサイトを統合するために、Databricks Appsを利用しています。これは、ClarotyがDatabricks環境内で直接フルスタックのデータ集約型アプリケーションを構築およびデプロイできる機能です。最新のUIフレームワーク（ReactやStreamlitなど）をフロントエンドに、トランザクションワークロードにDatabricksのフルマネージドPostgres OLTPデータベースであるLakebaseを使用することで、Lakehouseと同じプラットフォーム上にアプリケーションロジックと運用データの両方をホストできます。これは、アプリケーションがプラットフォームの組み込みセキュリティ、ガバナンス、および認証（Unity CatalogとOAuth経由）を継承し、個別のアプリサーバー、データベース、デプロイパイプラインの必要性を排除することを意味します。従来は複数のテクノロジースタックとサービスを連携させる必要があったものが、単一の、コスト効率が高く、堅牢なソリューションに統合されます。

Databricks AppsによるHuman-in-the-Loop

AIパイプラインは重労働を自動化しますが、現場で信頼を築くための最優先事項は、Human-in-the-LoopのSMEフィードバックです。Databricks AppとLakebaseを使用すると、透明性の高いビューとシームレスな「Human-in-the-Loop」フィードバックサイクルを有効にできます。この直感的なインターフェイスにより、ドメインエキスパートは分類を確認し、エンティティを修正および強化し、高忠実度で検証済みのデータをMLflowパイプラインとR&D移行にフィードバックして、システムが時間とともに賢く、より正確になるようにすることができます。

レジリエンスの未来

OTプロトコルに関するClarotyの深いドメイン専門知識とDatabricksプラットフォームのパワーを組み合わせることで、CPSライブラリは新しい標準を打ち立てています。もはやデバイスが存在することを確認するだけでなく、それが何であるか、どのようなリスクを伴うか、そしてどのように自信を持って修正できるかを正確に知ることが重要です。

この分野におけるClarotyのリーダーシップは、最近、2025 Gartner® Magic Quadrant™ for CPS Protection Platforms のリーダーとして認められ、「実行能力」で最高位に位置付けられたことで検証されました。業界が進歩するにつれて、この「IDファースト」アプローチは、あらゆる接続された環境でのレジリエンスの向上に向けた基盤となるでしょう。

(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事