統合データプラットフォームが生み出す複利の力 ー クラウドセキュリティのイノベーションを加速する

Prisma Cloudは、リスクやインシデントに対する包括的なコードからクラウドへの可視性を提供し、コードからクラウドへの旅を管理・監視するための主要な修復機能を備えた、リーディングクラウドセキュリティプラットフォームです。このプラットフォームは現在、コードからクラウドにわたる1B以上の資産やワークロードを世界中で保護しています。常に変化し、数兆単位の設定変更が毎時間行われる規模で、数万のクラウドアカウントを持つ最も要求の厳しい環境でもセキュリティを提供しています。

本ブログでは、Prisma CloudがどのようにデータとAIを製品に組み込んできたか、既存のデータプラットフォームで直面した課題、そしてDatabricksのデータインテリジェンスプラットフォームを活用することで、どのようにPrisma Cloudが企業全体に変革的な影響を与え、お客様や社内チームに直接的な利益をもたらしたかをレビューします。

Prisma Cloudの目的は、各セグメント/モジュールで最高のソリューションを提供し、さらに付加価値のあるセキュリティ機能を提供して、異なるモジュールからの信号を結びつけ、プラットフォームとしての深い機能を提供することでした。いくつかの例を挙げます：

• インフラストラクチャの設定と管理に関連する姿勢問題の対処。これらの問題をコードで修正し、自動化のマインドセットを育てることで、本番環境での問題を防ぎます。私たちの姿勢管理の提供とコードセキュリティの提供を組み合わせることは、トレーサビリティを確保し、問題を直接コードで解決するために不可欠でした。
• コントロールの視覚化と管理をプラットフォームの「知識グラフ」を通じて行うことで、顧客はリソースとワークロードがどのように接続されているかを理解するのに役立ちます。このアプローチにより、SOC管理者にとってより大きな懸念を引き起こす可能性のある結果を評価し、パスを特定することができます。すべてのシグナルを一か所に集約することは、このプロセスにとって重要です。

Prisma Cloudは、10以上のモジュールで構成されており、それぞれがセキュリティ機能の最高峰であり、プラットフォームに信号を生成します。お客様は、プラットフォームを自社の縦型ニーズ（例：脆弱性管理）に活用するか、または全体のスイートに活用するかを選択できます。プラットフォームアプローチは、お客様が隣接領域を探求することを奨励し、全体的な価値を高め、より大きな粘着性を生み出します。

Prisma Cloudの技術的な課題は、基本的にはデータの課題です。自社の革新とM&Aによって推進される急速なモジュールの拡大に伴い、一から統一されたデータ戦略を開発することは困難な課題でした。しかし、ビジョンは明確でした：すべてのデータを一箇所に統合する解決策がなければ、最高のモジュールの力を活用しながら、お客様が必要とする機能を完全に提供することはできません。

GenAIの最大の採用者の一つであるPalo Alto Networksは、AIを活用してセキュリティオファリングを強化し、AIを保護して顧客が自分たちのAI利用を保護するのを支援し、AI駆動のコパイロットと自動化を通じてユーザーエクスペリエンスを最適化する、という3つの主要な柱を中心にAI戦略を構築しています。詳細はPrecisionAIをご覧ください。

Palo Alto NetworksとPrisma Cloudは、GenAIの波が業界を再形成する前から、多くの製品と機能で深いAI/MLの使用を長い歴史で実現してきました。しかし、AI能力の急速な進化は、長期的で包括的なデータ戦略の必要性を加速しました。

Prisma CloudアーキテクチャのDatabricksエコシステム

我々は、Databricks Data Intelligence Platformを、我々の戦略的な方向性と要件に最適なものとして選びました。これは、我々のビジョンを支えるために必要なすべての重要な側面を包含していました。Databricksを使用することで、我々はデータの統合努力を大幅に加速し、革新的なユースケースをスケールアップし、ロールアウトからわずか6ヶ月で顧客に対する有意義な利益を提供しました。

Databricksを統合した最初の年だけで、Palo Alto Networksは、お客様と内部チームの両方に直接利益をもたらす変革的な、企業全体の影響を達成しました。Databricksプラットフォームでデータワークフローを一元化することにより、私たちは複雑さを大幅に削減し、イノベーションを加速させ、AI/MLの機能を以前の3倍の速さで反復処理することができました。この高速化と並行して、我々は販売費用の20％削減とエンジニアリング開発時間の3倍の減少を実現しました。

Databricks Workflows、統一されたガバナンスのためのDatabricks Unity Catalog、そしてDatabricks Auto Loaderによって強化された協力を活用することで、我々は前例のない速度と規模でセキュリティソリューションを提供することができました。これにより、Prisma Cloudのデータ処理が劇的に加速し、これまで以上に迅速に影響力のある機能を市場に投入することが可能になりました。

自社開発のソリューションの課題

Prisma Cloudは、AWSネイティブサービスを中心に構築された成熟したエンジニアリング技術スタックを用いて、そのインフラストラクチャの大部分をAWS上で運用しています。私たちのチームは、ETLと分析処理のためにApache Sparkを活用する豊富な経験を持っており、AWS GlueとEMR上でインフラストラクチャを運用しています。

専用のデータプラットフォームの必要性を認識し、我々は最初のバージョンの基盤としてEMR、Glue、S3を活用した自家製のソリューションを開発しました。このアプローチは小規模なチームではうまく機能しましたが、より広範なデータ戦略をサポートし、複数のチームでの採用を拡大するためにスケールアップすることはすぐに課題となりました。我々は、数千のGlueジョブと複数のEMRクラスターを管理することになり、モニタリング、アラート、信頼性チェック、ガバナンス/セキュリティガードレールなどのエンタープライズグレードの機能がすべて必要となりました。

私たちのニーズが増えるにつれて、運用上のオーバーヘッドも増えました。私たちのエンジニアリングの努力の大部分が、実質的に私たちのデータプラットフォームの「オペレーティングシステム」になっていたものを維持するために使われ、イノベーションや価値創出のユースケースに焦点を当てることができませんでした。

この取り組みは私たちの戦略的なニーズに対応しましたが、このバージョンの維持においていくつかの課題に直面し始めました。以下にいくつかを挙げます

• オーダーメイドのツールとデータ変換 - チームはデータ属性を特定し、それらを見つけ出し、各ユースケースに対してカスタムパイプラインを設計するために、数多くの会議でかなりの時間を費やしました。これにより開発と協力が遅れました。
• 時間のかかるインフラストラクチャ管理 - 私たちのSparkジョブの中核にある複数のチューニングパラメータにより、スケーラブルで一般的な変更管理プロセスを開発するのに苦労しました。これにより、クラスターの管理を担当するインフラチームに大きな認知負荷が加わりました。
• コスト管理と予算編成 - EMRとGlueを直接管理するには、すべてのスタックにわたる集中的な観察性を含む、複数のガードレールを手動で設定する必要がありました。プロジェクトが成長するにつれて、より成熟したデータプラットフォームの維持に必要な人員も増えました。
• Spark管理 - AWSでサポートされていないSparkコアライブラリの一部の更新に関する課題もあり、これが原因で私たちのジョブの一部が最先端のものと比べて非効率的になることがありました。AWSの内部制限により、エグゼキュータ管理に問題が生じ、根本原因を特定するための繰り返しの会議と詳細なトラブルシューティングが必要となりました。

これらの課題にもかかわらず、自社開発のソリューションはスケールを続け、重要なユースケースのために毎時数千万のデータ変更を処理しています。今後を見据えると、自社のツールを退役させ、エンジニアリングの努力をインフラストラクチャの管理ではなく、お客様のクラウド環境のセキュリティ確保に集中することができる、より成熟したプラットフォームへの移行が明確に必要となっています。

Prisma Cloudでのデータアーキテクチャとその進化

Prisma Cloudでは、その利点と欠点を評価するための任意の技術評価に対して8要素ルールを遵守しています。これらの要素は、私たちの内部技術リーダーシップ委員会で分析され、合意に達するための議論に参加します。評価が十分に行えない要素がある場合、ビジネスに関連するプロトタイピングを通じて追加のデータを収集し、より情報に基づいた決定を行うことを確認します。

主要な要素は以下の通りです：

• 機能的な適合性 - それは私たちのビジネスニーズを解決しますか？
• アーキテクチャ/デザインの適合性 - それは私たちの長期的な技術ビジョンと一致していますか？
• 開発者の採用 - 今日の開発者にどれだけ人気があるのか？
• 安定性/エコシステム - この技術を使用している大規模企業はありますか？
• デプロイメントの複雑さ - そのデプロイメントと変更管理にどれだけの労力が必要なのでしょうか？
• コスト - この技術を活用して提供する予定の機能の価値とCOGsの比較はどうなるのでしょうか？
• 比較ベンチマーク - 既存のベンチマークが同等の規模を証明しているか？

長期的な目標の一つは、セキュリティデータメッシュモデルに移行する能力でした。プラットフォームアプローチを考慮に入れると、データは3つの基本的なタイプに分類します：

• 生のデータ - これには、プラットフォームに入力される際にプロデューサーやモジュールから直接取り込まれるデータが含まれます。Databricksのレイクハウス用語では、これはブロンズデータに相当します。
• 処理済みデータ - Prisma Cloud Platformは意見を持ったプラットフォームで、生のデータを正規化されたプラットフォームオブジェクトに変換します。これは、レイクハウスの用語でシルバーデータレイヤーに一致する加工データと呼ばれます。
• 相関データ - このカテゴリは、異なるデータセットを相関させることで、高度な洞察と分析を可能にし、純粋な価値を解放します。これは、レイクハウス用語でのゴールドレイヤーに対応します。

伝統的なデータレイクでは、ブロンズデータがしばしば破棄されますが、私たちのプラットフォームの幅広さと深さは、より進化的なアプローチを必要とします。単にデータをゴールドデータセットに変換するのではなく、データレイクがデータメッシュに進化することを想像し、より大きな柔軟性、アクセシビリティ、クロスドメインの洞察を可能にします。下の図は、データレイクへの投資から抽出しようとする長期的な能力を反映しています。

私たちのすべての評価は、上記の哲学を中心に行われました。

評価結果

新しい技術評価フレームワークの全ての項目をチェックした上で、以下の主要な洞察がさらにDatabricksを私たちの優先的なデータプラットフォームとして確定させました。

1. 既存の技術スタックの簡素化 - 私たちのインフラストラクチャは、いくつかのGlueとEMRのジョブに依存しており、その多くがアドホックなツールや繰り返しのメンテナンスを必要としていました。Databricksを用いて、私たちのエンジニアが保守ではなく、コアビジネス機能に集中できるように、ジョブを30%-40%削減する機会を見つけました。
2. コスト削減 - さまざまなユースケースでの採用が加速することを考慮に入れる前に、既存の支出が少なくとも20％減少しました。
3. プラットフォームの機能とエコシステム - Databricksは、データ消費のためのJDBC URLの公開、組み込みのML/AIインフラストラクチャ、自動化されたモデルホスティング、強化されたガバナンスとアクセス制御、高度なデータの削除とマスキングなどの機能を通じて、即時の価値を提供しました。これらの機能は、戦術的なニーズと戦略的なニーズの両方に対するデータ取り扱い戦略をアップグレードする際に重要でした。
4. トレーニングと採用の容易さ - 新しいエンジニアをDatabricksにオンボーディングすることは、AWS上でスケーラブルなETLパイプラインをゼロから構築するよりもはるかに容易でした。これにより、エントリーバリアが下がり、私たちのスケールでは不可欠なSparkベースの技術の採用が加速しました。

評価の詳細

アプリケーションの事例研究

初期のパイロットを経て、既存のS3ベースのデータレイクからDatabricksプラットフォームへの移行計画を開始することに確信しました。ローや相関レイヤーからのデータへのアクセスが必要なキーインサイトプロジェクトという絶好の機会が訪れ、新たなセキュリティインサイトを発見し、セキュリティ問題の解決を最適化しました。

Databricksを採用する前は、このタイプのプロジェクトを実行するためには、いくつかの複雑で時間のかかるステップが必要でした：

• データニーズの特定 - 鶏と卵の問題が浮上しました：データニーズを事前に定義する必要がある一方で、その価値を決定する前に複数のデータセットを横断的に探索する必要がありました。
• 統合の複雑さ - データのニーズが定義された後、所有者とデータを調整して統合パスを確立する必要がありました。これはしばしば特注の一回限りのパイプラインを生み出すことになりました。
• ガバナンス＆アクセス制御 - すべてのデータが利用可能になったら、適切なセキュリティとガバナンスを確保する必要がありました。これには手動での設定が必要で、データがどこに存在するかによって実装が異なります。
• 観測性とトラブルシューティング - データパイプラインの監視が複数のチームに分散しているため、問題の解決には大幅なチーム間の調整が必要であり、デバッグは非常にユースケース特有のものになります。

次のステップを通じて、この重要なプロジェクトに対するDatabricks Data Intelligence Platformの影響をテストしました：

• ステップ1：インフラと移行計画
  
  私たちはDatabricksを開発環境でブートストラップし、S3上の自社データレイクのDatabricksへの移行計画を開始しました。移行とインフラストラクチャおよびリソースのデプロイメントの両方にDatabricks Asset BundlesとTerraformを使用しました。
  
  Databricksを採用する前は、エンジニアはほとんどの時間を、さまざまなツールを通じてAWSインフラを管理するのに費やしていました。Databricksを使用すると、ユーザーとグループのクラスター設定を管理するための集中化されたプラットフォームが得られます。
  
  DatabricksはPhotonを通じて強化されたSpark環境を提供し、最適化されたパフォーマンスを持つ完全に管理されたプラットフォームを提供しますが、AWSは主にEMRサービスを通じてSparkを提供し、これにはより多くの手動設定が必要で、Databricksと同じレベルのパフォーマンス最適化を達成することはできません。さらに、Databricksでモデルを構築、デプロイ、提供する能力は、私たちのスケールアップをより迅速に進めることを可能にしました。
• ステップ2：スケールのためのワークストリームの構造化
  
  私たちは、Databricksプラットフォーム上でプロジェクトを4つのワークストリームに分けました：データカタログ管理、データレイクハイドレーション、ガバナンスとアクセス制御、およびDevツール/自動化。
  
  Unity Catalogは、私たちのプラットフォームを構築するために不可欠であり、一つのスペースで統一されたガバナンスとアクセス制御を提供しました。属性ベースのアクセス制御（ABAC）とデータマスキングを利用することで、開発時間を遅らせることなく必要に応じてデータを難読化することができました。
• ステップ3：データオンボーディングとガバナンスの加速
  
  データレイクに存在する既存のデータのカタログ登録とオンボーディングは数時間で完了し、ガバナンスとアクセス制御の設定は一度だけの努力でした。
  
  Unity Catalogは、すべての権限を管理するための集中化されたプラットフォームを提供し、構造化データと非構造化データを含む全体のデータエステートのセキュリティを簡素化しました。これには、データ、モデル、ダッシュボード、ノートブックなどのガバナンスが含まれていました。
• ステップ4：データハイドレーション＆オブザーバビリティのスケーリング
  
  これまで利用できなかった生のデータを既存のデータレイクにシームレスに統合し、Databricks Platformへのハイドレーションを優先しました。包括的なKafka、データベース、S3の統合を活用し、数回のスプリントで数兆行にスケーリングする生産級のハイドレーションジョブを成功させました。
  
  本番環境では、Databricks Workflowsを広範に依存しており、インタラクティブなクラスターは開発、テスト、パフォーマンス環境をサポートし、Prisma Cloud製品の革新的な機能を構築するために専用されています。Databricks Serverless SQLはダッシュボードを支え、モデルのドリフトとパフォーマンスメトリクスの効率的な監視を保証します。さらに、システムテーブルは、時間をかけて高コストのジョブとランを特定し分析し、大幅な予算の変動を追跡し、効果的なコスト最適化とリソース管理を促進するための強力なツールとなります。
  
  この包括的なアプローチは、エグゼクティブにプラットフォームの使用と消費について明確な可視性を提供し、EMR、Glue、SageMaker、Neptuneなどの複数のAWSツールからの断片的な洞察に依存せずにオブザーバビリティと予算編成を効率化します。

結果

この統合は変革的でした。プロトタイピングの一週間以内に、生データ、処理データ、相関データセットを組み合わせることで、製品市場適合性の評価をより生産的に行うことができる貴重な洞察を得ることができました。結果として、追求すべき顧客の課題について明確な方向性を得るとともに、私たちが提供できる影響の理解を深めることができました。

Databricksとのパートナーシップを結んでからわずか6ヶ月で、私たちはお客様のための重要なセキュリティ革新を導入しました。これは、以前の技術スタック、広範な顧客基盤、そしてコアセキュリティ機能を優先する必要性を考えると、ほぼ不可能な成果でした。

Databricksの利用統計

• 1日あたり約3兆レコードの処理。
• P50処理時間：＜30分。
• 最大並列性: 24
• Auto Loaderの利用は、インジェストの遅延を秒単位に短縮し、ほぼリアルタイムの処理を提供します。
• システムテーブルを備えたAI/BIダッシュボードなどのアウトオブザボックス機能は、開発チームが高コストのジョブと時間経過による実行を特定し分析し、大幅な予算変更を監視し、効果的なコスト最適化とリソース管理を支援するのに役立ちました。

まとめ

上記のアプリケーションケーススタディが示したように、私たちの成長のタイミングは、Databricksが選ばれる主要なデータプラットフォームとして台頭するのと一致しました。私たちの迅速な革新とスケーラビリティへの共有のコミットメントが、このパートナーシップを自然なフィットにしました。

クラウドセキュリティの技術的な課題をデータ問題として再定義することで、我々はこの分野の専門家である技術提供者を探すことができました。この戦略的なシフトにより、我々はDatabricksの強力なプラットフォームを活用しながら、我々の規模とビジネスニーズに合わせてそれをカスタマイズするためのドメイン知識を活用することに焦点を当てることができました。結果的に、この協力は我々が革新を加速し、セキュリティの洞察を強化し、お客様に対してより大きな価値を提供することを可能にしました。

DatabricksとPalo Alto Networksの協力についてはここで詳しく読むことができます。