通信業界向け！Databricksで構築する産業IoTとM2Mソリューション

通信業界は、急速な技術の進歩と進化する市場動向により、大きな変化を遂げています。 通信サービス プロバイダー (CSP) は、顧客向けのモニタリングと最適化、およびパーソナライズされたエクスペリエンスのためにネットワークを管理するためのさまざまなソリューションを構築します。 CSP による 5G ネットワークの導入が進み、自動車、製造、小売、医療、物流などの業界全体で IoT (モノのインターネット) や M2M (マシン ツー マシン) ソリューションに多額の投資が行われる中、CSP は追加のソリューションやサービスでネットワークを収益化することで収益を増加できる独自の立場にあります。 このブログでは、Databricks を使用した IoT および M2M ソリューションの構築に焦点を当てています。 CSP が業界の IoT および M2M ユースケース向けに DIY (Do-It-Yourself) データおよび AI ソリューションを作成することがいかに難しいか、また、Databricks Intelligence Platform for Communications が CSP がこれらの業界ソリューションをより迅速に構築し、TCO を削減し、ROI を高めるためにどのように役立つかについて説明します。

IoT および M2M ユースケース向けのデータ、AI ソリューションの構築における課題

データと AI ソリューションの構築には、いくつかの課題があります。

• データ管理: IoTデバイスと M2M 通信はエッジで大量のデータを生成し、そのデータは 2025 年までに最大79.4 ゼタバイト (ZB)に達すると予想されます。 従来のデータ処理ソリューションではこの規模のデータに対応できず、最新のソリューションが必要になります。 データ管理には通常、さまざまなデータ ソースから効率的かつ安全にデータを収集、保存、利用することが含まれます。 これは難しいかもしれませんが、 AIモデルを効果的にトレーニングするには不可欠であり、これには堅牢なデータガバナンス フレームワークを含む戦略的アプローチが必要です。
• データの品質と統合: AI モデルは高品質のデータセットに依存します。 不正確さなどの問題は、AI のパフォーマンスの低下につながる可能性があります。 複数の IoT デバイスからのデータを統合すると、複雑さが増します。 組織は、データの品質を向上させるために、データの検証、クリーニング、および統合プロセスを優先する必要があります。
• データのプライバシーとセキュリティ: IoT ベースのカメラ、センサー、その他のデバイスを使用した小売ソリューションなどで個人情報や機密情報を使用および処理すると、倫理的および法的問題が発生し、データを保護するための厳格な対策が必要になります。 GDPRや HIPPA などの規制に準拠し、高度なセキュリティ テクノロジを使用することは非常に重要であり、最優先事項です。
• スケーラビリティ:システムは、パフォーマンスを損なうことなく、IoT デバイスからのデータ量の増加や規制による長期保存要件 (業界によっては最長 10 年) を処理する必要があります。 これには、スケーラブルなストレージ、分散コンピューティング、効率的なアルゴリズムが必要です。 組織は、スケーラビリティを考慮してクラウドベースのモジュール式システム アーキテクチャを設計する必要があります。
• 規制、倫理、安全性に関する懸念: AI システムがより多くの意思決定の役割を担うようになるにつれて、EU AI 法などの規制では、そのようなシステムの公平性、透明性、説明責任を確保する必要性が強調されています。 進化する規制に準拠するためにこれらの問題に対処することは、組織にとって課題となります。

要約すると、 AIとデータ ソリューションは大きな潜在的な利点をもたらしますが、データ品質、統合、規制コンプライアンス、インフラストラクチャに関連する大きな課題も伴います。

Databricks と通信業界 - より良いパートナーシップ

Databricks は、通信サービス プロバイダー (CSP) に、業界向けのデータおよび AI ソリューションの構築に活用できるいくつかの独自の利点を提供します。

コミュニケーションのためのデータインテリジェンスプラットフォーム

Databricks は、通信向けデータ インテリジェンス プラットフォームを通じて、CSP と緊密に連携することでこれらの課題に対処します。 この連携により、データドリブンの意思決定が強化され、 AIと学習の力を活用して、CSP がネットワーク パフォーマンスと機械顧客インタラクションを最適化し、業界向けのIoTおよび M2M ソリューションを構築できるようになります。 Databricks 、データ共有のためのオープン プロトコルであるAIUnity Catalogによる統合ガバナンス ソリューションを備えたデータとAIソリューションを構築するための包括的なプラットフォームを提供し、 Delta Sharingによるアセット、 による本番運用品質のMLおよび GenAI アプリケーションを構築およびデプロイするためのプラットフォームを提供します。 Mosaic AI 、 AI/BIを備えたインテリジェント アナリティクス、 Databricks SQLを備えたインテリジェント データウェアハウス、データ ストリーミングを備えた次々アナリティクス アプリケーション。 必要な機能とサービスがすべて事前に統合されているため、CSP はプラットフォーム コンポーネントの構築と統合ではなく、業界のユースケース向けのソリューションの構築に集中でき、将来の技術進歩に合わせてプラットフォームを最新の状態に保つための投資を継続できます。

クラウドとエッジのデプロイメントを備えたハイブリッドアーキテクチャ

エッジ コンピューティングは、IoT および M2M ソリューションの構築において重要な役割を果たします。 ほとんどのユースケースでは、IoT エッジ デバイスからのデータ収集と、エッジでのストレージとコンピューティングを提供する 5G MEC (マルチアクセス エッジ コンピューティング) 環境のエッジでの機械学習 (ML) モデルの実行が行われます。 これらの モデルのトレーニングと展開に取り組む や エンジニアにとっての課題の 1data scientistsMLML つは、サポートされるオペレーティング システムや機械学習ランタイムが異なるさまざまな 5G MEC エッジ デバイスです。エッジ デバイスと ML モデルの数が増えると、これは課題になります。

上の を使用した MLOpsMLflow Databricksdata scientists主導のアプローチにより、ML やエンジニアは、MLflow の主要機能である フレーバーを使用して、これらの ランタイムとデプロイメント環境の管理の複雑さを簡素化できます。MLflowAPIこれらは、さまざまな機械学習ライブラリに一貫した を提供し、モデルを複数の形式、つまり「フレーバー」で保存するために使用できます。DatabricksMLRuntime data scientists、人気のフレームワーク、組み込み 、 ランタイムを管理するためのパフォーマンスの最適化などのスケーラブルなクラスターをAutoML MLと実践者に提供します。ML Runtime事前に構築されたコンテナを介して、最も人気のあるMLフレームワークとカスタムML環境の信頼性が高くパフォーマンスの高い配布にワンクリックでアクセスできるようにします。 これらすべてにより、 data scientistsやMLエンジニアは、カスタムMLモデルの構築を必要とするユースケースやビジネス要件に注力できるようになります。 同時に、MLflow は、異なるランタイムを持つさまざまなエッジ デバイスにそれらを展開する際の複雑さを抽象化します。

電気自動車 (EV) メーカーまたは充電ソリューション プロバイダーが、EV 充電ユース ケースの異常検出のために CSP の 5G MEC を利用して ML 推論を実行するケースを考えてみましょう。 通信事業者と EV メーカー向けの分離された管理されたワークスペースにより、CSP はエッジで充電データを収集し、ワークスペース内で処理および変換できます。 Databricksには豊富なパートナー エコシステムがあり、リアルタイムの IoT データ取り込みストリーミング機能がすでにプラットフォームに組み込まれています。 ワークフロー機能は、ETL 処理および変換のための管理されたオーケストレーション サービスとして利用できます。 データの変換と処理後、CSP は Delta Sharing を使用して、処理されたデータを EV メーカーのワークスペースと共有できます。 次に、このデータを使用して、ML MLOps上のMLflow を使用する 主導のアプローチを使用して、推論用の独自の モデルを構築およびトレーニングします。Databricksモデルのトレーニング後、EV メーカーは Delta Sharing を再度使用して、5G MEC コンピューティング環境での ML モデルの展開を管理できる CSP とトレーニング済みのモデルを共有できます。

Databricksは、スケーラブルなAIをエッジにもたらすためのソリューションアクセラレータを提供しており、CSP（通信サービスプロバイダー）はこれを利用して、同様のエッジAI推論ソリューションを求める顧客に展開できます。

マルチクラウドアーキテクチャとオープンでスケーラブルなデータ共有

CSP とその顧客にとってのもう 1 つの差し迫った課題は、EU の金融業界に対するデジタル運用レジリエンス法 (DORA) などの規制のため、あるいはベンダー ロックインを回避するため、またはコスト効率上の理由から、戦略的な選択として、マルチクラウド戦略の一環としてクラウドに依存しないソリューションを構築する必要性です。 したがって、CSP は特定のクラウド プロバイダーを持ち、別のプロバイダーを希望する顧客と協力する必要がある状況になります。 クラウド間の通信は、ネットワーキングと接続の複雑さ、セキュリティとコンプライアンス、追加の管理とモニタリングのオーバーヘッド、追加のコスト、統合と相互運用性の課題に関する追加の課題をもたらします。 これらの問題の解決に重点を置くと、CSP の焦点と投資は IoT および M2M ソリューションの構築から逸れてしまいます。

Databricks は、クラウドに依存しないデータおよび AI プラットフォームとして設計されており、AWS、Azure、GCP など、どのクラウド プラットフォームでも同様にワークロードを実行できます。 この柔軟性により、CSP はデータおよび AI ソリューションを一度構築して顧客に提供することができ、顧客はサポートされているクラウド プラットフォームのいずれかで独自の Databricks 環境でソリューションを実行できます。 さらに、 Databricksでは、 AIと Linux Foundation によって開発されたオープン プロトコルであるDelta Sharingを使用して、データ分析のためのオープン データ共有とDatabricksアセットが可能になります。 クラウドやオンプレミス環境を含むさまざまなコンピューティング プラットフォーム間で、大規模なデータセットを安全かつリアルタイムに交換できます。

Delta Sharingが、ドイツ取引所、シェル、ナスダックのような顧客に、クラウドプラットフォーム間での相互運用性と協力を促進する方法をご覧ください。

業界向けソリューションアクセラレータ

Databricksは、通信業界向けのデータインテリジェンスプラットフォームの一環として、ソリューションアクセラレータのスイートを導入しました。これらのアクセラレータは、データ分析とAIソリューションの展開を迅速化するための、あらかじめ構築されたガイドであり、完全に機能するノートブックやベストプラクティスを含んでいます。これらは、業界横断的な日常的および高インパクトのユースケースに対応するために設計されており、発見、設計、開発、テストにかかる時間を大幅に節約し、アイデアから概念実証までの期間を大幅に短縮することができます。いくつかの例を見てみましょう。

店頭での在庫状況: 売り切れ（OOS）は、小売業やサプライチェーンにおける最大の問題の一つです。このソリューションアクセラレータでは、IoTデバイスやRFID（無線周波数識別）センサーから収集されたデータを使用し、リアルタイムのデータと分析によってOOSを解決する方法を示しています。このアクセラレータを使用することで、通信サービスプロバイダー（CSP）は、小売業やサプライチェーンの顧客向けにリアルタイムで棚在庫の可用性を改善し、小売売上を増加させるソリューションを構築することができます。

グリッドエッジ分析: エネルギー供給者にとって、グリッドの端からのデータを活用し、エネルギーグリッドのパフォーマンスを最適化し、停電を防ぐための情報に基づいた意思決定を行うことは極めて重要です。このアクセラレータは、CSPがエネルギー供給者向けに、スマートメーターやセンサーのようなIoTデバイスからのデータを統合し、グリッドの挙動に関する深い洞察を得るための分析を行い、畳み込みニューラルネットワークに基づく故障検知モデルを訓練して異常を識別するソリューションを構築するのに役立ちます。このアプローチは、エネルギー需要を管理し、グリッドパフォーマンスを向上させ、温室効果ガスの排出を削減することを目指しています。

その他、小売・消費財、ヘルスケア・ライフサイエンス、メディア・エンターテイメントなど、CSPが顧客向けのカスタムソリューションを構築するために使用し、拡張することができる他の業界向けのソリューションのリストもあります。

まとめ

より多くの企業が業務効率を向上させ、運用を最適化するためにIoTやM2Mソリューションを採用する中で、通信サービスプロバイダー（CSP）は5Gネットワークへの投資を収益化し、顧客に付加価値サービスを提供することができます。また、5G技術は、リアルタイムのユースケースを構築する可能性を提供しており、最大で20ギガビット毎秒（Gbps）のデータを低遅延（最大1ミリ秒）で提供できる高帯域幅の能力を持っています。CSPがこれらのプラットフォームを自力で構築することがどれほど困難であるか、そしてDatabricksがCSPにすぐに使用可能なデータとAIプラットフォームを提供し、即座にIoTおよびM2Mソリューションを構築できることを私たちは目の当たりにしました。また、CSPが選択したクラウド上で展開できるマネージドプラットフォームであるため、最新技術を使用したデータとAIソリューションを構築するために役立つすべての優れた機能と定期的なアップグレードにアクセスできます。

上記のすべての機能を提供する「Data Intelligence Platform for Communications」を探求し、Databricksプラットフォームをお好みのクラウドで14 日間無料で試用してみてください。