「Zerobus インジェスト」の一般提供開始

組織がリアルタイムのオペレーショナル インテリジェンスをスケールさせるにつれて、従来のストリーミング アーキテクチャはコストのかかるボトルネックになっています。Kafkaのようなメッセージバスの管理やスキーマレジストリ、コネクタフレームワークの処理は、重大な「複雑さの税」を生み出し、価値の高いエンジニアリングリソースを戦略的なビジネスイニシアチブから逸らしてしまいます。一方で、ストレージの重複はクラウドの請求額を膨らませ、マルチホップアーキテクチャは重要な知見の取得を遅らせます。最後に、転送中のデータは多くの場合、集中管理されたガバナンスフレームワークの外部に置かれ、コンプライアンスリスクやリネージの死角を生み出します。

Zerobus Ingest のご紹介: レイクハウスへのほぼリアルタイムのストリーミング

本日、 Lakeflow Connect の一部である Zerobus Ingest の一般提供を開始したことをお知らせします。Zerobus Ingestは、データをガバナンスの効いたDeltaテーブルに直接ストリーミングし、中間レイヤーを排除することで、シンプルで高性能なアーキテクチャを実現するフルマネージドのserverlessサービスです。

Zerobus Ingestは、プロデューサーからレイクハウスへの直接的なデータフローを可能にすることで、コストを大幅に削減し、ツールの乱立を解消します。また、大規模でも高いパフォーマンスを実現し、数千の並列接続をサポートし、5秒未満でテーブルに対し10GB/秒を超える集約スループットを達成します。

単一シンクのメリット: アーキテクチャの簡素化による大幅なコスト削減

Kafka のような従来のメッセージバスは、数十もの独立したコンシューマーにデータをルーティングするユニバーサルハブである、マルチシンクアーキテクチャとして設計されていました。しかし、唯一の宛先がレイクハウスである場合、この柔軟性には高いコストがかかる可能性があります。Zerobus Ingestは、データをlakehouseに直接プッシュするという単一のジョブに最適化されたシングルシンクアーキテクチャにより、根本的に異なるアプローチを採用しています。 

このアーキテクチャの選択により、複雑さが解消され、コストが大幅に削減されます。

• ブローカーは不要で、データ量の増加に応じてスケールできます
• 最適なパフォーマンスのためにチューニングすべきパーティションがありません
• コンシューマーグループはありません（監視およびデバッグ用）
• クラスターアップグレードの計画と実行が不要
• チームには、Kafka のような専門知識は必要ありません  

Zerobus Ingestには、管理された単一のDatabricksエンドポイントがあります。Unity Catalogでテーブルを作成し、APIまたはSDKでデータの書き込みを開始すれば、それで完了です。これだけで、他に設定は不要です。サーバーレスアーキテクチャは、設定を一切変更することなく、毎秒ギガバイトのインジェストをサポートするように自動でスケールアップします。

Zerobus Ingestを使用すると、データプロデューサーはメッセージバスをバイパスし、お使いのLakehouseにあるマネージドDeltaテーブルにイベントを直接プッシュできます。

Zerobus Ingest は、従来のストリーミングアーキテクチャを 5 つのマネージドシステムから 2 つのコンポーネントに簡素化し、複数の障害点を排除し、運用上のオーバーヘッドを削減し、専門知識の必要性をなくします。

• 従来のアーキテクチャ: ソースシステム → メッセージバス（Kafkaクラスタ）とスキーマレジストリ → コネクタ → Lakehouse
• Zerobus Ingestアーキテクチャ: ソースシステム → Zerobus Ingest → レイクハウス

中間メッセージバスを排除することで、バス自体のコンピュートとストレージ、そしてその管理に必要な専任のエンジニアリング時間という、2つの主要なコストセンターを削減できます。Zerobus Ingestは、自己管理型のKafkaクラスターの運用・保守と比較して、ギガバイトあたり数分の一のコストでデータ取り込みを提供します。

Zerobus Ingestは、自己管理型のKafkaクラスターの運用・保守と比較して、ギガバイトあたり数分の一のコストでデータ取り込みを提供します。

Zerobus の仕組みについての詳細は、こちらのDatabricks コミュニティの深掘りブログ、またはドキュメントでご覧いただけます。

対応インターフェースとネイティブ統合

開発者は gRPC や REST API を介して統合するか、言語固有の SDK を使用できます。Zerobus Ingestは、業界固有の統合に対応した幅広いプッシュベースのインターフェースを提供し、インジェストを簡素化する柔軟な単一のツールです。

• gRPC API: 最小のレイテンシと最大のスループットを必要とする高性能なアプリケーションに推奨されます。
• REST API（ベータ版）: Webhook、サーバーレス関数、gRPC のサポートが限定的である言語に最適です。
• SDK: Python、Java、Rust、Go、TypeScript向けの本番運用対応のライブラリ。gRPCを利用し、認証とバッチ処理のロジックを簡素化します。
• Open Telemetry（ベータ版）: 設定を変更するだけで、運用logs、メトリクス、トレースをLakehouseに取り込み、長期的な履歴分析を行えます。Open Telemetryエコシステムの詳細については、こちらをご覧ください。

詳しくは、REST と gRPC の違いをご覧ください。

また、すべての書き込みが Unity Catalog によって管理されるため、データが作成された時点からリネージの自動追跡ときめ細かいアクセス制御が利用でき、ストリーミングデータがlakehouseの他の部分とともに統一されたガバナンスで管理されることが保証されます。

顧客のブレークスルーを促進：大規模で指数関数的に高速な知見

トヨタ自動車株式会社向けのリアルタイム製造モニタリング

トヨタは、従来のIoTアーキテクチャの遅延や複雑さを伴うことなく、数千台の工場デバイスからのテレメトリを即座に処理するための統合ソリューションを求めていました。

"Zerobus Ingest を利用することで、工場の過熱状態を数時間ではなく数分で検出できるようになり、当社のカーボンニュートラル戦略と業務効率の向上に直接貢献しています。"「これは単に温度テレメトリを追跡するだけの話ではありません。Zerobus Ingest をデータ取り込みの追加オプションとして利用することで、多様な工場データをほぼリアルタイムで収集し、即座に対策を講じることができるようになり、当社のオペレーションは一変しました」—トヨタ自動車株式会社 デジタルトランスフォーメーション推進部 ゼネラルマネージャー、Kento Izumi 氏

トヨタは、複数のクラウドサービスを組み合わせるのではなく、Soracomが提供するグローバルIoT接続と統合されたZerobus Ingestを活用しています。これにより、リアルタイムオペレーションの高いメンテナンスコストを削減し、製造オペレーションを変革して、サステナビリティに関する目標の達成を支援します。

IoTデータパイプラインアーキテクチャ: Zerobus IngestとSoracom Beamを活用したエッジからアナリティクスプラットフォームまで

イズミ氏はまた、運用効率を加速させることができたと説明しています。「Databricksを搭載した当社の統合データおよびAIプラットフォームである『vista』と組み合わせることで、私たちはデータをより速く収集しているだけでなく、データオペレーションを最適化しています。」

Joby Aviation: 飛行性能分析を数日から数分に短縮

Zerobus Ingestの早期導入企業であるJoby Aviation社は、毎分ギガバイト単位の航空機テレメトリをlakehouseに直接ストリーミングし、エンジニアリングチームがほぼリアルタイムで飛行性能を分析できるようにしています。Joby Aviation社の導入事例を読む。

「Zerobus Ingest によって、テレメトリ解決のレイテンシが数日から数分に短縮されました。」これにより、当社のエンジニアリングチームは飛行性能をほぼリアルタイムで分析し、輸送に変革をもたらすというミッションを加速させることができます。"

業界のユースケースを強化

従来のインフラストラクチャでは、リアルタイムの運用が遅くなります。Zerobus Ingestは、中間メッセージバスの複雑さを排除することで、さまざまな業界において5秒未満で価値を実現するダイレクトパスを構築します。

業界を問わず、あらゆるソースからlakehouseにデータを直接プッシュすることで、デジタルトランスフォーメーションを加速します。

製造業: 生産現場の効率を最大化。Zerobus Ingest SDKを使用して、大量のセンサーボリュームをLakehouseにストリーミングするカスタム転送エージェントを構築します。これにより、ネットワーク インフラの重いオーバーヘッドが排除され、機械の性能が最適化されます。

テレコミュニケーションと IoT: グローバル ネットワークを大規模に監視します。エッジでデプロイされた Zerobus Ingest は、ネットワークからのテレメトリをレイクハウスに送信し、ネットワーク負荷をほぼリアルタイムで追跡します。Soracom とのパートナーシップにより、セルラー、衛星、LPWAN ネットワークを介した安全で信頼性の高いグローバルな IoT データ取り込みの統合が拡大します。

ITとサイバーセキュリティ: ETLの遅延なしに脅威を特定。logsと行動イベントをLakehouseに直接ストリーミングすることで、複雑なパイプラインをバイパスします。これにより、数秒以内の脅威検出、適応的なモデルの再トレーニング、より迅速なインシデント対応が可能になります。

コマースとクリックストリーム：ほぼリアルタイムでエクスペリエンスをパーソナライズ。最小限のインフラストラクチャ オーバーヘッドで、アプリやデバイスから大量のクリックストリーム データをキャプチャします。これによりデータの即時利用が可能になり、パーソナライゼーションエンジン、A/Bテスト、コンバージョン最適化を強化できます。

利用

Zerobus Ingestは現在、AWS、Microsoft Azureで一般提供されており、Google Cloud Platformのサポートも間もなく開始されます。価格は、Lakeflow Jobs Serverless SKUによる従量課金制です。

GA ローンチの一環として、6か月間の特別価格期間を導入します。詳しくはLakeflow Connectの料金ページをご覧ください。 

Zerobus インジェスト入門

ストリーミングインフラストラクチャの複雑さを解消しませんか？わずか数行のコードで、Unity Catalog で管理されているテーブルにデータを直接ストリーミングできます。データは到着した瞬間からインサイトの提供に活用できます。

今すぐ始めるには、以下の Zerobus Ingest リソースをご覧ください：

• 今すぐ Zerobus Ingest をお試しください: ドキュメントとクイックスタート ガイドにアクセス
• 製品ツアー：Zerobus Ingest のナビゲーションを通じて、データ取り込みの開始方法を学びましょう。
• エンドツーエンドのアプリケーションを構築: Python SDKとREST API、Databricks Apps、Databricks Asset Bundlesを使用して、帆船の船団を追跡するリアルタイムのセーリングシミュレーター。ブログを読む
• デジタルツインソリューションの構築：Databricks AppsとLakebaseを使用して、運用効率を最大化し、リアルタイムの知見と予測メンテナンスを加速する方法を学びましょう。ブログを読む

(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事