Zerobus Ingest のパブリック プレビューを発表

Lakeflow Connect の一部である Zerobus Ingest を使用すると、イベントデータをlakehouseに直接プッシュでき、シングルシンクのメッセージバスレイヤーを完全に排除できます。インフラストラクチャを削減し、運用を簡素化し、大規模なニアリアルタイムのデータ取り込みを実現することで、Zerobus Ingest はイベントデータから価値を引き出す作業をこれまでになく簡単にします。

従来、組織はKafkaのようなメッセージバスをトランスポートレイヤーとして使用します。Kafkaは耐久性と低レイテンシーを提供しますが、データが最初にKafkaに書き込まれ、その後Spark宣言型パイプラインによってlakehouseにプルされるという、2ホップのアーキテクチャを導入しています。これによりインフラストラクチャが追加され、データが複製され、専門的なツールや専門知識が必要になるため、デバッグがより困難になる可能性があります。その結果、特に唯一の宛先がlakehouseである場合、コストの増加、デリバリーの遅延、運用オーバーヘッドの増大につながります。

わずか数行のコードで、Zerobus Ingestを使用してストリームを作成し、レイクハウスにデータを直接プッシュしstartできます。

大規模環境でのパフォーマンスと、簡素化されたアーキテクチャ

イベントデータは、重要なリアルタイム分析およびAIアプリケーションを支えています。クリックストリームやテレメトリからIoTセンサーデータまで、組織は高速で信頼性の高いパイプラインを活用して、数時間ではなく数秒で意思決定を行っています。Zerobus Ingestは大規模なパフォーマンスを実現するように設計されており、わずか5秒という低レイテンシー、接続あたり最大100 MB/秒のthroughput、同じテーブルに書き込む何千もの並列クライアントのサポートを提供します。

データホップ、冗長コピー、外部メッセージバスを排除することで、Zerobusはインフラストラクチャを簡素化し、イベントデータ取り込みの運用オーバーヘッドを削減します。Databricks Data Intelligence Platformと完全に統合されたZerobusは、ネイティブにDeltaテーブルに書き込み、Unity Catalogと統合してセキュリティとガバナンスを確保し、アナリティクスツールやAIツールとシームレスに接続します。

Zerobus IngestのインターフェースとSDK:
Databricksは、インジェストを効率化するための幅広いインターフェースをサポートしており、Zerobus Ingestを使用してカスタマイズされた高throughputのアプリケーションを構築できるSDKを提供しています。また、Open Telemetryなどの標準化されたインターフェースもサポートしており、既存のアプリケーションが設定の変更のみでデータを転送できるようになります。

Zerobus Ingest SDK と APIs は、カスタムデバイスの統合をサポートし、最小限のインフラストラクチャでマネージド Delta テーブルとの直接通信を可能にします。

以下のインターフェースをリリースします。

• SDK
  • Python SDK (PuPr)
  • Java 用 SDK (PuPr)
  • Rust 向け SDK (PuPr)
• APIs
  • gRPC APIs  (PuPr) *
  • REST API (PrPr) *
  • OpenTelemetry APIs (PrPr) * 

詳細については、Databricksの担当者にお問い合わせください。

これらの新しいインターフェースは、特別なインフラストラクチャを必要とせずに、ソースからシンクまで、増え続けるthroughputのニーズに対応します。詳細については、技術ドキュメントをご覧ください。 
 

Zerobus Ingestを使用すると、データプロデューサーはメッセージバスをバイパスして、Lakehouse内のマネージドDeltaテーブルにイベントを直接プッシュできます。 

業界別のイベントデータユースケース

Zerobus Ingestは、テレメトリー、クリックストリーム、IoTのユースケースにわたって、多様で大量のイベントデータを大規模かつほぼリアルタイムで処理するように設計されており、製造、テレコミュニケーション、eコマースと小売、ITとサイバーセキュリティなどの業界をサポートしています。Zerobus Ingestは、物理システムとデジタル環境をlakehouseに直接接続することで、ガバナンスの効いた高性能なアナリティクスをほぼリアルタイムで可能にします。

製造とIoT

工場では、リアルタイムおよび過去のパフォーマンスを分析して効率を向上させ、予期せぬダウンタイムを削減するために、マシンデータとセンサーデータの継続的なストリームが生成されます。多くの場合、厳しいネットワークおよび統合に関する制約の下でこれが行われます。Zerobus IngestとそのダイレクトライトSDKを使用すると、チームはカスタム転送エージェントを構築して、データをlakehouseに直接ストリームできます。Unity Catalogと組み合わせることで、エッジからアナリティクスまでエンドツーエンドのガバナンスを備えた、安全で低レイテンシーの取り込みが可能になります。

Joby Aviation は、精密部品の製造とフライト テレメトリの分析を行い、ゼロから構築された電気航空機で空の旅を再創造しています。Joby は、Zerobus Ingest を使用して、毎分ギガバイト単位のテレメトリデータを lakehouse に直接ストリームしています。これにより、航空機の開発、飛行後の運用最適化、マシンレベルまでの製造最適化をサポートする、ほぼリアルタイムの知見が実現します。Joby Aviation の導入事例を読む。 

「Zerobus Ingestを使用することで、当社の製造拠点から毎分ギガバイト単位のテレメトリーをlakehouseにプッシュしています… Zerobusはただ高速なだけではなく、私たちの成長に合わせて拡張できるのです。」サイト、デバイス、またはデータが増えても、何も再設計する必要はありませんでした。— ドミニク・ミュラー、ファクトリーシステムリード、Joby Aviation

カスタム Joby 転送エージェントと Zerobus Ingest を使用した、効率化されたインジェスト ソリューション。

テレコミュニケーションと IoT

グローバルに分散したデバイスを持つテレコミュニケーション組織にとって、毎秒数百万のデバイス信号をリアルタイムで処理することは、アナリティクス、ネットワークパフォーマンスのモニタリング、顧客体験の最適化に不可欠です。

Databricks は、IoT 接続のグローバル プロバイダーである Soracom と提携し、Zerobus Ingest を世界中の携帯電話、衛星、LPWAN サービスに拡張します。これらを組み合わせることで、顧客はあらゆるデバイスからlakehouseへ、安全かつ確実にデータを移動できるようになります。

「顧客は、当社のセルラー、衛星、LPWAN サービスを使用して、世界中のデバイスから忠実度の高いデータを Databricks Data Intelligence Platform にプッシュし、知見を得るまでの時間を短縮して、画期的な成果を達成できるようになりました。」— 安川健太、株式会社ソラコム CTO兼共同創業者

コマース、小売、クリックストリーム

小売業や e コマースでは、ウェブサイト、アプリ、コネクテッド デバイスから生成される行動データとクリックストリーム データをその場で分析することが、ほぼリアルタイムのパーソナライズ、A/B テスト、コンバージョン最適化を実現する上で重要です。Zerobus Ingest は、データを Delta テーブルに直接書き込み、メッセージ バスの依存関係やオーバーヘッドなインフラを排除し、アナリティクスにすぐに使える単一の信頼できるソースを提供することで、このユースケースの実現を支援します。

IT とサイバーセキュリティ

セキュリティチームにとって、テレメトリおよびイベントデータにほぼリアルタイムで迅速にアクセスすることは、検出、モデルのフィードバック、分析、対応の間のレイテンシーを短縮するために不可欠です。Zerobus Ingestは、logsとメトリクスの継続的で低レイテンシーな取り込みを可能にし、脅威の特定と適応型モデルの再トレーニングを加速します。また、従来の ETL やバッチ取り込みの遅延なく、行動イベントを lakehouse に直接ストリーミングすることで、ほぼリアルタイムの不正行為や異常検知も可能になります。

Zerobus Ingestの開始

パブリックプレビューの一環として、さまざまな業界のお客様がZerobusを使用してDatabricksデータインテリジェンスプラットフォームで新しい可能性を切り開いていくことを楽しみにしています。開始を支援するために、Zerobus Ingestの機能を直接体験できる、いくつかのデモ、ソリューションアクセラレーター、サンプルデータ付きのステップバイステップのチュートリアルもリリースしました。

Zerobus Ingestを今すぐworkspaceで有効にするには、Databricksの担当者にお問い合わせください。

• ソリューション アクセラレータ: デジタルツイン
  Databricksのネイティブ機能（Zerobus Ingest、Lakeflow宣言型パイプライン、Lakebase）を使用して独自のデジタルツイン ソリューションをデプロイし、サードパーティ ソリューションを統合する際のコストと複雑さを削減します。ブログを読む | Githubリポジトリ
• チュートリアル: Databricks Apps を Lambda として使用し、Zerobus で Delta に書き込む
  Zerobus Ingest を使用して Delta Lake テーブルに構造化データを高性能で取り込むために設計された、本番運用対応のモジュール式 FastAPI アプリケーションである「Databricks Direct Write App」の使用方法を解説するステップバイステップのチュートリアルです。主なメリットは、高速なストリーミング データ転送、効率的で安全なデータ読み込みなどです。ブログを読む
• チュートリアル: Zerobus Ingestによるデータ取り込みの効率化: RabbitMQからレイクハウスへ
  Zerobus Ingestは、RabbitMQメッセージを簡単にサブスクライブし、このデータをDatabricksにシームレスにプッシュしてアナリティクス用にDelta Lakeテーブルに変換する、転送エージェントの作成を可能にします。ブログを読む | Githubリポジトリ
• コンテナサービス: Zerobus-Station
  Zerobus Ingest テーブルへの RESTful インターフェースを提供する、スケーラブルなコンテナサービスです。 
  ブログを読む | Githubリポジトリ