レイクハウスへの
制限のないデータストリーミング

Zerobus Ingestは、レイクハウスのマネージドテーブルにデータをプッシュするために使用できるAPIとSDKのセットです。これは、通常プル型であるLakeflow Connectの他のマネージドコネクタとは異なります。

gRPC、REST、およびその他のいくつかのAPIやSDKを介してZerobus Ingestと統合できます。完全なリストについては、ドキュメントを参照してください。

Zerobus Ingestは、アプリケーションがバッファリングしてオブジェクトストレージに直接書き込む機能を持たない場合の書き込みを簡素化することを目的としています。たとえば、IoTデバイスにはデータをバッファリングする機能がない場合や、エフェメラル（一時的）なアプリケーションであるWebアプリケーションからのデータをオフロードする必要がある場合などです。

Zerobus Ingestは、マイクロサービス間通信に代表される、複数の運用データコンシューマーが存在するアーキテクチャにおけるメッセージバスを代替するものではありません。

代わりに、メッセージバスがレイクハウスへのデータインジェクションのステージング領域として機能するユースケースにおいて、Zerobus Ingestは優れた代替手段となり、複雑さを劇的に軽減します。

Zerobus Ingestにデータを送信する際は、単にテーブルを作成し、レコードの追加を開始するだけです。そこから先は、メッセージのデシリアライズやスキーマ検証などを含め、Zerobus Ingestがすべてを処理します。Zerobus Ingestに送信されたデータは、マネージドDeltaテーブルとして格納されます。Zerobus Ingestを使用したデータのインジェスト方法の詳細については、ドキュメントを参照してください。

Zerobus IngestはAWSおよびMicrosoft Azureでサポートされています。Google Cloud Platformも近日対応予定です。

GovCloudは現時点ではサポートされていませんが、Databricksのロードマップに含まれています。

オンプレミスの設定でプル型のインジェストが許可されていない場合、プッシュ型のインジェストモデルを採用しているZerobus Ingestは、クラウドへのデータストリーミングに最適なアーキテクチャです。独自のカスタムライターを設定してDatabricksサービスにデータをプッシュし、レイクハウスにシームレスに取り込むことができます。

Zerobus Ingestは現在、JSON、Protobuf、Arrowのメッセージシリアライズに対応しています。詳細はドキュメントをご覧ください。