Lakeflow Connect最新アップデート：Zerobusによる高速データ取り込みを実現

すべては良質なデータから始まるため、インサイトを得るための最初のステップは多くの場合、データの取り込みです。しかし、データの取り込みには、各データソースの複雑さを理解する、ソースの変更を追跡する、そしてその過程で全てを管理するといった課題があります。

Lakeflow Connectは、ポイント＆クリックのUI、シンプルなAPI、そしてData Intelligence Platformとの深い統合により、効率的なデータ取り込みを容易にします。昨年、2,000社以上のお客様がLakeflow Connectを使用して、データから価値を創出しました。

このブログでは、Lakeflow Connectの基本をレビューし、2025年のData + AI Summitでの最新の発表を再確認します。

Lakeflow Connectを使用して、すべてのデータを一か所で取り込みます

Lakeflow Connectは、アプリケーション、データベース、クラウドストレージ、メッセージバスなどのシンプルな取り込みコネクタを提供します。裏側では、増分更新と最適化されたAPI使用により、効率的なデータ取り込みが行われます。管理されたパイプラインが実行されると、私たちはスキーマの進化、シームレスなサードパーティAPIのアップグレード、組み込みアラートを備えた包括的な観測性を担当します。

Data + AI Summit 2025の発表

今年のData + AI Summitで、DatabricksはLakeflowの一般提供を発表しました。これは、データの取り込み、変換、オーケストレーションを通じての統一されたデータエンジニアリングのアプローチです。これに伴い、Lakeflow ConnectはZerobusを発表しました。ZerobusはIoT、クリックストリーム、テレメトリーなどのユースケースでのデータ取り込みを簡素化する直接書き込みAPIです。また、エンタープライズアプリケーション、ファイルソース、データベース、データウェアハウス、さらにはクラウドオブジェクトストレージからのデータなど、サポートされるデータソースの範囲を拡大しました。これには、より多くの組み込みコネクタが含まれています。

Zerobus：イベントデータを直接あなたのレイクハウスにプッシュする新しい方法

私たちは、データソースに近づけることでイベントデータを直接ユーザーのレイクハウスにプッシュする新しい革新的なアプローチ、Zerobusを発表しました。データホップの排除と運用負荷の軽減により、Zerobusは低レイテンシーで高スループットの直接書き込みを提供し、大規模環境でもほぼリアルタイムのパフォーマンスを実現します。

以前、一部の組織は、Lakehouseへのトランスポート層としてKafkaのようなメッセージバスを使用していました。Kafkaは、データプロデューサーがデータを送信するための耐久性のある低遅延の方法を提供し、複数のシンクに書き込む際の人気の選択肢です。ただし、これには追加の複雑さとコストが発生し、別のデータコピーの管理負担も増えるため、Lakehouseが唯一の目的地である場合には非効率的です。Zerobusは、これらのケースに対するシンプルな解決策を提供します。

Joby AviationはすでにZerobusを使用して、テレメトリーデータを直接Databricksにプッシュしています。

「Jobyは、製造エージェントでZerobusを使用して、テレメトリーデータを毎分ギガバイト単位で直接当社のレイクハウスにプッシュし、インサイト獲得までの時間を短縮することができます。これはすべて、Databricks LakeflowとData Intelligence Platformを使用しています。」 — Dominik Müller、ファクトリーシステムリード、Joby Aviation, Inc.

Lakeflow Connectの一部として、ZerobusもDatabricks Platformと統合されていますので、すぐにより広範な分析とAIの機能を活用できます。Zerobusは現在プライベートプレビュー中です。早期アクセスのためには、アカウントチームに連絡してください。

🎥 Zerobusについてもっと学ぶ: Data + AI Summitのブレイクアウトセッションでは、Joby Aviationとともに、「Lakeflow Connect: ストリーミングアーキテクチャのホップを排除する」について学べます。

Lakeflow Connectが取り込み機能とデータソースを拡大

新たにフルマネージドコネクターが様々なリリース段階で続々と展開されています（詳細なリストは以下をご参照ください）。これには、Google AnalyticsやServiceNow、さらには最初のデータベースコネクターであるSQL Serverが含まれており、現在はパブリックプレビューで、近日中に一般提供が開始される予定です。

また、より多くのカスタマイズオプションを求めるお客様向けに、既存のデータ取り込みソリューションであるAuto Loaderの革新を続けています。これは、新しいデータファイルがクラウドストレージに到着すると、それらを効率的に増分処理します。Auto Loaderの主要なコストとパフォーマンスの改善をいくつかリリースしました。これには、3倍速いディレクトリリストと“CleanSource”による自動クリーンアップが含まれ、これらは現在一般に利用可能で、ファイルイベントを使用したよりスマートでコスト効率の良いファイルの発見も可能です。また、Excelファイルの取り込みとSFTPサーバーからのデータ取り込みのネイティブサポートを発表しました。これらはプライベートプレビューで、早期アクセスのリクエストにより利用可能です。

対応データソース：

• 対応アプリケーション: Salesforce、Workday、ServiceNow、Google Analytics、Microsoft Dynamics 365、Oracle NetSuite
• ファイルソース: S3、ADLS、GCS、SFTP、SharePoint
• データベース: SQL Server、Oracle Database、MySQL、PostgreSQL
• データウェアハウス: Snowflake、Amazon Redshift、Google BigQuery

拡張されたコネクタの提供の中で、データの取り込みを簡素化するクエリベースのコネクタを導入しています。これらの新しいコネクターを使用すると、データベースに変更を加えることなくソースシステムから直接データを取得でき、変更データキャプチャ（CDC）ログが利用できない環境でもリードレプリカと連携できます。これは現在プライベートプレビュー中です。早期アクセスのためには、アカウントチームに連絡してください。

🎥 Lakeflow Connectについてもっと学びましょう: Data + AI Summitでのブレイクアウトセッション、「Lakeflow Connectの使い方」

🎥 エンタープライズSaaSアプリケーションからの取り込みについてもっと学ぶ： Databricksの顧客であるPorsche Holdingが特集されたData + AI Summitのブレイクアウトセッション、「Lakeflow Connect: エンタープライズアプリからのシームレスなデータ取り込み」

🎥 データベースコネクタについてもっと学びましょう： Data + AI Summitのブレイクアウトセッション、「Lakeflow Connect：データベースからの簡単で効率的な取り込み」

Lakeflow Connect in Jobs、現在一般に利用可能

データパイプラインの構築時に取り込みコネクターをより簡単に使用できるよう、機能の開発を継続しています。これはLakeflowの統一されたデータエンジニアリング体験の一部です。Databricksは最近、Lakeflow Jobs内でデータ取り込みパイプラインを作成できるLakeflow Connect in Jobsを発表しました。したがって、ETLプロセスの中心にジョブがある場合、このシームレスな統合は、取り込みの管理に対するより直感的で統一された体験を提供します。

顧客は、取り込みから変換までのエンドツーエンドのワークロードを一箇所で定義し、管理することができます。Lakeflow Connect in Jobsは現在一般提供中です。

🎥 Lakeflow Jobsについてもっと学びましょう: Data + AI Summitでのブレイクアウトセッション「Lakeflow Jobsでのオーケストレーション」

Lakeflow Connect：2025年以降にさらに進化予定

Databricksは、分析ツールやAIツールを使用してデータでイノベーションを推進するデータエンジニアと組織のニーズを理解しています。そのため、Lakeflow Connectは、よりカスタマイズ可能な機能とAPIへの完全に管理されたコネクターを備えた堅牢で効率的な取り込み機能を継続して構築しています。

Lakeflow Connectの開発はまだ始まったばかりです。今年後半のさらなる発表をお楽しみに、またはDatabricksのアカウントチームに連絡して、早期アクセスのプレビューに参加してください。

Lakeflow Connectを試すには、ドキュメンテーションを確認するか、デモセンターをチェックしてみてください。