Databricks Lakeflow がついに一般提供開始！

私たちは、Databricksの統合データエンジニアリングソリューションであるLakeflowが一般提供開始となったことを発表することを嬉しく思います。それには、人気のあるデータソースへの拡張された取り込みコネクタ、データパイプラインの構築とデバッグを容易にする新しい「データエンジニアリング用IDE」、およびETLの運用化と監視の機能が拡張されています。
 
昨年のData + AI Summitでは、Lakeflow – データエンジニアリングの未来に対する私たちのビジョン – を紹介しました。これは三つの主要なコンポーネントを含むエンドツーエンドのソリューションです。

• Lakeflow Connect：エンタープライズアプリ、データベース、ファイルシステム、リアルタイムストリームからの信頼性の高い、管理された取り込み。カスタムコネクターや外部サービスのオーバーヘッドなし。
• Lakeflow宣言型パイプライン：Spark宣言型パイプラインのオープンスタンダードに基づいたスケーラブルなETLパイプラインで、ガバナンスと観測性を統合し、データエンジニアリングのための現代的な「IDE」を通じて開発体験を効率化します。
• Lakeflow Jobs：Data Intelligence Platformのネイティブオーケストレーション。高度な制御フロー、リアルタイムデータトリガー、包括的な監視をサポート。

Lakeflowはデータエンジニアリングを統合することで、異なるツールを組み合わせる複雑さとコストを排除し、データチームがビジネスに価値を生み出すことに集中できるようにします。新しいAI搭載のビジュアルパイプラインビルダーであるLakeflow Designerは、ユーザーがコードを書かずに本番環境向けのデータパイプラインを構築できるようにします。

忙しい一年でしたが、Lakeflowが一般提供開始に達した新たな進展を共有できることを大変嬉しく思います。

データエンジニアリングチームは、組織のデータニーズに追いつくのに苦労しています

すべての業界で、ビジネスの競争力は、分析とAIを通じてデータから価値を引き出す能力によって決まります。データは組織のあらゆる面で利用されています - 顧客360°ビューや新しい顧客体験の作成、新たな収益源の開拓、運用の最適化、従業員のエンパワーメントなど。組織が自身のデータを活用しようとすると、ツールのパッチワークになってしまいます。データエンジニアは、統合が困難で維持費が高い断片化したツールスタックを操作しながら、データエンジニアリングタスクの複雑さに対処するのが難しいと感じています。

主な課題はデータガバナンスで、フラグメント化したツールでは標準を強制するのが難しく、発見、系統、観察のギャップが生じます。最近のエコノミスト誌の調査では、「データエンジニアの半数がガバナンスが最も時間を取る」という結果が出ています。同じ調査では、データエンジニアに最も生産性向上に寄与するものは何かを尋ね、「データの取り込みのためのデータソース接続の簡素化」、「複数のツールの代わりに一元化されたソリューションの使用」、「データパイプラインへのより良い可視性を持って問題を見つけて修正する」がトップの介入策として挙げられました。

データインテリジェンスプラットフォームに組み込まれた統一されたデータエンジニアリングソリューション

Lakeflowは、Data Intelligence Platform上でエンドツーエンドのデータエンジニアリングソリューションを提供することで、データチームがこれらの課題に対処します。Databricksの顧客は、データエンジニアリングの全ての側面 - 取り込み、変換、オーケストレーション - にLakeflowを使用することができます。これらの機能はすべて単一のソリューションの一部として利用可能なため、複雑なツールの統合に時間を費やすことなく、外部ツールのライセンス費用も発生しません。

さらに、LakeflowはData Intelligence Platformに組み込まれており、これによりすべてのデータとAIのユースケースをデプロイ、管理、観察する一貫した方法が提供されます。例えば、ガバナンスのために、LakeflowはData Intelligence Platformの統一ガバナンスソリューションであるUnity Catalogと統合します。Unity Catalogを通じて、データエンジニアはデータパイプラインのすべての部分に対する完全な可視性と制御を得ることができ、データがどこで使用されているかを簡単に理解し、問題が発生したときの原因を特定することができます。

コードのバージョニング、CI/CDパイプラインのデプロイ、データのセキュリティ、リアルタイムの運用メトリクスの観察など、Lakeflowはデータインテリジェンスプラットフォームを活用して、エンドツーエンドのデータエンジニアリングニーズを一元的かつ一貫した場所で管理するためのソリューションを提供します。

Lakeflow Connect：さらに多くのコネクタと、Unity Catalog への高速なダイレクト書き込みに対応！

昨年、Lakeflow Connectの採用が急速に進み、2,000以上の顧客が私たちの取り込みコネクターを使用してデータから価値を引き出しています。一つの例として、ポルシェホールディングザルツブルクがすでにLakeflow Connectを使用してCRMデータと分析を統合し、顧客体験を向上させる利点を享受しています。

「Lakeflow ConnectからのSalesforceコネクタの使用は、使いやすさと価格の面でビジネスサイドのPorscheにとって重要なギャップを埋めるのに役立ちます。顧客側では、統一されて断片化していない顧客旅行でPorscheと顧客との絆を強化する全く新しい顧客体験を作り出すことができます。」  — ルーカス・ザルツブルガー、プロジェクトマネージャー、ポルシェホールディングザルツブルク

今日、私たちはより多くの組み込みコネクターを用いて、シンプルで信頼性の高い取り込みを可能にするため、サポートするデータソースの範囲を拡大しています。Lakeflowのコネクターは、各データソースにカスタマイズされた変更データキャプチャ（CDC）方法を使用した効率的なデータ抽出のために最適化されています。

これらの管理されたコネクタは現在、エンタープライズアプリケーション、ファイルソース、データベース、データウェアハウスをカバーし、さまざまなリリース状態で展開されています：

• エンタープライズアプリケーション：Salesforce、Workday、ServiceNow、Google Analytics、Microsoft Dynamics 365、Oracle NetSuite 
• ファイルソース：SFTP、SharePoint
• データベース：Microsoft SQL Server、Oracle Database、MySQL、PostgreSQL
• データウェアハウス：Snowflake、Amazon Redshift、Google BigQuery

また、顧客からよく見られる一般的なユースケースは、通常はデータプラットフォーム外でホストされるメッセージバスインフラストラクチャを使用してリアルタイムのイベントデータを取り込むことです。このユースケースをDatabricksで簡単にするために、開発者が非常に高いスループット（100 MB/s）でリアルタイムに近いレイテンシー（<5秒）でイベントデータを直接自分のレイクハウスに書き込むことを可能にするLakeflow Connect API、Zerobusを発表します。この効率的な取り込みインフラストラクチャは、スケールでのパフォーマンスを提供し、Databricksプラットフォームと統合されているため、すぐに広範な分析とAIツールを活用できます。

「Jobyは、Zerobusの製造エージェントを使用して、テレメトリーデータを分あたりギガバイトで直接私たちのレイクハウスにプッシュし、インサイトへの時間を短縮します - すべてDatabricks LakeflowとData Intelligence Platformを使用しています。」  — ドミニク・ミュラー、ファクトリーシステムリード、Joby Aviation Inc.

Lakeflow 宣言型 Pipelines：オープンスタンダードに基づく加速されたETL開発

数年間にわたり、数千社・ペタバイト級のデータを扱う中で Databricks は DLT（Delta Live Tables）の運用と進化を続けてきました。
その中で得たすべての知見をもとに、私たちは新たなオープンスタンダードを生み出しました。
それが Spark Declarative Pipelines（Spark 宣言型パイプライン） です。

これはパイプライン開発の次なる進化形であり、宣言的でスケーラブルかつオープンなアプローチを実現します。

そして本日、私たちは Lakeflow Declarative Pipelines（Lakeflow 宣言型パイプライン） の一般提供（GA） を正式に発表します。
Spark Declarative Pipelines の力を Databricks Data Intelligence Platform 上にもたらすことで、
エンジニアリングの生産性と柔軟性を飛躍的に高めます。

Lakeflow Declarative Pipelines は、以下の特長を備えています：

• 100% オープンスタンダードとソース互換：一度開発したパイプラインはどこでも実行可能

• DLT との完全な後方互換性：既存のユーザーは、コードを一切書き換えることなく新機能を活用可能

• 完全マネージドの使用体験：サーバレスコンピュートでインフラ管理不要

• Unity Catalog とのネイティブ統合：統合ガバナンスを自動的に適用

• データエンジニアリングに特化した専用 IDE を提供

“新しいエディタはすべてを一つの場所にまとめます - コード、パイプライングラフ、結果、設定、トラブルシューティング。もうブラウザのタブを切り替えたり、コンテキストを失うことはありません。開発はより集中的で効率的に感じられます。私は各コード変更の影響を直接確認することができます。一つのクリックで私を正確なエラーラインに連れて行き、デバッグを速くします。すべてが接続されています - コードからデータへ；コードからテーブルへ；テーブルからコードへ。パイプライン間の切り替えは簡単で、自動設定されたユーティリティフォルダのような機能が複雑さを取り除きます。これはパイプライン開発が進むべき方法のように感じます。” — Chris Sharratt、データエンジニア、ロールス・ロイス

Lakeflow Declarative Pipelinesは、コードで作業しているか、新しいノーコード体験であるLakeflow Designerを通じて視覚的に作業しているかに関わらず、Databricks上でスケーラブルで、ガバナンスが施され、継続的に最適化されたパイプラインを構築するための統一的な方法となりました。

Lakeflow Jobs：統一された観測性を持つすべてのワークロードのための信頼性の高いオーケストレーション

Databricks Workflowsは、ミッションクリティカルなワークフローをオーケストレーションするために長く信頼されており、毎週110万以上のジョブを実行するパイプラインのために私たちのプラットフォームを頼りにしている何千もの顧客がいます。LakeflowのGAに伴い、私たちはWorkflowsをLakeflow Jobsに進化させ、この成熟したネイティブオーケストレータをデータエンジニアリングスタックの残りの部分と統合します。

Lakeflow Jobsでは、次のような増え続ける機能セットを使用して、Data Intelligent Platform上の任意のプロセスをオーケストレートできます：

• Declarative Pipelines、ノートブック、SQLクエリ、dbt変換、さらにはAI/BIダッシュボードの公開やPower BIへの公開を含むフローをオーケストレーションするための包括的なタスクタイプのサポート。
• タスクレベルまたはジョブレベルでの条件付き実行、ループ、パラメータ設定などの制御フロー機能。
• 新しいデータが利用可能になったときにのみジョブが実行されることを保証するファイル到着トリガーと新しいテーブル更新トリガーを含む、単純なスケジューリングを超えたジョブ実行のトリガー。
• サーバーレスジョブは、パフォーマンスの向上とコストの削減のために自動最適化を提供します。

「サーバーレスのLakeflow Jobsを使用することで、レイテンシーが3～5倍改善しました。以前は10分かかっていたものが今では2～3分で済むようになり、処理時間が大幅に短縮されました。これにより、プレイヤーやコーチに対するフィードバックループをより速く提供することができ、ほぼリアルタイムで必要な洞察を得て行動可能な決定を下すことができるようになりました。」  — ブライス・デュガー、データエンジニアリングマネージャー、シンシナティ・レッズ

Lakeflowの統合の一部として、Lakeflow Jobsは、データの取り込みから変換、複雑なオーケストレーションまで、データライフサイクルの各層に対するエンドツーエンドの観測性をもたらします。多様なツールセットが各種の監視ニーズに対応：視覚的な監視ツールは検索、ステータス、トラッキングを一目で提供し、デバッグツールのようなクエリプロファイルはパフォーマンスの最適化を支援し、アラートとシステムテーブルは問題を浮き彫りにし、歴史的な洞察を提供し、データ品質の期待値はルールを強制し、データパイプラインのニーズに対して高い基準を確保します。

Lakeflowの開始方法

Lakeflow Connect、Lakeflow Declarative Pipelines、Lakeflow Jobsは、今日からすべてのDatabricksの顧客に一般に利用可能です。Lakeflowについての詳細はここをクリックし、次のデータエンジニアリングプロジェクトにLakeflowを始めるための公式ドキュメンテーションをご覧ください。