Databricks Lakeflow の一般提供開始を発表

Databricksの統合データエンジニアリングソリューションであるLakeflowが一般提供開始されたことをお知らせできることを嬉しく思います。これには、人気のデータソース向けの取り込みコネクタの拡張、データパイプラインの構築とデバッグを容易にする新しい「データエンジニアリング向けIDE」、ETLの運用化と監視機能の拡張が含まれます。
 
昨年のData + AI Summitで、私たちはデータエンジニアリングの未来のビジョンであるLakeflowを発表しました。これは3つのコアコンポーネントを含むエンドツーエンドのソリューションです。

• Lakeflow Connect: カスタムコネクタや外部サービスのオーバーヘッドなしに、エンタープライズアプリケーション、データベース、ファイルシステム、リアルタイムストリームからの信頼性の高いマネージド取り込み。
• Lakeflow Declarative Pipelines: Spark Declarative Pipelinesのオープンスタンダード上に構築されたスケーラブルなETLパイプライン。ガバナンスとオブザーバビリティと統合され、最新の「データエンジニアリング向けIDE」を通じて合理化された開発エクスペリエンスを提供します。
• Lakeflow Jobs: Data Intelligence Platformネイティブのオーケストレーション。高度な制御フロー、リアルタイムデータトリガー、包括的な監視をサポートします。

データエンジニアリングを統合することで、Lakeflowはさまざまなツールの連携に伴う複雑さとコストを排除し、データチームがビジネス価値の創出に集中できるようにします。Lakeflow Designerは、AIを活用した新しいビジュアルパイプラインビルダーで、コードを書かずに本番グレードのデータパイプラインを構築することをあらゆるユーザーに可能にします。

多忙な一年でしたが、Lakeflowが一般提供開始されたことを受けて、新機能をご紹介できることを大変嬉しく思います。

データエンジニアリングチームは、組織のデータニーズに追いつくのに苦労しています

あらゆる業界において、分析とAIを通じてデータから価値を引き出す企業の能力は、その競争優位性となります。データは、顧客360°ビューや新しい顧客体験の創出、新しい収益源の有効化、オペレーションの最適化、従業員のエンパワーメントなど、組織のあらゆる側面に活用されています。企業が自社のデータを利用しようとすると、さまざまなツールの寄せ集めになってしまいます。データエンジニアは、統合が困難で保守コストの高い断片化されたツールスタックをナビゲートしながら、データエンジニアリングタスクの複雑性に対処するのが難しいと感じています。

主な課題の1つはデータガバナンスです。断片化されたツールは標準の適用を困難にし、検出、リネージ、オブザーバビリティにギャップを生じさせます。The Economistによる最近の調査では、「データエンジニアの半数が、ガバナンスに他の何よりも多くの時間を費やしている」と述べています。同調査では、データエンジニアが生産性に最も大きなメリットをもたらすのは何かと尋ねたところ、「データ取り込みのためのデータソース接続の簡素化」、「複数のツールではなく単一の統合ソリューションの使用」、そして「問題の発見と修正のためのデータパイプラインの可視性向上」が上位の介入策として挙げられました。

Data Intelligence Platformに組み込まれた統合データエンジニアリングソリューション

Lakeflowは、Data Intelligence Platform上でエンドツーエンドのデータエンジニアリングソリューションを提供することで、データチームがこれらの課題に取り組むのを支援します。Databricksのお客様は、取り込み、変換、オーケストレーションのすべての側面でLakeflowを使用できます。これらの機能はすべて単一のソリューションの一部として利用できるため、複雑なツールの統合に時間を費やす必要がなく、外部ツールのライセンスに追加費用もかかりません。

さらに、LakeflowはData Intelligence Platformに組み込まれており、これによりすべてのデータおよびAIユースケースのデプロイ、ガバナンス、監視を一貫した方法で行うことができます。例えば、ガバナンスに関しては、LakeflowはData Intelligence Platformの統合ガバナンスソリューションであるUnity Catalogと統合されています。Unity Catalogを通じて、データエンジニアはデータパイプラインのすべての部分に対する完全な可視性と制御を獲得し、データがどこで使用されているかを簡単に理解し、問題が発生した際に根本原因を特定できるようになります。

コードのバージョン管理、CI/CDパイプラインのデプロイ、データの保護、リアルタイム運用メトリクスの監視のいずれであっても、LakeflowはData Intelligence Platformを活用して、エンドツーエンドのデータエンジニアリングニーズを管理するための単一で一貫した場所を提供します。

Lakeflow Connect: より多くのコネクタ、およびUnity Catalogへの高速ダイレクト書き込み

昨年は、2,000社以上の顧客が取り込みコネクタを使用してデータから価値を引き出すなど、Lakeflow Connectの採用が強く見られました。その一例がPorsche Holding Salzburgで、Lakeflow Connectを使用してCRMデータを分析と統合し、顧客体験を向上させるメリットをすでに実感しています。

「Lakeflow ConnectのSalesforceコネクタを使用することで、ポルシェにとってビジネスサイドでの使いやすさと価格という重要なギャップを埋めることができます。顧客サイドでは、統合された、断片化されていないカスタマージャーニーを通じて、ポルシェと顧客との絆を強化する、まったく新しい顧客体験を創造することができます。」   — Lucas Salzburger, Project Manager, Porsche Holding Salzburg

本日、簡単な信頼性の高い取り込みのための、より多くの組み込みコネクタをサポートするデータソースの幅を拡大しています。Lakeflowのコネクタは、各データソースに合わせてカスタマイズされた変更データキャプチャ（CDC）メソッドを使用するなど、効率的なデータ抽出のために最適化されています。

これらのマネージドコネクタは、さまざまなリリース状態で、エンタープライズアプリケーション、ファイルソース、データベース、データウェアハウスを網羅しています。

• エンタープライズアプリケーション: Salesforce、Workday、ServiceNow、Google Analytics、Microsoft Dynamics 365、Oracle NetSuite 
• ファイルソース: SFTP、SharePoint
• データベース: Microsoft SQL Server、Oracle Database、MySQL、PostgreSQL
• データウェアハウス: Snowflake、Amazon Redshift、Google BigQuery

さらに、顧客からよく寄せられるユースケースの1つは、通常、データプラットフォームの外部でホストされるメッセージバスインフラストラクチャを使用したリアルタイムイベントデータの取り込みです。Databricksでこのユースケースを簡単に実現するために、開発者がイベントデータを非常に高いスループット（100 MB/秒）でほぼリアルタイムのレイテンシ（5秒未満）で直接レイクハウスに書き込むことができるLakeflow Connect APIであるZerobusを発表します。この合理化された取り込みインフラストラクチャは、大規模なパフォーマンスを提供し、Databricks Platformと統合されているため、すぐに分析およびAIツールを活用できます。

「Jobyは、製造エージェントをZerobusで使用して、テレメトリデータを毎分ギガバイト単位でレイクハウスに直接プッシュし、洞察までの時間を短縮できます。すべてDatabricks LakeflowとData Intelligence Platformで行えます。」  — Dominik Müller, Factory Systems Lead, Joby Aviation Inc.

Lakeflow Declarative Pipelines: オープンスタンダード上に構築された高速ETL開発

何年にもわたり、何千もの顧客がペタバイト級のデータを処理し、DLTを進化させてきた経験から、私たちは学んだすべてを活かし、新しいオープンスタンダードであるSpark Declarative Pipelinesを作成しました。これは、宣言型でスケーラブルでオープンなパイプライン開発の次の進化形です。

本日、Lakeflow Declarative Pipelinesの一般提供開始を発表できることを嬉しく思います。これにより、Spark Declarative PipelinesのパワーがDatabricks Data Intelligence Platformにもたらされます。オープンスタンダードと100%ソース互換性があるため、一度開発したパイプラインはどこでも実行できます。また、DLTパイプラインとも100%後方互換性があるため、既存のユーザーは何も書き直すことなく新しい機能を採用できます。Lakeflow Declarative PipelinesはDatabricks上で完全にマネージドされたエクスペリエンスです。ハンズオフなサーバーレスコンピューティング、統合ガバナンスのためのUnity Catalogとの深い統合、そして目的に特化して構築されたデータエンジニアリング向けIDEを備えています。

新しいデータエンジニアリング向けIDEは、パイプライン開発エクスペリエンスを合理化するために構築された、モダンで統合された環境です。これには以下が含まれます。

• コードとDAGを並べて表示し、依存関係の視覚化とインスタントデータプレビューを提供
• インラインで問題を提示するコンテキストアウェアデバッグ
• 迅速な開発のための組み込みGit統合
• AI支援によるオーサリングと設定

“新しいエディターは、コード、パイプライングラフ、結果、設定、トラブルシューティングなど、すべてを1か所にまとめてくれます。ブラウザのタブを切り替えたり、コンテキストを失ったりする必要はもうありません。開発がより集中して効率的になったと感じます。コードの変更がそれぞれどのような影響を与えるかを直接確認できます。1回のクリックで正確なエラー行に移動できるため、デバッグが迅速化します。コードとデータ、コードとテーブル、テーブルとコードがすべて連携します。パイプライン間の切り替えは簡単で、自動設定されたユーティリティフォルダのような機能は複雑さを軽減します。これは、パイプライン開発のあるべき姿だと感じています。”  — Chris Sharratt, Data Engineer, Rolls-Royce

Lakeflow Declarative Pipelines は、コードで作業する場合でも、Lakeflow Designer を通じてビジュアルに作業する場合でも、Databricks 上でスケーラブルで管理され、継続的に最適化されたパイプラインを構築するための統合された方法となりました。Lakeflow Designer は、あらゆる技術レベルのデータ担当者が信頼性の高いデータパイプラインを構築できる、新しいノーコードエクスペリエンスです。

Lakeflow Jobs: 統合されたオブザーバビリティによる、すべてのワークロードのための信頼性の高いオーケストレーション

Databricks Workflows は、ミッションクリティカルなワークフローのオーケストレーションにおいて長年信頼されており、数千ものお客様が毎週 1億1000万件以上のジョブを実行するパイプラインのために当社のプラットフォームを利用しています。Lakeflow の GA により、Workflows を Lakeflow Jobs に進化させ、この成熟したネイティブオーケストレーターをデータエンジニアリングスタックの他の部分と統合します。

Lakeflow Jobs を使用すると、Data Intelligent Platform 上のあらゆるプロセスを、増え続ける機能セットでオーケストレーションできます。これには以下が含まれます。

• Declarative Pipelines、ノートブック、SQL クエリ、dbt トランスフォーメーションを含むフローのオーケストレーションのための包括的なタスクタイプのコレクションのサポート。AI/BI ダッシュボードの公開や Power BI への公開も含まれます。
• 条件付き実行、ループ、タスクまたはジョブレベルでのパラメータ設定などの制御フロー機能。
• 単純なスケジューリングを超えたジョブ実行のためのトリガー。ファイル到着トリガーと新しいデータが利用可能になったときのみジョブを実行することを保証する新しいテーブル更新トリガーが含まれます。
• パフォーマンスの向上とコストの削減のために自動最適化を提供するサーバーレスジョブ。

“サーバーレス Lakeflow Jobs により、レイテンシが 3〜5 倍改善されました。以前は 10 分かかっていたものが、わずか 2〜3 分で完了するようになり、処理時間が大幅に短縮されました。これにより、プレイヤーとコーチへのフィードバックループを迅速化し、彼らが必要とするインサイトをほぼリアルタイムで取得して、実行可能な意思決定を行えるようになりました。”  — Bryce Dugar, Data Engineering Manager, Cincinnati Reds

Lakeflow の統合の一部として、Lakeflow Jobs は、データ取り込みから変換、複雑なオーケストレーションまで、データライフサイクルのすべてのレイヤーにエンドツーエンドのオブザーバビリティをもたらします。多様なツールセットがすべての監視ニーズに対応します。ビジュアル監視ツールは、検索、ステータス、追跡を一覧表示し、クエリプロファイルのようなデバッグツールはパフォーマンスの最適化を支援し、アラートとシステムテーブルは問題の特定と履歴インサイトを提供し、データ品質の期待値はルールを強制してデータパイプラインのニーズに対する高い基準を保証します。

Lakeflow の開始方法

Lakeflow Connect、Lakeflow Declarative Pipelines、および Lakeflow Jobs はすべて、本日よりすべての Databricks お客様が一般利用可能になりました。Lakeflow の詳細については こちら をご覧ください。また、公式ドキュメント を参照して、次のデータエンジニアリングプロジェクトで Lakeflow を開始してください。

(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事