Databricks Lakeflow のご紹介：データエンジニアリングのための統合されたインテリジェントなソリューション

本日、Databricks Lakeflow を発表できることを嬉しく思います。これは、本番データパイプラインの構築と運用に必要なすべてを備えた新しいソリューションです。SQL Server のようなデータベースや、Salesforce、Workday、Google Analytics、ServiceNow、SharePoint のようなエンタープライズアプリケーション向けの、新しくネイティブでスケーラビリティの高いコネクタが含まれています。ユーザーは標準 SQL と Python を使用して、バッチおよびストリーミングでデータを変換できます。また、Apache Spark のリアルタイムモードを発表し、マイクロバッチよりも桁違いに高速なレイテンシでストリーム処理を可能にします。最後に、CI/CD を使用してワークフローをオーケストレーションおよび監視し、本番環境にデプロイできます。Databricks Lakeflow は Data Intelligence Platform にネイティブに統合されており、サーバーレスコンピューティングと Unity Catalog による統合ガバナンスを提供します。

このブログ記事では、Lakeflow がデータチームが信頼性の高いデータと AI の増大する需要に対応するのにどのように役立つと信じる理由と、単一の製品エクスペリエンスに統合された Lakeflow の主な機能について説明します。

信頼性の高いデータパイプラインの構築と運用における課題

データエンジニアリング — 新鮮で高品質、信頼性の高いデータを収集および準備すること — は、ビジネスにおけるデータと AI の民主化に不可欠な要素です。しかし、これを達成することは依然として複雑で、多くの異なるツールを連携させる必要があります。

 

まず、データチームは、それぞれ独自の形式とアクセス方法を持つ複数のシステムからデータを収集する必要があります。これには、データベースやエンタープライズアプリケーション用のカスタムコネクタの構築と保守が必要です。エンタープライズアプリケーションの API 変更に対応するだけでも、データチーム全体にとってフルタイムの仕事になり得ます。次に、データはバッチとストリーミングの両方で準備する必要があり、トリガーと増分処理のための複雑なロジックの記述と保守が必要です。レイテンシが急増したり障害が発生したりすると、アラートを受け取ることになり、データコンシューマーの不満や、収益に影響を与えるビジネスの中断につながります。最後に、データチームは CI/CD を使用してこれらのパイプラインをデプロイし、データ資産の品質と系統を監視する必要があります。これには通常、Prometheus や Grafana のようなまったく新しいツールのデプロイ、学習、管理が必要です。

 

そこで、データインテリジェンスによって強化された、データ取り込み、変換、オーケストレーションのための統合ソリューションである Lakeflow を構築することにしました。その 3 つの主要コンポーネントは、Lakeflow Connect、Lakeflow Pipelines、Lakeflow Jobs です。

Lakeflow Connect：シンプルでスケーラブルなデータ取り込み 

Lakeflow Connect は、SQL Server のようなデータベースや、Salesforce、Workday、Google Analytics、ServiceNow のようなエンタープライズアプリケーションへのポイントアンドクリックデータ取り込みを提供します。ロードマップには、MySQL、Postgres、Oracle のようなデータベースや、NetSuite、Dynamics 365、Google Ads のようなエンタープライズアプリケーションも含まれます。Lakeflow Connect は、SharePoint のようなソースから PDF や Excel スプレッドシートのような非構造化データを取り込むこともできます。

 

これは、クラウドストレージ（例：S3、ADLS Gen2、GCS）やキュー（例：Kafka、Kinesis、Event Hub、Pub/Sub コネクタ）向けの人気のネイティブコネクタや、Fivetran、Qlik、Informatica のようなパートナーソリューションを補完します。

特にデータベースコネクタに期待しています。これは、Arcion の買収によって強化されています。運用データベースには、膨大な量の貴重なデータがロックされています。これらのデータをロードする単純なアプローチでは、運用上およびスケーリング上の問題が発生しますが、Lakeflows は変更データキャプチャ（CDC）テクノロジーを使用して、このデータをレイクハウスに簡単に、確実に、運用効率よく取り込むことができます。

 

Lakeflow Connect を使用している Databricks のお客様は、シンプルな取り込みソリューションが生産性を向上させ、データからインサイトへの移行を迅速化できることに気づいています。ウェアラブルインスリン管理システムである Omnipod の製造業者である Insulet は、Salesforce 取り込みコネクタを使用して、顧客フィードバックに関連するデータを Databricks 上に構築されたデータソリューションに取り込んでいます。このデータは Databricks SQL を介して分析可能になり、品質問題に関するインサイトを得たり、顧客の苦情を追跡したりできます。チームは Lakeflow Connect の新機能を使用することに大きな価値を見出しました。

"Databricks の新しい Salesforce 取り込みコネクタにより、壊れやすく問題のあるミドルウェアを排除することで、データ統合プロセスが大幅に合理化されました。この改善により、Databricks SQL は Databricks 内で直接 Salesforce データを分析できるようになりました。その結果、データプラクティショナーは、レイテンシを数日から数分に短縮し、ほぼリアルタイムで更新されたインサイトを提供できるようになりました。" — Bill Whiteley, Senior Director of AI,  Analytics, and Advanced Algorithms, Insulet

Lakeflow Pipelines：効率的な宣言型データパイプライン

Lakeflow Pipelines は、効率的なバッチおよびストリーミングデータパイプラインの構築と管理の複雑さを軽減します。宣言型のDelta Live Tables フレームワーク上に構築されており、SQL と Python でビジネスロジックを記述することに集中でき、Databricks がデータオーケストレーション、増分処理、コンピューティングインフラストラクチャの自動スケーリングを自動的に処理します。さらに、Lakeflow Pipelines は組み込みのデータ品質監視を提供し、そのリアルタイムモードにより、コード変更なしで、時間的制約のあるデータセットの一貫した低レイテンシ配信を有効にできます。

Lakeflow Jobs：あらゆるワークロードのための信頼性の高いオーケストレーション

Lakeflow Jobs は、本番ワークロードを信頼性高くオーケストレーションおよび監視します。Databricks Workflows の高度な機能上に構築されており、取り込み、パイプライン、ノートブック、SQL クエリ、機械学習トレーニング、モデルデプロイメント、推論を含むあらゆるワークロードをオーケストレーションします。データチームは、トリガー、分岐、ループを活用して、複雑なデータ配信ユースケースに対応することもできます。

 

Lakeflow Jobs は、データヘルスと配信の理解と追跡のプロセスを自動化および簡素化します。ヘルスに関するデータ中心のビューを採用し、取り込み、変換、テーブル、ダッシュボード間の関係を含む完全な系統をデータチームに提供します。さらに、データの鮮度と品質を追跡し、データチームがワンクリックで Lakehouse Monitoring を介してモニターを追加できるようにします。

Data Intelligence Platform 上に構築

Databricks Lakeflow は、これらの機能をもたらす Data Intelligence Platform とネイティブに統合されています。

• データインテリジェンス：AI パワードインテリジェンスは Lakeflow の単なる機能ではなく、製品のあらゆる側面に影響を与える基盤となる機能です。Databricks Assistant は、データパイプラインの検出、作成、監視を可能にし、信頼性の高いデータの構築により多くの時間を費やせるようにします。
• 統合ガバナンス：Lakeflow は、系統とデータ品質を強化する Unity Catalog とも深く統合されています。
• サーバーレスコンピューティング：インフラストラクチャを心配することなく、大規模なパイプラインを構築およびオーケストレーションし、チームが作業に集中できるようにします。

データエンジニアリングの未来は、シンプル、統合、インテリジェント

Lakeflow がお客様のビジネスにより新鮮で、より完全で、より高品質なデータを提供できるようになると信じています。Lakeflow はまもなくプレビュー版として提供開始され、Lakeflow Connect から始まります。アクセスをリクエストしたい場合は、こちらからサインアップしてください。今後数か月で、追加機能が利用可能になるにつれて、さらに多くの Lakeflow の発表にご期待ください。

実際に見てみませんか？

Lakeflow 製品ツアーを試して、複数のソースからのデータをバッチとリアルタイムの両方でシームレスに取り込み、変換し、本番環境にデプロイしてください。

(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事