Lakeflow Declarative Pipelines最新情報：2025年7月の主要アップデート

Lakeflow Declarative Pipelinesは現在、一般公開されており、DAIS以降の勢いは衰えていません。この記事では、過去数週間にリリースされた全ての新機能をまとめ、現在利用可能な機能、今後予定されている機能、そして利用開始方法について包括的にご紹介します。

• DAISのまとめ：ステージ上で発表した内容
• TCOの改善：コストを削減する最近のパフォーマンス向上
• 機能の更新：プレビューまたはGAで利用可能な新機能
• トレーニングリソース：自己学習型の無料コースで始めるためのヘルプ

DAIS 2025の振り返り：Lakeflow Declarative Pipelinesが登場

2025年のData + AI Summitで、私たちは、コアとなる宣言型パイプライン技術をApache Spark™プロジェクトにコントリビュートしたことを発表しました。これはSpark Declarative Pipelinesとして知られています。この貢献により、Sparkの宣言型モデルが個々のクエリから完全なパイプラインへと拡張され、開発者がパイプラインが何をすべきかを定義し、Sparkがそれをどのように実行するかを処理します。すでに数千の本番ワークロードで実証済みであり、Sparkコミュニティ全体のオープンスタンダードとなりました。

また、データインテリジェンスプラットフォーム上でのデータ取り込み、変換、オーケストレーションのためのDatabricksの統合ソリューションであるLakeflowの一般提供を発表しました。GAのマイルストーンは、パイプライン開発の大きな進化をもたらしました。DLTは現在、Lakeflow Declarative Pipelinesに進化しました。既存のパイプラインとの完全な後方互換性を維持しながら、同じコア機能の利点を提供します。また、Lakeflow Declarative Pipelinesの新しいデータエンジニアリングのためのIDE（上記）を紹介しました。これは、コードとDAGのペアリング、コンテキストプレビュー、AIによる作成支援などの機能を備えて、パイプライン開発を効率化するために一から構築されました。

最後に、データパイプラインの構築におけるノーコード体験を提供するLakeflow Designerを発表しました。これにより、本番環境への対応やガバナンス機能を損なうことなく、より多くのユーザーがETLを利用できるようになります。バックグラウンドでは実際のLakeflowパイプラインが自動生成されます。プレビューは近日公開予定です。

これらの発表は、データエンジニアリングの新しい章—よりシンプルで、よりスケーラブルで、よりオープン—を表しています。そして、DAIS以降の数週間で、我々はその勢いを維持し続けています。

宣言型パイプラインのパフォーマンス向上、コスト削減

Lakeflow Declarative Pipelinesのバックエンドを大幅に改善し、より高速かつコスト効率的に実行できるようにしました。全体的に、Photon、Enzyme、オートスケーリング、AutoCDCやData Quality expectationsなどの高度な機能によるエンジンの強化により、サーバーレスパイプラインはより良い価格パフォーマンスを提供しています。

ここに重要なポイントを挙げます：

• サーバーレスのStandard Modeが利用可能になり、コスト（平均でTCOを26%改善）とレイテンシーの両面でクラシックコンピューティングを常に上回る性能を実現しています。
• サーバーレスのパフォーマンスモードはさらに高速な結果を解放し、厳しいSLAに対してTCO競争力があります。
• AutoCDCは、これらの最適化と組み合わせることで、複雑なロジックを必要とせずにSCD1とSCD2のパターンを簡単に実装でき、多くのワークロードで従来のMERGEを上回るパフォーマンスを発揮します。

これらの変更は、Lakeflow Declarative Pipelinesを大規模な本番ETLの最も効率的なオプションにするという、私たちの継続的なコミットメントに基づいています。

Declarative Pipelinesのその他の新機能

Data + AI Summit以降、パイプラインをよりモジュラー化し、本番環境に対応し、操作を容易にする一連の更新を提供しました。これには、追加の設定やグルーコードが必要ないものも含まれます。

運用のシンプルさ

テーブルの健康状態の管理が今やより簡単でコスト効果的になりました：

• 予測最適化は、すべての新規および既存のUnity Catalogパイプラインのテーブルメンテナンス（OPTIMIZEやVACUUMなど）を自動管理します。メンテナンスは固定のスケジュールで実行するのではなく、ワークロードのパターンとデータのレイアウトに適応して、コストとパフォーマンスを自動的に最適化します。これは次のことを意味します：
  • 手動でのチューニングやメンテナンスのスケジューリングに費やす時間が減少
  • 不必要なコンピューティングの使用を避けるスマートな実行
  • クエリパフォーマンスを向上させるためのより良いファイルサイズとクラスタリング
• 削除ベクトルは、新しいストリーミングテーブルとマテリアライズドビューに対してデフォルトで有効になりました。これにより、更新や削除中の全ファイルの書き換えを避けることで、不必要な書き換えが減少し、パフォーマンスが向上し、コンピューティングコストが削減されます。厳格な物理的削除要件（例：GDPR）がある場合は、削除ベクトルを無効にするか、データを永久に削除することができます。

よりモジュラーで柔軟なパイプライン

新しい機能は、チームがパイプラインの構造と管理方法にどのように柔軟性を持たせるかを示しており、データの再処理は一切必要ありません：

• Lakeflow Declarative Pipelinesは、既存のパイプラインをアップグレードして、複数のカタログとスキーマにテーブルを公開する機能を利用できるようになりました。以前は、新しいパイプラインを作成するときだけこの柔軟性が利用可能でした。これで、既存のパイプラインをこのモデルに移行することができ、スクラッチから再構築する必要なく、時間とともによりモジュラーなデータアーキテクチャを実現できます。
• 一つのパイプラインから別のパイプラインへ、単一のSQLコマンドとテーブル定義を移動するための小さなコード変更を使用して、ストリーミングテーブルとマテリアライズドビューの移動が可能になりました。これにより、大規模なパイプラインを分割したり、小規模なものを統合したり、テーブル間で異なるリフレッシュスケジュールを採用することが容易になり、データやロジックを再作成する必要がなくなります。テーブルを別のパイプラインに再割り当てするには、次のように実行します：

このコマンドを実行し、テーブル定義をソースから宛先パイプラインに移動すると、宛先パイプラインがテーブルの更新を引き継ぎます。

パイプラインの可観測性のための新しいシステムテーブル

新しいパイプラインシステムテーブルが現在パブリックプレビューになっており、ワークスペース全体のすべてのパイプラインを完全に、問い合わせ可能なビューで提供します。これには、作成者、タグ、ライフサイクルイベント（削除や設定変更など）のメタデータが含まれ、課金ログと結合してコストの帰属とレポートを行うことができます。これは、多数のパイプラインを管理しているチームや、環境やビジネスユニット間でコストを追跡したいと考えているチームにとって特に有用です。

パイプラインの更新に関する2つ目のシステムテーブル - リフレッシュ履歴、パフォーマンス、失敗をカバー - は、今夏後半に予定されています。

Lakeflowをお試しください

Lakeflowを初めて使用する方や、スキルを深めたい方へあなたが始めるのを助けるために、3つの無料の自己学習型トレーニングコースを開始しました：

• Lakeflow Connectを使用したデータ取り込み - クラウドストレージからDatabricksにデータを取り込む方法、またはノーコード、完全に管理されたコネクタを使用する方法を学びます。
• Lakeflow Jobsでワークロードをデプロイ - 組み込みの観察可能性と自動化で本番ワークロードをオーケストレーションします。
• Lakeflow Declarative Pipelinesを使用したデータパイプラインの構築 - パイプライン開発をエンドツーエンドで行い、ストリーミング、データ品質、公開を含みます。

これら3つのコースは、現在Databricks Academyで無料で利用できます。