Lakeflow Spark Declarative Pipelines（DAIS 2025 基調講演）

Data + AI Summit 2025のDatabricks Lakeflow基調講演デモでは、Lakeflow Spark Declarative Pipelinesについて解説します。これは、自動化された信頼性と組み込みのデータ品質によりバッチおよびストリーミングETLを簡素化し、信頼性の高いデータパイプラインを容易に実現するDatabricksのソリューションです。Lakeflowが運用の複雑さを処理し、コストやパフォーマンスを自動的に最適化するため、わずか数行のコードでデータ変換を宣言する方法を学べます。

注：Databricks Lakeflowは、Lakeflow Connect、Lakeflow Spark Declarative Pipelines（旧称DLT）、およびLakeflow Jobs（旧称ワークフロー）によってデータエンジニアリングを統合します。