Lakeflow によるデータエンジニアリング

Lakeflowは、Databricksデータインテリジェンスプラットフォーム上に構築された、統一されたインテリジェントなデータエンジニアリングソリューションです。統一されたオープンなデータ エンジニアリング スタック、合理化された ETL 開発と運用、および高性能なデータ処理を備えています。

この動画では、Lakeflow とその 3 つの主要コンポーネントについて解説します。あらゆるソースからデータを取り込む Lakeflow Connect、データ変換を行う Spark宣言型パイプライン、そしてあらゆるワークフローをオーケストレーションする Lakeflow Jobs です。