Lakeflow宣言的パイプライン - 紹介

このデモは、Lakeflow Declarative Pipelineの紹介で、すべての人がデータエンジニアリングにアクセスできるようにするETLフレームワークです。あなたの変換をSQLまたはPythonで単純に宣言し、Declarative Pipelineがあなたのためにデータエンジニアリングの複雑さを処理します:

• ETL開発を加速：シンプルなパイプライン開発とメンテナンスで、アナリストとデータエンジニアが迅速に革新できるようにします
• 運用の複雑さを排除する：複雑な管理タスクを自動化し、パイプライン操作の広範な可視性を得ることで
• ビルトインの品質管理と品質モニタリングにより、正確で有用な BI、データサイエンス、ML を実現します。
• AIでデータを強化：Databricks SQL AIクエリを使用して、最先端の変換を実行します
• バッチとストリーミングの簡素化：自己最適化と自動スケーリングのデータパイプラインをバッチまたはストリーミング処理用に

このデモでは、自転車レンタルシステムの情報を含む生のデータセットを入力として使用します。私たちの目標は、このデータをほぼリアルタイムで取り込み、アナリストチームのためのテーブルを作成しながらデータ品質を確保することです。

デモをインストールするには、無料のDatabricksワークスペースを取得し、Pythonノートブックで以下の2つのコマンドを実行します

Dbdemosは、完全なDatabricksデモをワークスペースにインストールするPythonライブラリです。Dbdemosは、ノートブック、DLTパイプライン、クラスター、Databricks SQLダッシュボード、ウェアハウスモデルをロードして開始します... dbdemosの使い方を参照してください。

DbdemosはGitHubプロジェクトとして配布されています。

詳細については、GitHubのREADME.mdファイルをご覧いただき、ドキュメンテーションに従ってください。
Dbdemosはそのまま提供されます。詳細については、ライセンスと通知をご覧ください。
Databricksは、dbdemosおよび関連資産に対して公式のサポートを提供していません。
問題が発生した場合は、チケットを開いてデモチームに連絡してください。最善を尽くして対応します。