Delta Live Tables (DLT) makes it easy to build and manage reliable batch and streaming data pipelines that deliver high-quality data on the Databricks Lakehouse Platform. DLT helps data engineering teams simplify ETL development and management with declarative pipeline development, automatic data testing, and deep visibility for monitoring and recovery.
Easily build and maintain data pipelines
With Delta Live Tables, easily define end-to-end data pipelines in SQL or Python. Simply specify the data source, the transformation logic, and the destination state of the data — instead of manually stitching together siloed data processing jobs. Automatically maintain all data dependencies across the pipeline and reuse ETL pipelines with environment-independent data management. Run in batch or streaming mode and specify incremental or complete computation for each table.
Automatic data quality testing
Delta Live Tables は、高品質なデータを提供し、ダウンストリームのユーザーによる正確かつ有用な BI、データサイエンス、機械学習の実行を支援します。検証と整合性チェックにより、品質の低いデータのテーブルへの流入を防止し、事前に定義されたエラーポリシー（データの失敗、ドロップ、アラート、隔離）を使用して、データ品質のエラーを回避できます。また、データ品質の傾向を時系列に監視して、データの進化や、変更が必要な箇所についての気づきを得ることもできます。
Cost-effective streaming through efficient compute autoscaling
Delta Live Tables Enhanced Autoscaling is designed to handle streaming workloads which are spiky and unpredictable. It optimizes cluster utilization by only scaling up to the necessary number of nodes while maintaining end-to-end SLAs, and gracefully shuts down nodes when utilization is low to avoid unnecessary spend.
Deep visibility for pipeline monitoring and observability
運用状況やデータリネージュを視覚的に追跡できるツールを利用して、パイプライン運用の詳細を可視化できます。自動エラー処理と容易なリプレイでダウンタイムを短縮し、シングルクリックによるデプロイメントとアップグレードでメンテナンスを迅速化します。
ユースケース
Unify batch and streaming ETL
Build and run both batch and streaming pipelines in one place with controllable and automated refresh settings, saving time and reducing operational complexity. For data streaming on the lakehouse, streaming ETL with Delta Live Tables is the best place to start.
データパイプラインのデプロイメントとテストをシンプルに
複数の異なるデータコピーを単一のコードベースで更新できるため、データリネージュ情報が保持され、あらゆるデータを最新状態に保ちます。そのため、同一のクエリ定義セットを開発、ステージング、本番環境で実行できます。
規制要件への対応
分析・監査のためのテーブルに関するあらゆる情報をイベントログに自動保存。組織におけるデータフローを明確化してコンプライアンス要件を満たします。
「シェルでは、統合されたデータストアに全センサーデータを集積しており、処理対象のレコード数は数兆の規模になります。Delta Live Tables により、大規模なデータ管理の負荷が低減され、 AI エンジニアリングの能力が高まっています。Databricks は、既存のレイクハウスアーキテクチャを補強するケイパビリティによって、ETL およびデータウェアハウス市場に破壊的イノベーションをもたらしています。このことは、私たちのような企業にとって大きな意味があります。今後もイノベーションパートナーとして Databricks との連携を継続したいと考えています。」
シェル社 データサイエンス部門ゼネラルマネージャー
ダン・ジーボンズ氏
関連リソース
関連リソース一覧
無料お試し・その他のご相談を承っております
