背景

Delta Live Tables

高信頼性データエンジニアリングを容易に

ご登録デモ動画を見る

Delta Live Tables(DLT)は、信頼性の高いデータパイプラインの構築と管理を容易にし、Delta Lake に高品質データを供給します。また、宣言型パイプラインの開発、データ検証の自動化、監視とリカバリのための深い視覚化が、データエンジニアリングチームによる ETL の開発と管理をシンプルにします。

背景

データパイプラインの構築・維持を容易に

Delta Live Tables では、データソース、変換ロジック、データの状態を指定することで、エンドツーエンドのデータパイプラインを容易に定義できます。サイロ化したデータ処理ジョブを手動でつなぎ合わせる必要はありません。パイプラインにおけるデータの依存関係を自動的に維持し、環境を問わないデータ管理で ETL パイプラインを再利用します。バッチまたはストリーミングで実行し、テーブル毎に増分または完全なコンピューティングを指定できます。

共有されたエンドポイントのスクリーンショット

データ品質を自動チェック

Delta Live Tables は、高品質なデータを提供し、ダウンストリームのユーザーによる正確かつ有用な BI、データサイエンス、機械学習の実行を支援します。検証と整合性チェックにより、品質の低いデータのテーブルへの流入を防止し、事前に定義されたエラーポリシー(データの失敗、ドロップ、アラート、隔離)を使用して、データ品質のエラーを回避できます。また、データ品質の傾向を時系列に監視して、データの進化や、変更が必要な箇所についての気づきを得ることもできます。

監視・容易なリカバリのための詳細な視覚化

運用状況やデータリネージュを視覚的に追跡できるツールを利用して、パイプライン運用の詳細を可視化できます。自動エラー処理と容易なリプレイでダウンタイムを短縮し、シングルクリックによるデプロイメントとアップグレードでメンテナンスを迅速化します。

Customer 360のダッシュボード

ユースケース

規制要件への対応

分析・監査のためのテーブルに関するあらゆる情報をイベントログに自動保存。組織におけるデータフローを明確化してコンプライアンス要件を満たします。

データパイプラインのデプロイメントとテストをシンプルに

複数の異なるデータコピーを単一のコードベースで更新できるため、データリネージュ情報が保持され、あらゆるデータを最新状態に保ちます。そのため、同一のクエリ定義セットを開発、ステージング、本番環境で実行できます。

バッチとストリーミングの統合で運用の複雑さを軽減

自動更新の設定を適用してバッチおよびストリーミングのパイプラインを 1 か所で構築・実行することで、所要時間を短縮し、運用負荷を軽減します。

ヘルス・ダイレクト(Health Direct)
アトラシアン導入事例

導入事例

データと AI の活用による患者中心の医療への貢献
コロンビア(Columbia)
アトラシアン導入事例

導入事例

データドリブンな小売業界の
新時代をクラウドで

「シェルでは、統合されたデータストアに全センサーデータを集積しており、処理対象のレコード数は数兆の規模になります。Delta Live Tables により、大規模なデータ管理の負荷が低減され、 AI エンジニアリングの能力が高まっています。Databricks は、既存のレイクハウスアーキテクチャを補強するケイパビリティによって、ETL およびデータウェアハウス市場に破壊的イノベーションをもたらしています。このことは、私たちのような企業にとって大きな意味があります。今後もイノベーションパートナーとして Databricks との連携を継続したいと考えています。」

シェル社 データサイエンス部門ゼネラルマネージャー
ダン・ジーボンズ氏

関連リソース

All the resources you need. All in one place. Image

All the resources you need. All in one place.

Explore the resource library to find eBooks and videos on the benefits of data engineering on Databricks.

テックトーク

Web セミナー

無料お試し・その他のご相談を承っております