Delta Lake 解説: クラウドストレージのデータ信頼性を向上

Delta Lake とは

今日のデータ主導の組織は、多様なAIワークロードに対応できる柔軟性と、ミッションクリティカルなアプリケーションを動かすのに十分な信頼性の両方を備えたデータインフラストラクチャをどのように構築するかという、重要な課題に直面しています。従来のデータレイクは柔軟性をうたっていますが、品質問題、読み取りと書き込みの不整合、信頼性の低いパイプラインといった課題に悩まされ、しばしばデータスワンプになってしまいます。

Databricksによって開発されたDelta Lakeは、データストレージと管理に根本的な変革をもたらし、データレイクに信頼性、パフォーマンス、そしてACIDトランザクションをもたらします。現在オープンソースであり、何千もの組織で日々利用されているDelta Lakeのlakehouseアーキテクチャは、データレイクの柔軟性とデータウェアハウスの信頼性を両立させます。Delta Lakeは、柔軟性やコスト効率を犠牲にすることなく、データレイクを本番運用レベルのシステムに変革します。

従来のデータレイクが不十分な理由

データレイクは、すべてのデータを安価なクラウドストレージに保存し、必要なときにクエリーを実行するという、革命的なアプローチを約束しました。しかし、ガバナンスの欠如が、データ品質の低下、重複、スキーマの不整合といった問題を引き起こす"データスワンプ"を招きかねないことに、組織は気づきました。

従来のデータレイクは安価なストレージと柔軟性を提供しますが、重要な信頼性機能に欠けています。その結果、組織は次のような共通の問題に直面します。

• トランザクションの保証なし: 書き込み操作が失敗するとデータが破損する可能性があり、変更をロールバックすることはできません。
• スキーマ強制: 検証メカニズムがないと、不正なデータが書き込まれ、下流のプロセスが破損します。データサイエンティストやエンジニアは、モデルの構築や知見の生成よりも、データ品質の問題のデバッグに多くの時間を費やしがちです。
• 低速なクエリーパフォーマンス: インテリジェントなインデックス作成がなければ、クエリーはデータセット全体をスキャンする必要があり、時間とコンピュートリソースを無駄にします。
• バージョン管理: バージョン管理と監査証跡が欠如しているため、コンプライアンスやデバッグに不可欠な、変更の追跡やデータ修正の監査を行う方法がありません。

これらの制限により、多くの組織はデータレイクと並行して個別のデータウェアハウスを維持することを余儀なくされ、データとエンジニアリングの労力が重複しています。ビジネスに不可欠なダッシュボードやアナリティクスで活用するには、データをレイクから抽出し、ウェアハウスとの互換性を確保するために変換してロードする必要があります。その結果、データの陳腐化、複雑性の増大、エンジニアリングのオーバーヘッドの増加を招きます。

Delta Lakeが大規模環境で信頼性を実現する方法

Delta Lakeは、ACIDトランザクション、スキーマ管理、包括的なバージョン管理という、相互に関連する3つの機能を通じて信頼性を保証します。

ACIDトランザクションとトランザクションログ

Delta Lakeは、完全なACID（原子性、一貫性、分離性、耐久性）トランザクションを実装しています。これはデータパイプラインにとって重要です。操作が完全に完了するか全く実行されないかのいずれかになるため、破損、部分的な更新、不整合が防止され、最高レベルのデータの信頼性と完全性が確保されます。

Deltaテーブルへのすべての変更は、トランザクションログ内にJSON形式のコミットとして記録され、完全な監査証跡が作成されます。トランザクションログは、論理的なアクション（メタデータの変更）と物理的なアクション（データファイルの変更）を分離し、パフォーマンス上のメリットを維持しながらParquetファイルが可変ストレージとして機能するようにします。このプロセスは、破損した書き込みを防ぎ、並列操作中でも一貫性のある読み取りを保証し、信頼性の高いストリーミングおよびバッチ処理を可能にします。

スキーマ強制と進化

Delta Lakeはすべての書き込み操作でデータ型を検証し、ダウンストリームの**アナリティクス**や**機械学習**モデルを破損させる前にエラーを早期に検出します。互換性のないデータがテーブルに書き込まれようとすると、Delta Lakeはトランザクションをキャンセルします。また、データを書き換えることなく、必要に応じて列の追加や型の変更など、テーブルスキーマを更新することもできます。このスキーマ変更の制御は構造に柔軟性をもたらし、組織はビジネスニーズに適応しながらデータ完全性を保護できます。

タイムトラベルとデータバージョニング

Delta Lakeでは、すべての書き込みでテーブルの新しいバージョンが作成され、各バージョンはバージョン番号とタイムスタンプによって保存されます。トランザクションログは完全な履歴を保持し、タイムトラベル機能を使用して、監査、デバッグ、規制コンプライアンスのために以前の任意のバージョンのデータにクエリーを実行できます。誤った削除のロールバック、異なる期間のデータ比較、機械学習トレーニングデータセットの再現が可能です。ヒストリカルデータには、VERSION AS OFやTIMESTAMP AS OFなどのシンプルな構文で簡単にアクセスできます。例えば、RESTOREコマンドを使用すれば、いつでもデータをロールバックできます。

Delta Lakeを際立たせるパフォーマンスの最適化

Delta Lakeは、インテリジェントなデータlayout、統合されたバッチストリーミング処理、そして柔軟かつ信頼性の高いlakehouseアーキテクチャを通じて、大規模で高速かつ信頼性の高いアナリティクスを提供します。

インテリジェントなデータレイアウトとインデックス作成

データスキッピングは、Delta Lakeの最も強力な最適化の1つです。データが書き込まれる際に、Delta Lakeはトランザクションログで最小/最大統計情報を収集するため、エンジンはクエリー中に無関係なファイルをスキップしてプロセスを高速化できます。ファイルコンパクションは、メタデータのオーバーヘッドを削減し、読み取りパフォーマンスを向上させるために小さなファイルを大きなファイルに統合する一方、Z-Orderingは、データスキッピングの有効性を最大化するために、関連するデータをファイル内にまとめて配置します。新しい機能であるリキッドクラスタリングは、実際のクエリーパターンに基づいてデータレイアウトを自動的に最適化する、適応的なアプローチを採用しています。組織は、これらの機能を使用することで、データレイク内の生のParquetファイルをスキャンする場合に比べて、Delta Lakeでのクエリーパフォーマンスが10～100倍向上したと報告しています。

バッチ処理とストリーミングの統合

従来のアーキテクチャでは、ユーザーはバッチ処理とストリーミング処理のどちらかを選択する必要がありました。ラムダアーキテクチャは両方をサポートする方法として登場しましたが、実際には、その追加された複雑さがメリットを上回ることが多々ありました。

Delta Lakeは、Apache Spark Structured Streamingとの緊密な統合を通じて、単一のデータコピーでその両方に対応します。ストリーミング書き込みはDeltaテーブルに着地し、バッチクエリーですぐに利用できるようになるため、一貫性を維持しながらデータパイプラインを簡素化できます。

Lakehouseアーキテクチャにおける Delta Lake

レイクハウスアーキテクチャは、データレイクの柔軟性、拡張性、コスト効率と、データウェアハウスの信頼性、パフォーマンス、ガバナンスを組み合わせることで、データマネジメントを根本的に再考するものです。

Delta Lakeは、レイクハウスの基盤となるストレージレイヤーを提供します。これは、既存のクラウドオブジェクトストレージ（S3、Azure Blob、GCSなど）の上に位置し、管理レイヤーを追加して、シンプルなファイルストレージを堅牢なデータプラットフォームに変換します。これにより、データをレイクにロードし、その後抽出してウェアハウスに再度ロードするという、従来の2パイプライン問題が解消されます。 ```Delta Lakeでは、レイクへの取り込みとウェアハウスへのロードのために、別々のETLを維持する必要がありません。

これにより、BIダッシュボードや機械学習モデルには、以前に抽出された古いデータではなく最新のデータが提供されるため、より正確なレポート作成とタイムリーな意思決定が可能になります。これまでウェアハウスを必要としていたBIツールを使い、ビジネスユーザーはレイク内のデータに直接クエリーを実行できるようになり、一貫性と信頼性を維持しながらプロセスを簡素化できます。

Delta Lakeによるメダリオンアーキテクチャ

Databricksでは、ブロンズ、シルバー、ゴールドの各レイヤーを通してデータを段階的に精製するメダリオンアーキテクチャを使用して、レイクハウスのデータを整理することを推奨しています。

ブロンズ層には、最小限の変換が施されたソースからの生データが含まれ、完全な履歴が保持されます。シルバー層には、クリーニングと検証が行われ、重複が排除され、スキーマが統一されたデータ、つまり組織的な「信頼できる唯一のソース」が格納されます。ゴールド層には、BIダッシュボードや機械学習トレーニングなどの特定のユースケース向けに最適化された、ビジネスレベルの集計データや特徴量テーブルが含まれます。

Delta Lakeの機能が、このアーキテクチャを可能にします。スキーマ強制により、ブロンズからシルバー、ゴールドへと品質が維持され、各レイヤーでACIDが保証されます。更新とマージは効率的に実行され、タイムトラベル機能がレイヤー間のリネージを追跡します。

Delta Lakeと他のテーブルフォーマット

レイクハウスのテーブル形式は Delta Lake だけではありません。Apache Iceberg や Apache Hudi といった代替形式もあります。これら 3 つはすべて、中核となる問題（ACID、バージョニング、パフォーマンス）を解決しますが、どれを選択するかは、多くの場合、既存のスタックとチームの専門知識によって決まります。

Delta Lakeの強みには、DatabricksプラットフォームおよびSparkランタイムとの緊密な統合、堅牢なストリーミングサポートと増分処理、そしてHudiよりもシンプルな運用モデルが含まれます。Delta Universal Format (UniForm) により、相互運用性のためにIcebergおよびHudiクライアントでDeltaテーブルを読み取ることが可能になります。Delta Lakeは本番運用で大規模に実証されており、顧客のために毎日エクサバイト単位のデータを処理しています。

次のような場合に、組織はDelta Lakeを選択すべきです。

• Databricks または Spark 中心のエコシステムを使用していますか
• 強力なバッチとストリーミングの統合が必要
• 成熟し、本番運用で実証済みのテクノロジー

対照的に、Icebergはマルチエンジンの柔軟性のニーズに適しており、Hudiはupsertの多いワークロードや増分パイプラインに優れています。

実世界のユースケースとアプリケーション

リアルタイムの取り込みとACID保証から、再現可能なMLトレーニング、ウェアハウスグレードのBI、監査可能なガバナンスまで、Delta Lakeは最新の**アナリティクス**、モデル、コンプライアンスを促進する本番パイプラインを強化します。

データエンジニアリングパイプライン

Delta Lakeを使用すると、複数のソースからブロンズDeltaテーブルに、受け取ったままの形で生データを取り込むことができます。シルバー層では、部分的な更新を防ぐACID保証の下で、データを変換およびクリーニングします。アナリティクスの高速利用のためのゴールドレイヤー集計を構築します。

一例としてeコマースが挙げられます。Delta Lakeを使用することで、企業はすべてのチームで一貫したデータを使用し、ユーザーイベント、注文、在庫をリアルタイムで追跡できます。

Machine Learning ワークフロー

Delta Lakeにより、エンジニアはタイムトラベルを通じてバージョン管理されたデータセットをトレーニングし、後でモデルを正確に再現できます。新しいデータが到着するたびに、完全な再処理を行うことなく、トレーニング データセットを増分更新できます。Delta Lake上に構築されたFeature Storeは、トレーニングとサービングの間で一貫性を維持します。データリネージとバージョン追跡により、モデルの監査とコンプライアンスが容易になります。 

ビジネスインテリジェンスとアナリティクス

Delta Lakeを使用すると、ユーザーはBIツールでウェアハウス並みのパフォーマンスを発揮して、Delta Lakeテーブルを直接クエリーできます。ダッシュボードは常に最新の状態に保たれるため、データレイクとwarehouseの間にETLの遅延はありません。また、セルフサービスアナリティクスにより、ビジネスユーザーはゴールドレイヤーのクリーンで管理されたデータにアクセスできます。 

これにより、例えば、金融サービス企業は監査証跡を維持しながら経営陣にリアルタイムのリスクダッシュボードを提供でき、小売業者は最新のデータで在庫と売上を監視できます。

規制コンプライアンスとデータガバナンス

Delta Lakeは、分析パフォーマンスを犠牲にすることなく、強力で一元化されたデータガバナンスを提供します。そのタイムトラベル機能は包括的な監査証跡を提供するため、組織は任意の時点でのデータの状態を示すことができ、一方、スキーマ強制は不正なデータによるコンプライアンスの問題を防ぎます。信頼性の高いACID保証により、GDPR/CCPAへのコンプライアンスが保証されます。

Delta Lake を開始する

Delta Lakeは、Databricksの完全に最適化されたプラットフォーム、オープンソースのエコシステム、または既存のデータレイクからの迅速で中断のない移行など、いずれの方法でも簡単に導入できます。チームは迅速に利用を開始し、すぐにメリットを得ることができます。

Databricks プラットフォームとの統合

DatabricksはDelta Lakeをシームレスに実現します。すべてのテーブルはデフォルトでDeltaテーブルであり、設定は不要です。フルマネージド環境により、インフラストラクチャの設定とチューニングが不要になります。Photonエンジンの高速化、予測I/O、動的ファイルプルーニング、リキッドクラスタリングなど、Databricks独自の高度な最適化が自動的に実行されます。

Unity Catalogとの連携により、Deltaテーブル全体で一元的なガバナンスが提供され、単一のインターフェースからアクセス制御、データディスカバリー、リネージを管理することで、運用が大幅に簡素化されます。

オープンソースのDelta Lake

Delta Lakeはオープンソースであり、Linux Foundationによって管理されているため、Databricksにロックインされることなく、どこでも使用できます。Presto、Trino、Athena、Flink、Hive、Snowflake、BigQuery、Redshift用のコネクタが含まれています。あらゆるクラウド（AWS、Azure、GCP）や、HDFSを使用したオンプレミスにデプロイできます。APIsはScala、Java、Python、Rustをサポートしています。あなたは一人ではありません。Delta Lakeのコミュニティでは、何千人ものコントリビューターが活発に活動しています。

SparkでDataFramesをDelta形式に書き込むだけで簡単に始められ、そのメリットは自動的に享受できます。

既存のデータレイクからの移行

既存のデータレイクからDelta Lakeへの移行は、合理化されたプロセスです。既存のParquetテーブルやIcebergテーブルは、データを書き換えることなくメタデータを更新する簡単なコマンドで、Delta Lakeに変換できます。大規模なデータセットは、履歴とメタデータを保持したまま、数秒で変換されます。段階的な移行により、すべてのデータを一度に書き換える必要がなくなります。Databricksは、移行中の既存パイプラインへの中断を最小限に抑えるために、移行を加速させ、データ完全性を検証するツールも提供しています。

Delta Lakeの未来

Delta Lake は、機能とエコシステム統合を拡張するイノベーションにより、パフォーマンスを向上させ続けています。Delta Universal Format (UniForm) を使用すると、IcebergやHudiクライアントで変換なしにDeltaテーブルを読み取ることができます。Deltaに一度書き込めば、互換性のある任意のツールを使用してクエリーを実行できます。リキッドクラスタリングはデータレイアウトを適応的に最適化し、削除ベクトルはファイルを書き換えることなく高速な削除を可能にし、改良されたアルゴリズムはマージ操作を高速化します。

エコシステムが拡大するにつれて、AWS、Azure、Google Cloud、Alibaba Cloud など、より多くのエンジンやツールがネイティブの Delta Lake サポートを追加するようになり、導入が拡大しています。Linux Foundation を通じたオープンガバナンスは、ベンダーニュートラルな進化とコミュニティ主導の開発を保証します。

まとめ

Delta Lakeは、データレイクにありがちな根本的な信頼性の問題を解決します。lakehouseアーキテクチャの基盤として、Delta Lakeはレイクとwarehouseの二重の複雑さを解消し、ACIDトランザクション、スキーマ強制、タイムトラベル、パフォーマンス最適化をクラウドオブジェクトストレージにもたらします。Delta Lakeは大規模な環境でその実力が証明されており、何千もの組織で毎日エクサバイト規模のデータを処理しています。堅牢なコミュニティを持つオープンソースですが、Databricks上では完全に最適化されており、手間なく利用できます。

データとAIが競争上の優位性を決定づける時代において、Delta Lakeはデータスワンプを本番運用レベルのデータプラットフォームに変革します。最初のデータプラットフォームを構築するスタートアップであろうと、レガシーインフラを近代化するグローバル企業であろうと、現代のデータチームが必要とする信頼性とパフォーマンスを提供します。

信頼性の高い、高性能なデータプラットフォームを構築する準備はできましたか？Delta Lakeとレイクハウスアーキテクチャが、貴社のデータインフラストラクチャをどのように変革できるかをご覧ください。Databricksを使ってみることで、フルマネージドの最適化、自動チューニング、シームレスなガバナンスをすべて1つのプラットフォームで実現し、Delta Lakeのパワーを体験してください。

(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事