大規模データレイク向けの Delta Time Travel のご紹介

Delta Lakeの活用に関するO'Reillyの新しい電子書籍の先行プレビューを入手して、使い始めるために必要なステップごとのガイダンスをご覧ください。

実験の再現、ロールバック、およびデータの監査のためのデータバージョニング

Databricks Delta Lakeのタイムトラベル機能をご紹介します。これは、すべてのユーザー向けの Apache Spark上に構築された次世代の統合分析エンジンです。この新機能により、Delta はデータレイクに保存するビッグデータを自動的にバージョン管理し、そのデータの過去のバージョンにアクセスできます。この一時的なデータ管理により、監査、誤った書き込みや削除の場合のデータのロールバック、実験やレポートの再現が容易になり、データパイプラインが簡素化されます。組織は最終的に、分析のために独自のクラウドストレージで、クリーンで一元化されたバージョン管理されたビッグデータリポジトリを標準化できます。

変化するデータに関する一般的な課題

• データ変更の監査: データ変更の監査は、データのコンプライアンスと、データが時間の経過とともにどのように変化したかを理解するための単純なデバッグの両方の観点から重要です。従来のデータシステムからビッグデータテクノロジーおよびクラウドに移行する組織は、このようなシナリオで苦労します。
• 実験とレポートの再現: モデルのトレーニング中に、データサイエンティストは、特定のデータセットに対してさまざまなパラメーターを使用してさまざまな実験を実行します。科学者がモデルを再現するために一定期間後に実験を再検討すると、通常、ソースデータはアップストリームパイプラインによって変更されています。多くの場合、彼らはそのようなアップストリームのデータの変更に気づいておらず、したがって実験の再現に苦労します。一部の科学者や組織は、データの複数のコピーを作成することにより、ベストプラクティスを設計し、ストレージコストの増加につながります。アナリストがレポートを生成する場合も同様です。
• ロールバック: データパイプラインは、ダウンストリームのコンシューマーに不良データを書き込むことがあります。これは、インフラストラクチャの不安定性から、乱雑なデータ、パイプラインのバグまで、さまざまな問題が原因で発生する可能性があります。ディレクトリまたはテーブルへの単純な追加を行うパイプラインの場合、ロールバックは日付ベースのパーティション分割で簡単に対処できます。更新と削除を使用すると、これは非常に複雑になる可能性があり、データエンジニアは通常、そのようなシナリオに対処するために複雑なパイプラインを設計する必要があります。

タイムトラベルのご紹介

Delta のタイムトラベル機能は、上記のユースケースのデータパイプラインの構築を簡素化します。Delta テーブルまたはディレクトリに書き込むと、すべての操作が自動的にバージョン管理されます。次の 2 つの異なる方法で、データのさまざまなバージョンにアクセスできます。

1. タイムスタンプの使用

Scala 構文:

DataFrame リーダーへのオプションとして、タイムスタンプまたは日付文字列を指定できます。

Python の場合:

SQL 構文:

リーダーコードがアクセスできないライブラリにあり、データを読み取るためにライブラリに入力パラメーターを渡している場合でも、yyyyMMddHHmmssSSS 形式でタイムスタンプをパスに渡すことにより、テーブルの時間を遡ることができます。

2. バージョン番号の使用
Delta では、すべての書き込みにバージョン番号があり、バージョン番号を使用して時間を遡ることもできます。

Scala 構文:

Python 構文:

SQL 構文:

データ変更の監査

DESCRIBE HISTORY コマンドまたは UI を使用して、テーブルの変更履歴を確認できます。

実験とレポートの再現

タイムトラベルは、機械学習とデータサイエンスでも重要な役割を果たします。モデルと実験の再現性は、データサイエンティストにとって重要な考慮事項です。なぜなら、彼らは 1 つのモデルを実稼働環境に投入する前に 100 個のモデルを作成することが多く、その時間のかかるプロセスで以前のモデルに戻りたいからです。ただし、データ管理は多くの場合、データサイエンスツールとは分離されているため、これを実現することは非常に困難です。

Databricks は、Delta のタイムトラベル機能を機械学習ライフサイクル向けのオープンソースプラットフォームであるMLflowと統合することにより、この再現性の問題を解決します。再現可能な機械学習トレーニングのために、タイムスタンプ付きの URL をパスとして MLflow パラメーターに記録するだけで、各トレーニングジョブに使用されたデータのバージョンを追跡できます。これにより、以前の設定とデータセットに戻って、以前のモデルを再現できます。アップストリームチームとデータの連携をとる必要も、さまざまな実験のためにデータを複製することを心配する必要もありません。これは、データサイエンスがデータエンジニアリングと密接に結びついている統合分析の力です。

ロールバック

タイムトラベルを使用すると、不良な書き込みが発生した場合にロールバックを簡単に行うこともできます。たとえば、GDPR パイプラインジョブにユーザー情報を誤って削除するバグがあった場合、パイプラインを簡単に修正できます。

次のように、誤った更新を修正することもできます。

複数のダウンストリームジョブにわたって継続的に更新される Delta テーブルの固定ビュー

AS OF クエリを使用すると、複数のダウンストリームジョブに対して、継続的に更新される Delta テーブルのスナップショットを固定できるようになりました。Delta テーブルが継続的に更新されている状況を考えてみましょう。たとえば、15 秒ごとに更新され、この Delta テーブルから定期的に読み取り、さまざまな宛先を更新するダウンストリームジョブがあるとします。このようなシナリオでは、通常、すべての宛先テーブルが同じ状態を反映するように、ソース Delta テーブルの一貫したビューが必要です。次のように、このようなシナリオを簡単に処理できるようになりました。

タイムシリーズ分析を簡単にするクエリ

タイムトラベルは、タイムシリーズ分析も簡素化します。たとえば、過去 1 週間に新たに追加した顧客の数を知りたい場合、クエリは次のような非常に単純なものになります。

結論

Delta のタイムトラベルは、開発者の生産性を大幅に向上させます。それは役立ちます:

• データサイエンティストは実験をより適切に管理します
• データエンジニアはパイプラインを簡素化し、不良な書き込みをロールバックします
• データアナリストは簡単なレポートを作成します

組織は最終的に、分析のために独自のクラウドストレージで、クリーンで一元化されたバージョン管理されたビッグデータリポジトリを標準化できます。この新機能で何ができるかを楽しみにしています。

この機能は、すべてのユーザーがパブリックプレビューとして利用できます。機能の詳細については、こちらをご覧ください。動作を確認するには、Databricks の無料トライアルにサインアップしてください。

(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事