最新の DLT アップデート - 2025年まとめ: インテリジェントで完全に管理されたデータパイプライン

過去数ヶ月間で、我々はDLTパイプラインをより高速、よりインテリジェント、そして大規模に管理しやすくするための改良を行いました。DLTは現在、あらゆる規模で信頼性の高いデータパイプラインを構築し、運用するための効率的な基盤を提供しています。

まず、DLTパイプラインがUnity Catalog（UC）と完全に統合されたことをお知らせします。これにより、ユーザーは複数のカタログとスキーマから読み取り、書き込みを行うことができ、常に行レベルセキュリティ（RLS）とカラムマスキング（CM）をDatabricksデータインテリジェンスプラットフォーム全体で一貫して強制することができます。

さらに、我々はパフォーマンス、観測性、そしてエコシステムのサポートに関する最近の強化を発表することを楽しみにしています。これにより、DLTはアジャイル開発、自動化された運用、信頼性の高いパフォーマンスを求めるチームのためのパイプラインツールとしての選択肢となります。

これらの更新内容を探求するために読み進めるか、個々のトピックをクリックして深く掘り下げてください：

• Unityカタログ統合
  • 単一のDLTパイプラインから複数のカタログとスキーマにパブリッシュする
  • 行レベルセキュリティと列マスキングのサポート
  • HMSからUCへの移行
• レイテンシとパフォーマンスの改善
• DLTシンクの拡張：foreachBatchを使用して任意の宛先に書き込む
• DLTの観測性強化
• 専用アクセスモードでのストリーミングテーブルとマテリアライズドビューの読み取り
• その他の強化点＆ロードマップ

Unityカタログ統合

"DLTをUnity Catalogと統合することで、我々のデータエンジニアリングが革新され、摂取と変換のための堅牢なフレームワークが提供されました。その宣言的なアプローチは、中央集権的な概観を維持しながら、分散設定でのスケーラブルで標準化されたワークフローを可能にします。強化されたガバナンス、細かいアクセス制御、データの系譜は、安全で効率的なパイプライン管理を保証します。単一のDLTパイプラインから複数のカタログとスキーマにパブリッシュする新たな機能は、データ管理をさらに効率化し、コストを削減します。"— Maarten de Haas, プロダクトアーキテクト, Heineken International

DLTとUCの統合により、データはデータパイプラインの各段階で一貫して管理され、より効率的なパイプライン、より良い系統と規制要件の遵守、より信頼性の高いデータ操作が提供されます。この統合における主な強化点は以下の通りです：

• 単一のDLTパイプラインから複数のカタログとスキーマにパブリッシュする能力
• 行レベルセキュリティと列マスキングのサポート
• Hive Metastoreの移行

単一のDLTパイプラインから複数のカタログとスキーマにパブリッシュする

データ管理を効率化し、パイプライン開発を最適化するために、Databricksは現在、単一のDLTパイプライン内で複数のカタログとスキーマにテーブルを公開することを可能にしています。この強化により、LIVEキーワードの必要性がなくなり、構文が簡素化され、インフラコスト、開発時間、監視負担が軽減され、ユーザーが複数のパイプラインを簡単に一つに統合できます。詳細なブログ投稿で詳しく学んでください。

行レベルセキュリティと列マスキングのサポート

DLTとUnity Catalogの統合には、DLTパイプラインによって公開されたデータセットの行レベルセキュリティ（RLS）と列マスキング（CM）による細かいアクセス制御も含まれています。管理者は行フィルターを定義して行レベルでのデータ可視性を制限し、列マスクを使用して機密情報を動的に保護することができ、強固なデータガバナンス、セキュリティ、コンプライアンスを確保します。

主なメリット

• 精密なアクセス制御： 管理者は行レベルと列ベースの制限を強制し、ユーザーが許可されたデータのみを見ることができるようにします。
• データセキュリティの向上：ユーザーの役割に基づいて、機密データを動的にマスクまたはフィルタリングすることができ、不正なアクセスを防ぎます。
• 強制的なガバナンス：これらのコントロールは、GDPRやHIPAAなどの内部ポリシーと外部規制の遵守を維持するのに役立ちます。

これらのポリシーを定義する方法については、ドキュメンテーションにいくつかのSQLユーザー定義関数（UDF）の例があります。

Hive Metastore（HMS）からUnity Catalog（UC）への移行

Hiveメタストア（HMS）からUnityカタログ（UC）へのDLTパイプラインの移行は、ガバナンスを効率化し、セキュリティを強化し、マルチカタログのサポートを可能にします。移行プロセスは直感的で、チームは既存のパイプラインをクローンして、操作を中断することなく設定を再構築することができます。クローニングプロセスはパイプライン設定をコピーし、マテリアライズドビュー（MVs）とストリーミングテーブル（STs）をUC管理下に更新し、STsがデータロスなしで処理を再開することを保証します。この移行のベストプラクティスはここでドキュメント化されています。

主なメリット

• シームレスな移行 - パイプラインの設定をコピーし、UCの要件に合わせてテーブルを更新します。
• 最小限のダウンタイム - STは手動介入なしで最後の状態から処理を再開します。
• 強化されたガバナンス - UCはセキュリティ、アクセス制御、データの系統追跡を改善します。

移行が完了すると、元のパイプラインと新しいパイプラインは独立して実行することができ、チームは自分たちのペースでUCの採用を検証することができます。これが現在のDLTパイプラインの移行に最適なアプローチです。データのコピーが必要ではありますが、今年後半にはコピーレス移行のためのAPIを導入する予定ですので、アップデートをお待ちください。

その他の主要な機能と強化点

よりスムーズで高速な開発体験

私たちは過去数ヶ月間でDLTのパフォーマンスを大幅に改善し、より迅速な開発とより効率的なパイプライン実行を可能にしました。

まず、DLTの検証フェーズを80％*高速化しました。検証中に、DLTはスキーマ、データ型、テーブルアクセスなどをチェックし、実行が始まる前に問題を見つけ出します。次に、サーバーレスDLTのサーバーレスコンピュートの初期化にかかる時間を短縮しました。

その結果、DLTパイプラインの反復的な開発とデバッグが以前よりも速くなります。

*平均として。社内ベンチマークによる

DLTシンクの拡張：foreachBatchを使用して任意の宛先に書き込む

DLT Sink APIを基に、我々はforeachBatchのサポートを用いてDLTの柔軟性をさらに拡大しています。この強化により、ユーザーはストリーミングデータを任意のバッチ互換シンクに書き込むことができ、KafkaやDeltaテーブルを超えた新たな統合可能性が開かれます。

foreachBatchを使用すると、ストリーミングクエリの各マイクロバッチをバッチ変換を使用して処理することができ、Delta LakeのMERGE INTO操作や、CassandraやAzure Synapse Analyticsのようなネイティブストリーミングサポートがないシステムへの書き込みなど、強力なユースケースを可能にします。これにより、DLT Sinksの範囲が拡大し、ユーザーはデータをシームレスに全体のエコシステムにルーティングできるようになります。詳細はこちらのドキュメンテーションで確認できます。

主な利点：

• 制限のないシンクサポート - KafkaやDeltaだけでなく、ほぼすべてのバッチ互換システムにストリーミングデータを書き込むことができます。
• より柔軟な変換 - ストリーミングモードではネイティブにサポートされていないMERGE INTOなどのバッチ操作を使用します。
• マルチシンクライト - 処理されたデータを複数の目的地に送信し、より広範なダウンストリームの統合を可能にします。

DLTの観測性強化

ユーザーは現在、DLTパイプラインのクエリ履歴にアクセスできるようになり、クエリのデバッグ、パフォーマンスのボトルネックの特定、パイプラインの実行の最適化が容易になります。パブリックプレビューで利用可能なこの機能は、ユーザーがクエリ履歴UI、ノートブック、またはDLTパイプラインインターフェースを通じてクエリ実行の詳細を確認できるようにします。DLT特有のクエリをフィルタリングし、詳細なクエリプロファイルを表示することで、チームはパイプラインのパフォーマンスについてより深い洞察を得て、効率を向上させることができます。

イベントログは、UCにDeltaテーブルとして公開することができるようになり、パイプラインの監視とデバッグをより容易に行う強力な方法を提供します。イベントデータを構造化された形式で保存することで、ユーザーはSQLや他のツールを利用してログを分析し、パフォーマンスを追跡し、問題を効率的にトラブルシューティングすることができます。

また、DLTパイプラインにRun Asを導入し、ユーザーがパイプラインが実行するサービスプリンシパルまたはユーザーアカウントを指定できるようにしました。パイプラインの実行をパイプラインの所有者から切り離すことで、セキュリティと運用の柔軟性が向上します。

最後に、ユーザーは現在、run asのアイデンティティやタグなど、さまざまな基準に基づいてパイプラインをフィルタリングすることができます。これらのフィルターは、パイプラインの管理と追跡をより効率的にし、ユーザーが興味を持つパイプラインを迅速に見つけて管理できるようにします。

これらの改善は、パイプラインの観察可能性と管理可能性を全体的に強化し、組織がパイプラインが意図した通りに、そして運用基準に沿って動作していることを確認するのが容易になります。

主なメリット

• より深い可視性とデバッグ - イベントログをDeltaテーブルとして保存し、クエリ履歴にアクセスしてパフォーマンスを分析し、問題をトラブルシューティングし、パイプラインの実行を最適化します。
• より強固なセキュリティ＆コントロール - Run Asを使用してパイプラインの実行を所有者から切り離し、セキュリティと運用の柔軟性を向上させます。
• より良い組織化と追跡 - コスト分析と効率的な管理のためにパイプラインにタグを付け、新しいフィルタリングオプションとクエリ履歴でより良い監視を実現します。

専用アクセスモードでのストリーミングテーブルとマテリアライズドビューの読み取り

今回、専用アクセスモードでストリーミングテーブル（STs）とマテリアライズドビュー（MVs）を読む機能を新たに導入します。この機能により、パイプラインの所有者や必要なSELECT権限を持つユーザーは、自分の専用クラスタから直接STとMVをクエリすることができます。

この更新は、まだ共有クラスタにアップグレードされていない割り当てられたクラスタへのSTとMVのアクセスを開放することでワークフローを簡素化します。専用アクセスモードでのSTとMVへのアクセスが可能になることで、ユーザーはデバッグ、開発、個人的なデータ探索に最適な孤立した環境で作業することができます。

主なメリット

• 開発の効率化： クラスタータイプを跨いでパイプラインをテストし、検証します。
• セキュリティを強化する： アクセス制御とコンプライアンス要件を強制します。

その他の強化

ユーザーは、APPLY CHANGESコマンドの対象となるSTから変更データフィード（CDF）を読み取ることができるようになりました。この改善は、行レベルの変更の追跡と処理を簡素化し、すべてのデータ変更が捉えられ、効果的に処理されることを保証します。

さらに、Liquid Clusteringは、Databricks内のSTとMVの両方でサポートされています。この機能は、データのクラスタリングを指定された列に基づいて動的に管理し、これらは通常24時間ごとに行われるDLTメンテナンスサイクル中に最適化されることで、データの組織化とクエリを強化します。

まとめ

統一されたレイクハウスガバナンスとの完全な整合性を持つインテリジェントなデータエンジニアリングのベストプラクティスを導入することで、DLT/UC統合はコンプライアンスを簡素化し、データセキュリティを強化し、インフラストラクチャの複雑さを軽減します。チームは、パフォーマンスを犠牲にすることなく、より強力なアクセス制御、改善された観測性、そしてより大きな柔軟性を持ってデータパイプラインを管理することができるようになりました。今日DLTを使用しているなら、これがパイプラインを未来に備える最善の方法です。そうでない場合でも、このアップデートがデータチームのDLTユーザーエクスペリエンスを最大限に引き出すための私たちの取り組みを一歩前進させることを示していることを願っています。

私たちのドキュメンテーションを探索して始めてみてください、そして上記のロードマップ強化をお楽しみに。あなたのフィードバックをお待ちしています！