エージェント型AIによる大規模なデータ品質モニタリング

大規模なデータ品質の課題

組織がデータ製品やAI製品を構築するケースが増えるにつれて、データ品質の維持はより困難になっています。データは、経営幹部向けのダッシュボードから全社規模のQ&Aボットまで、あらゆるものの原動力となります。古くなったテーブルは、時代遅れの回答や不正確な回答につながり、ビジネスの成果に直接影響を及ぼします。

ほとんどのデータ品質アプローチは、この現状に対応できません。データチームは、少数のテーブルに適用される手動で定義されたルールに依存しています。データ資産が拡大するにつれて、死角が生まれ、全体的な健全性に対する可視性が制限されます。

チームは継続的に新しいテーブルを追加し、それぞれに固有のデータパターンがあります。すべてのデータセットに対してカスタムチェックを維持することは、持続可能ではありません。実際には、ごく一部の重要なテーブルのみが監視され、データ資産の大部分はチェックされないままです。

その結果、組織はかつてないほど多くのデータを保有しているにもかかわらず、そのデータを使用することへの信頼は低下しています。

エージェント型データ品質モニタリングのご紹介

本日 Databricks が発表するのは、AWS、Azure Databricks、GCP におけるデータ品質モニタリングのパブリックプレビューです。

データ品質モニタリングは、断片的で手作業によるチェックを、拡張性を考慮して構築されたエージェント的なアプローチに置き換えます。静的なthresholdの代わりに、AIエージェントが通常のデータパターンを学習し、変化に適応して、データ資産を継続的に監視します。

Databricks プラットフォームとの緊密な連携により、検出以上のことが可能になります。

• 根本原因はアップストリームのLakeflow jobsとパイプラインで直接表示されます。チームはデータ品質モニタリングから影響のあるジョブにジャンプし、Lakeflowの組み込みの可観測性機能を活用して、障害に関するより深いコンテキストを取得し、問題をより迅速に解決できます。
• 問題の優先順位付け Unity Catalogのリネージと認定タグを使用して、影響の大きいデータセットに最初に対処できるようにします。

プラットフォームネイティブのモニタリングにより、チームはエンタープライズ規模で問題をより早期に検出し、最も重要なことに集中し、より迅速に問題を解決できます。

「私たちの目標は常に、問題があるときにデータがそれを教えてくれるようにすることでした。Databricks のデータ品質モニタリングは、その AI 主導のアプローチによって、ついにそれを実現しました。UIにシームレスに統合され、ハンズオフで設定不要なアプローチにより、すべてのテーブルをモニタリングします。これは他の製品では常に制約となっていました。ユーザーが問題を報告するのではなく、当社のデータが最初に問題を検知することで、プラットフォームの品質、信頼性、整合性が向上します。— ジェイク・ロウシス、Alinta Energy社リードデータエンジニア

データ品質モニタリングの仕組み

データ品質モニタリングは、2つの補完的な方法を通じて、実用的な知見を提供します。

異常検出

スキーマレベルで有効化された異常検知は、手動設定なしですべての重要なテーブルを監視します。AI エージェントは、過去のパターンと季節的な挙動を学習して、予期しない変化を特定します。

• 静的なルールではなく、学習した動作: エージェントは通常の変動に適応し、鮮度や完全性などの主要な品質シグナルを監視します。null の割合、一意性、有効性などの追加チェックも、今後サポートされる予定です。
• 大規模なインテリジェントスキャン: スキーマ内のすべてのテーブルを一度スキャンした後、テーブルの重要度と更新頻度に基づいて再アクセスします。Unity Catalog のリネージと認定により、どのテーブルが最も重要であるかが判断されます。頻繁に使用されるテーブルはより頻繁にスキャンされますが、静的なテーブルや非推奨のテーブルは自動的にスキップされます。
• 可視化とレポート作成のためのシステムテーブル: テーブルの正常性、学習されたしきい値、観察されたパターンはシステムテーブルに記録されます。チームはこのデータをアラート、レポート作成、より詳細な分析に使用します。

データプロファイリング

テーブルレベルで有効にすると、データプロファイリングが要約統計量を取得し、その経時変化を追跡します。これらのメトリクスは履歴コンテキストを提供し、異常検知に利用されるため、問題を簡単に把握できます。

「OnePayでは、私たちの使命は、人々が経済的な進歩を遂げる手助けをすること、つまり、貯蓄、支出、借入、そして資産を増やす力を与えることです。すべてのデータセットにわたる高品質なデータは、その使命を果たす上で極めて重要です。データ品質モニタリングにより、問題を早期に発見し、迅速な対策を講じることができます。当社の**アナリティクス**、レポート作成、堅牢な**機械学習**モデルの開発における正確性を確保でき、これらすべてが、当社の**顧客**により良いサービスを提供することに貢献します。」 — Nameet Pai、OnePay プラットフォーム & データエンジニアリング責任者

増え続けるデータ資産の品質を確保する

自動品質モニタリングにより、データプラットフォームチームはデータの健全性を常に把握し、問題の迅速な解決を確実なものにします。 

エージェントによるワンクリックモニタリング: 手動でのルール作成やthresholdの設定なしで、スキーマ全体を監視します。データ品質モニタリングは、過去のパターンや季節的な挙動（週末のデータ量の減少、確定申告シーズンなど）を学習し、すべてのテーブルにわたる異常をインテリジェントに検出します。 

データヘルスの全体像: 統合ビューですべてのテーブルのヘルスを簡単に追跡し、問題が確実に修正されるようにします。 

• 下流への影響に基づいて問題の優先順位を決定: すべてのテーブルは、その下流リネージとクエリー量に基づいて優先順位が付けられます。最も重要なテーブルに関する品質問題が最初に警告されます。
• 解決までの時間を短縮: Unity Catalog では、データ品質モニタリングによって問題が上流の Lakeflow Jobs と Spark宣言型パイプライン に直接追跡されます。チームはカタログから影響を受けるジョブにジャンプして、特定の障害、コードの変更、その他の根本原因を調査できます。

健全性インジケーター: 一貫した品質シグナルが上流のパイプラインから下流のビジネスサーフェスまで入力されます。データエンジニアリングチームは問題を最初に通知され、データ利用者はそのデータが安全に使用できるかどうかを即座に判断できます。 

次のステップ

今後数ヶ月のロードマップはこちらです：

• 品質ルールの強化: null値の割合、一意性、有効性など、より多くのチェックをサポート。
• 自動アラートと根本原因分析: アラートを自動的に受信し、ジョブやパイプラインに直接組み込まれたインテリジェントな根本原因の指摘によって、問題を迅速に解決します。
• プラットフォーム全体の健全性インジケーター: Unity Catalog、Lakeflow Observability、リネージ、ノートブック、Genieなどにわたって一貫した健全性シグナルを確認できます。
• 不良データのフィルタリングと隔離： 不良データをプロアクティブに特定し、コンシューマーに届くのを防ぎます。

はじめに：パブリック プレビュー

大規模でインテリジェントなモニタリングを体験し、信頼性の高いセルフサービス型データプラットフォームを構築しましょう。今すぐパブリック プレビューをお試しください: 

• データ品質モニタリングを有効にする Unity Catalog の「スキーマ詳細」tabから
• 全体像を表示し、監視対象のすべてのテーブルを製品内で直接確認できます。
• アラートは このテンプレートで設定 

(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事