データ品質の理解

優れたデータ品質のメリット

データ品質を維持することは、以下のような多くの理由から重要です：

業務の効率化：高品質なデータがあれば、エラーの修正、矛盾への対応、重複の特定に費やす時間とリソースを削減できます。また、優れたデータ品質は、従業員がデータ関連の問題に対処するよりも、より高度で戦略的なタスクに集中できるようにすることで、コストを削減します。

情報に基づいた意思決定：データの質が高いことで、主要な利害関係者は、意思決定が正確な情報に基づいて行われているという確信を得ることができます。正確で完全かつタイムリーなデータは、アナリティクスとAIにとっても不可欠です。

データガバナンスの強化：データセットが一貫して管理され、規制要件に準拠していることを保証する効果的なデータガバナンスには、優れたデータ品質が不可欠です。

データ品質の主な要素

データ品質は6つの主要な次元に分けることができます：

1. 一貫性：データは異なるデータベースやデータセット間で一貫している必要があります。これには、分野、取引、時間にわたるデータが含まれます。データセットの規模が拡大するにつれ、重複や競合を排除したデータのキュレーションが重要になります。
2. 正確さ：データは実際のシナリオを反映したものでなければなりません。データが物理的測定値を参照するものであれ、基準ソースを参照するものであれ、品質データは誤差がなく、正確にソースを表していなければなりません。
3. 妥当性：データは、定義されたフォーマット、標準、ルールに準拠している必要があります。これは通常、データが設計された範囲またはパターン（関連するメタデータを含む）に一致することを意味します。
4. 完全性：データセットは、その完全性によってのみ優れています。データポイントがない、または利用できない場合、データ全体の質が低下し、知見が不十分または不完全になる可能性があります。
5. 適時性：データは最新で、必要なときに利用できる必要があります。データ報告の遅れや遅延は、不正確なデータ報告につながります。システムは新しい情報を捕捉し、その情報を処理し、後で呼び出せるように正確に保存する必要があります。
6. 独自性：データが様々なソースから集約される場合、データ品質プロセスで重複や冗長性をチェックすることが極めて重要です。 独自性に欠けるデータセットは、誤解を招く知見や戦略につながりかねません。

アナリティクス・プラットフォームに入るデータは、これらの要件を満たしていない可能性が高いことに注意することが重要です。データ品質は、時間の経過とともにデータをクリーニングし、変換することによって達成されます。

データ品質を確保するもう一つの方法は、共有、処理、利用のためにデータを準備する方法をまとめた「データ品質の7つのC」フレームワークを使用することです。

• 収集：最初の段階はデータ収集です。これは、データを取得し、フォーマットし、適切なデータリポジトリに保存するプロセスです。
• 特性化：データが収集されたら、第二段階として、データが作成された時間、収集方法、さらには場所や特定のセンサー設定などの追加メタデータを特徴付けます。
• クリーン次のステップは、データ内の問題や破損に対処してデータをクリーニングすることです。ETL (抽出, 変換, ロード) は一般的なプロセスですが、重複、誤字、不要なデータなど、その他の問題に対処するために使用されることもあります。
• 文脈化：すべてのデータがビジネスやイニシアチブに関連するとは限りません。データを文脈化することで、どのような追加メタデータが必要になるかが決まります。
• 分類：データセットの重要な要素を特定し、問題領域に基づいて抽出します。
• 相関させます：このステップでは、さまざまなデータストアにまたがる異種のデータと概念を関連付けます。例えば、2つのデータセットが同じデータポイントを参照することがあります：ある顧客の電話番号は、それぞれのデータベースによって2つのタイプに分類されます。相関関係は、データポイントを結びつけることによって、これらの矛盾を解決するのに役立ちます。
• カタログ：最後のステップは、データとメタデータが安全に保存され、保存され、検索および分析プラットフォームからアクセスできるようにすることです。

データ品質の評価

データの質は、確立された基準と次元の枠組みに照らして測定されるべきです。主なフレームワークは以下の4つ：

• データ品質評価フレームワーク（DQAF）
• 総合データ品質管理（TDQM）
• データ品質スコアカード（DQS）
• データのダウンタイム

これらの基準は、データのギャップを特定し、長期的な改善の指針となります。これらのフレームワークが扱う一般的なメトリックスには、次のようなものがあります：

• エラー率：データから発見されたエラーの頻度
• 完全率：完全で利用可能なデータの割合
• 整合率：異なるデータセット間でデータが一貫している度合い
• 適時性：データの最新性

データ品質の向上

膨大で増大するデータセットと解決すべき複雑な問題を抱え、データ品質の向上は難題です。データ品質のモニタリングは、データライフサイクル全体を通じて行われるべきです。長期的には、より正確なアナリティクス、よりスマートな意思決定、そして収益の増加につながります。

• ETL時のデータ品質：データセットをクリーニングするプロセスでは、さまざまなミスが発生する可能性があります。インジェスト、変換、オーケストレーションの各プロセスを通じてデータ品質をチェックすることで、継続的な正確性とコンプライアンスを確保できます。データクレンジングツールは、データセットから不正確または不完全なデータを修正または削除するプロセスを自動化できますが、自動化が完璧であるわけではありません。このプロセスを通じて継続的にテストを行うことで、全体的な精度と品質をさらに保証することができます。
• データ品質とガバナンス：データを保護し、データ品質をサポートするためには、優れたデータガバナンスが不可欠です。データ品質に関する組織標準を決定し、プロセスのさまざまな部分を担当する主要な利害関係者を特定します。また、データ完全性を維持するための役割を全員が理解できるように、データ品質に関する文化を発展させることも重要です。
• テストにおけるデータ品質：データ品質テストは、任意のデータセットにおける特定の既知の問題を予測しようとするものであり、データプロファイリングツールは、品質上の問題についてデータを分析し、パターン、外れ値、異常値に関する知見を提供するものです。 この作業は、結果の正確性を保証するために、実戦配備の前に行う必要があります。

データ品質に関する新たな課題

競争の激しいビジネス環境では、企業はデータを活用することで優位に立つ必要があります。AI および のイニシアチブは、企業が競争力を維持するためにデータから知見とイノベーションを生み出すために不可欠になっています。Machine Learning 一方、クラウドファーストへの移行とモノのインターネット（IoT）の爆発的な普及により、データは飛躍的に増加しています。

堅牢なデータ品質プラクティスの必要性はかつてないほど高まっていますが、組織は優れたデータ品質の構築と維持に関して共通の課題に直面しています：

• 不完全または不正確なデータ：複数のソースからのデータを集計すると、属性の欠落やエラー、重複が発生する可能性があり、誤解を招いたり、不正確な判断につながる可能性があります。
• 貧弱なデータガバナンス：強力なデータマネジメントのベストプラクティス (Best Practice)がなければ、役割や責任の所在が不明確なため、データ品質が低下する可能性があります。
• データ量と速度：データ量の増大は、リアルタイムの処理とレポーティングに課題をもたらし、知見を遅らせる可能性があります。
• 複雑なデータソース：写真やビデオなどの非構造化データを収集するシステムが増加しており、最も慎重に構築されたデータ品質プロセスでさえも困難になる可能性があります。
• モニタリングの実践：厳密なデータ モニタリングの実践を欠く組織は、データ品質で損失を被る可能性があります。

AI 、アナリティクスが主導するデータドリブン (Data Driven)アプローチに組織が二の足を踏む中、データクオリティの実践を一元化し、合理化することが極めて重要になります。 データの質が高ければ高いほど、組織は効果的な意思決定を行い、エラーを最小限に抑え、技術的に進んだ環境で競争することができます。

FAQ

1. データ品質を構成する主要な要素は何か？
データ品質の主な要素は、一貫性、正確さ、妥当性、完全性、適時性、独自性の6つです。

2. 質の低いデータが企業に与える影響は？
質が低いデータは不正確な分析や誤った意思決定を引き起こし、企業に年間平均約1,300万ドルの損失を与える可能性があります。

3. データ品質を維持するための代表的な手法は何か？
データの品質維持には、ETLプロセスでのデータクレンジング、強力なデータガバナンス、継続的なデータ品質モニタリングが代表的な手法として用いられます。