によって ブライアン・サフトラー による投稿
データ、アナリティクス、AIガバナンスは、データとAIの民主化の取り組みにおいて、おそらく最も重要でありながら最も困難な側面です。データ、アナリティクス、AIのニーズに対応するため、ビジネスインテリジェンス用のデータウェアハウスとAI用のデータレイクという2つの異なるシステムを導入したことでしょう。そして今、2つのシステム間でデータを移動させることでデータサイロが作成され、それぞれに異なるガバナンスモデルが存在します。
しかし、データはファイルやテーブルに限定されません。ダッシュボード、MLモデル、ノートブックのようなアセットもあり、それぞれに独自の権限モデルがあるため、これらすべてのアセットへのアクセス権限を一貫して管理することが困難になります。データアセットが複数のクラウドにまたがり、それぞれ異なるアクセス管理ソリューションを使用している場合、問題はさらに大きくなります。朗報です、データガバナンスを統合する方法があります。しかし、なぜ気にする必要があるのでしょうか？
堅牢なデータガバナンスがなければ、企業はオーディエンスを完全に理解したり、運用上および消費者ライフサイクル全体でより良いビジネス成果を推進したり、アルゴリズムやデータ中心のバイアスを制御したりすることはできません。AIモデルがより複雑になるにつれて、それらがどのようにガバナンスされているか、そして内部および外部のデータアセットとどのように相互作用するかを理解することが不可欠です。
CIOはこのことを理解しています。実際、CIOの98%は、ガバナンスへの統一された一貫したアプローチへの移行が重要であると述べています。これは、Databricksが共同開発したMIT Technology Report「Bringing Breakthrough Data Intelligence to Industries」で見つかりました。
コミュニケーション、メディア、エンターテイメントのペースの速い世界では、オーディエンスは独自の好みに合わせたパーソナライズされたエクスペリエンスを求めています。これには、コンテンツ消費習慣、クリックストリームエンゲージメントの理解から、人口統計情報、過去の購入および取引情報に至るまで、ユーザーデータを深く理解する必要があります。しかし、このデータは多くの場合、さまざまなシステムやプラットフォームにサイロ化されており、顧客の統一されたビューを取得することが困難になっています。効果的なデータガバナンスは、この分散したデータを統合および調和させ、メディア企業がオーディエンスの360度プロファイルを作成できるようにするために不可欠です。この360度プロファイルから、チームはハイパーパーソナライズされたエクスペリエンス、コンテンツレコメンデーションなどを構築するためのAIモデルとシステムをより良く構築でき、オーディエンスのエンゲージメントを維持し、リピーターを増やします。
AIモデルがより複雑になるにつれて、それらが供給されるデータとどのように相互作用するかを理解することが重要です。堅牢なデータガバナンスプラクティスは、AI駆動のインサイトにおける透明性と説明可能性を保証します。これは、データリネージ、プロビナンス、品質メトリックの詳細を維持することによって達成され 、データチームはAIモデルのトレーニングに使用されたデータの起源と変換を追跡できます。
これは、堅牢なデータガバナンスがもはやオプションではなく、不可欠であることを意味します。McKinsey & Companyによると、効果的なデータガバナンスを欠いている企業は、データ品質の悪さにより、非生産的なタスクに最大29%の労働時間を浪費しています。しかし、データ品質の向上と意思決定におけるその重要な役割にもかかわらず、データガバナンスは直接的な利益を増加させないことが多いため、一部の企業はそれを戦略的優先事項としてではなく、IT部門に委任しています。
データガバナンスが組織を変革するためには、トップエグゼクティブが主導する必要があります。政府の義務が増加するにつれて、Chief AI OfficerやChief Data Officer（CDO）のような役割が現在、イニシアチブを推進しています。これは、基盤となるデータに加えてビジネスコンテキストに依存するAIにとって特に重要です。データガバナンスプログラムを立ち上げる際、CDOの最初のステップは、ビジネスの承認を得ることです。これには、ポリシーを確立するためのデータ管理オフィス（DMO）と、優先順位を設定しコンプライアンスを確保するためのビジネスリーダーのデータ評議会という2つの主要なエンティティの設立が含まれます。重要な戦略は、顧客データや製品データなど、特定のデータ領域に焦点を当てることで、イニシアチブを管理可能にし、戦略目標と整合させることです。このターゲットアプローチは、データガバナンスの圧倒的な範囲がプログラムを脱線させるのを防ぐのに役立ちます。データガバナンスの具体的なビジネス上のメリットを実証することは、資金調達とエグゼクティブサポートを維持するために不可欠です。DMOは、成功を文書化し、継続的な投資の価値を伝える上で重要な役割を果たし、直接的な問題が解決された後もデータガバナンスが優先事項であり続けることを保証します。
データガバナンス標準を定義する際、DMOはデータがエンタープライズ全体でどのように作成およびアクセスされるかを綿密に調査する必要があります。運用目的のためにある程度のデータ冗長性はしばしば避けられないものですが、アナリティクス機能の進歩により、組織はアナリティクスインフラストラクチャを統合できるようになりました。スタンドアロンのデータウェアハウス、データマート、データレイク、および専門のデータサイエンスプラットフォームの断片化された環境を維持する代わりに、組織はこれらの分散した環境を統一されたエンタープライズワイドなデータプラットフォームに統合することを検討する必要があります。この集中化されたアプローチは、ビジネス全体で見られるアナリティクスのニーズの全範囲をより良くサポートできます。
Databricks Data Intelligence Platformは、データとアナリティクスの統一されたアプローチというこのビジョンを念頭に置いてゼロから構築されています。構造化データと非構造化データの両方に対応できるDelta Lakeのデータ管理レイヤーによって強化され、内部および外部の両方から発生するデータをパフォーマンスとコスト効率で処理できるDatabricksは、組織がすべてのアナリティクス指向の情報を単一の統一されたプラットフォーム内に統合できるようにします。
リアルタイム処理とバッチ処理の両方をサポートするDatabricksプラットフォームにより、データエンジニアは、望ましいビジネス成果をサポートするために重要な速度で、ビジネスにインサイトを処理および提供できます。市場に出回っているすべての最新のビジネスインテリジェンスおよびデータディスカバリプラットフォームとの統合、および生成AIを含む機械学習およびAIワークロードの堅牢なサポートにより、Databricksは組織のアナリティクスニーズの最も完全な範囲を満たすことができます。
Databricks Data Intelligence Platformは、革新的なデータ管理の業界標準になりつつあります。ここでUnity Catalogが登場します。Unity Catalogは、構造化データと非構造化データ、機械学習モデル、およびその他のさまざまなデジタルアセットを任意のクラウドまたはプラットフォーム全体で管理するためのシームレスで統一されたレイヤーを提供することにより、データガバナンスに革命をもたらしています。その結果、Unity Catalogは、データプロフェッショナルが信頼できるデータに安全にアクセスして共同作業できるようにし、人工知能を活用して生産性を向上させ、レイクハウスアーキテクチャの機能を完全に活用できるようにします。これは、データリネージが「忘れられる権利」に対処する上 で重要な考慮事項であるGDPRやCCPAのようなデータプライバシー規制があるため、特に重要です。これらの規制により、組織は個人データの起源とフローを特定できる必要があり、要求に応じてそれらを見つけて削除できるようになります。
メディアおよびエンターテイメント組織は、多くの場合、マルチクラウド環境で運用されており、データとアプリケーションはさまざまなクラウドプラットフォームに分散しています。Databricks Unity Catalogは、任意のクラウドまたはプラットフォーム全体で構造化データと非構造化データ、機械学習モデル、およびその他のデジタルアセットを管理するための単一の統一されたレイヤーを提供することにより、それらの場所に関係なく、データアセットの権限モデルとガバナンスを簡素化します。
Unity Catalogを通じて利用可能な主なイネーブラーは次のとおりです。
ガバナンスへのこの統一されたアプローチは、データとAIのイニシアチブを加速し、規制コンプライアンスを簡素化します。ますます多くの組織にとって、DatabricksプラットフォームのコアコンポーネントとしてのUnity Catalogは、エンタープライズデータガバナンス戦略の礎となっています。
メディアおよびエンターテイメント業界が生成AIの力をますます活用するにつれて、データガバナンスは、その可能性を最大限に引き出す鍵となります。これらのAIモデルに供給されるデータの品質、セキュリティ、およびアクセシビリティを確保することにより、組織はイノベーションを推進し、より魅力的なコンテンツを作成し、オーディエンスに優れたエクスペリエンスを提供できます。
データガバナンスは単なるコンプライアンス要件ではなく、戦略的必須事項です。データ中心のビジネス主導のアプローチをガバナンスに採用することにより、組織はデータとAIのイニシアチブの可能性を最大限に引き出し、パーソナライズされたエクスペリエンスを提供し、イノベーションを推進し、絶えず変化するメディア環境での長期的な成功を確保できます。
(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事
ブログを購読して、最新の投稿を受信トレイにお届けします。