統合セマンティクス、リネージ、オープンガバナンスが、信頼できるAIとスケーラブルなアナリティクスの基盤となる理由
によって キャサリン・ブラウン による投稿
AIが経営幹部とデータとの関わり方を変えるにつれて、アナリティクスはダッシュボードの時代から、よりダイナミックな運用モデルへと移行しつつあります。自然言語インターフェース、AI駆動型のインサイト、およびエージェント型ワークフローは、インテリジェンスへのより幅広いアクセスを約束しますが、同時に、多くの組織が長年抱えてきた問題、すなわち、断片化された定義、一貫性のないメトリクス、そしてAIのスケールに対応するよう設計されていないガバナンスモデルを浮き彫りにしています。
これが実務において何を意味するのかを紐解くため、Databricksのアジア太平洋・日本地域（APJ）担当フィールドエンジニアリング部門バイスプレジデントであるNick Eayrs氏にお話を伺いました。複数の地域にまたがる25年近くのリーダーシップ経験を持つEayrs氏は、データインサイトが組織内のアクセラレーター（加速装置）としてどのように機能するか、そしてエージェント型アナリティクスの新たな時代に成功するために何が必要かについて、広い視野を持っています。その経歴から、データとAIの戦略が市場、運用モデル、企業の成熟度レベルにおいてどのように展開されるかについて、幅広い見識を備えています。
私たちの会話を通じて一貫していたのは、AIの登場によってセマンティクスやガバナンスの必要性がなくなるわけではない、という彼の確信でした。むしろ、それらの重要性ははるかに高まっています。彼の見解では、組織が信頼できるAIの成果を得るためには、その下層にあるデータレイヤー、すなわち、インテリジェンスがコストや複雑さで破綻することなくスケールできるようにするためのビジネス定義、リネージ、アクセス制御、オープンスタンダードをまず整備する必要があります。
Catherine Brown: なぜAIは、従来のBIが対処する必要のなかった方法で、アナリティクスに対してセマンティクスやガバナンスのプレッシャーを与えるのでしょうか？
Nick Eayrs: 従来のBIは、まさに静的なダッシュボードと事前に定義されたレポートの世界でした。ビジネスユーザーはかなり複雑なインターフェースを操作する必要があり、追加の質問があったり、何かをより深く探索したい場合は、通常、専門家のサポートが必要でした。真のセルフサービスはほとんど存在しなかったのです。
従来のBIの基盤となるセマンティックレイヤーも、比較的静的で変更に時間がかかるものでした。ビジネスで収益、チャーン（解約）、顧客生涯価値（LTV）の新しい定義が必要になった場合、通常はIT部門や専門チームに戻ってセマンティックレイヤーを更新し、レポートを再構築する必要がありました。非常にあらかじめ決められたモデルだったのです。
AIはそれを完全に変えます。もはや静的である必要はなく、単に過去を記述するだけのものでもありません。従来のBIは、いわば「バックミラー」を見るようなアナリティクスであることが多く、何が起きたかを伝えるものでした。AIを使えば、何が起こるかを予測し始め、なぜそれが起きたのかを問い、次に何をすべきかを理解することができます。より多くのデータにわたって自ら推論を行い、リアルタイムでインサイトを生成できるようになります。
しかし、その世界でもセマンティクスが消え去るわけではありません。むしろ、重要性は増しています。AIやエージェントは、依然としてその下にあるデータから情報を得ています。これは「ガベージイン・ガベージアウト（ゴミを入れればゴミが出てくる）」という古い原則に立ち返るものです。製品、サービス、タクソノミー、用語に関する適切なビジネスコンテキストを備えた、信頼できる高品質なデータが多ければ多いほど、AIの体験は向上します。
誰かが「なぜ第3四半期（Q3）の目標を達成できなかったのか？」と尋ねた場合、システムはその組織における「目標」の意味、ユーザーがどの期間を指しているのか、そしてそれらのメトリクスがどのように定義されているのかを理解する必要があります。そのセマンティックなコンテキストがなければ、システムは単に推測しているだけになります。一般的な回答は生成できるかもしれませんが、信頼できる回答にはなりません。
ここにはもう一つ重要なポイントがあります。Databricksの見解では、セマンティックレイヤーはオープンで相互運用可能であるべきです。従来のBIベンダーはセマンティックモデルを自社ツールにロックインすることが多く、すべてのデータがそのインターフェースを経由しなければならなくなります。これが大きな制約となります。AIやエージェント型の体験をスケールさせたい場合、APJにおける強力なカスタム事例としてTakedaが挙げられます。適切なデータ基盤とガードレールを整備することで、同社はコマーシャル、R&D、製造、バックオフィス機能にわたって複数のAIユースケースを構築することができました。
Catherine: AIがアナリティクスに与えるガバナンスのプレッシャーについて、より具体的にお話しいただけますか？
Nick: BI側とAI側の両方において、ガバナンスとは結局のところ、信頼、リネージ、そしてトレーサビリティに行き着きます。
ダッシュボードやビジネスインテリジェンスのインサイトを作成する場合、それらがどのように構築されたかを理解する必要があります。どの基礎データが使用されたのか？メトリクスはどのように定義されたのか？それを知らなければ、見ているものを信頼することはできません。
AI側でも同様です。モデル、エージェント、またはエージェント型アプリケーションからの出力がどのように導き出されたかを理解できなければ、その出力を信頼することはできないでしょう。それはどのテーブルから来たのか？どの特徴量が使用されたのか？どのモデルが推論を提供していたのか？そのエンドツーエンドのリネージが不可欠です。
また、コンプライアンスの側面もあります。規制の厳しい業界では、組織はそのトレーサビリティを証明することがますます求められるようになります。AI主導の意思決定が消費者、市民、または患者に外部公開される場合、その決定を裏付け、それがどのように作成されたかを監査できなければなりません。信頼とトレーサビリティに対する期待が高まっているため、AIはアナリティクスにより多くのプレッシャーを与えているのです。
Catherine: よく見られる、メトリクスが矛盾するパターンにはどのようなものがありますか？また、それらは組織にどのようなコストをもたらしますか？
Nick: 最大の問題は断片化です。ほとんどの組織は社内に複数のBIツールを保有しており、それぞれのツールが独自のセマンティックモデルとビジネスメトリクスの独自の解釈を持っている場合があります。その結果、 単一の信頼できる情報源（Single Source of Truth）が存在せず、整合性の取れない重複したロジックが大量に発生することになります。
あるダッシュボードでは収益をある方法で定義し、別のツールでは異なる方法で定義しているかもしれません。財務部門の誰かは、Excelのまた別のバージョンを使って作業しているかもしれません。その時点で、信頼は非常に急速に崩れ始めます。人々はもはや意思決定そのものについて議論するのではなく、どの数字が正しいかを議論するようになるため、意思決定が遅れるのです。
Catherine: ダッシュボードのロジックがツール内に閉じ込められていると、なぜAIのスケールにおいて破綻してしまうのでしょうか？
Nick: 従来のBIツールは、ソースシステムからデータを抽出し、特定のレポート成果のために集計し、独自のストレージに移動した上で、その上に独自のセマンティクスやダッシュボードを重ねることがよくあります。すべてがツール内にロックインされてしまうのです。
AIの世界では、ユーザーは常に次の質問を持つため、これが大きな問題になります。ユーザーはより深く掘り下げたいと考えます。そのロジックを他のシステムに公開したいと考えます。データサイエンティストや機械学習チームにそれを基盤として構築してほしいと考えます。すべてが1つの独自のレイヤーに閉じ込められていると、うまく機能しません。何度もソースに戻り、さらにデータを取得し、再度変換し、ロジックを再構築し続けなければなりません。これは非効率で、コストもかさみます。
代わりに、すべてがオープンなデータフォーマットとオープンなインターフェースに基づいて構築されていれば、BI、AI、ノートブック、エージェント、およびデータサイエンスチームのすべてが、ガバナンスの効いた同じ基盤から作業できます。データの保存と処理は一度だけで済みます。誰もが自然言語でデータと対話できます。誰もがそれを基盤に構築できます。これこそが、スケールさせるためのより優れたモデルです。
また、従来のやり方ではエンジニアリングの負担も大きくなります。断片化したシステムの整合性を保つためだけに、多数の同期パイプラインや大量のカスタムコードを維持することになります。そのような複雑さを正当化することは非常に困難になります。
Catherine: 実務において、マシンリーダブル（機械判読可能）なセマンティックレイヤーとはどのようなものですか？
Nick: 第一に、ビジネスメトリクスを基盤となる柱として扱う必要があります。つまり、収益、チャーン、顧客生涯価値（LTV）といったものの定義が、組織全体で明示的に定義され、認定され、再利用可能である必要があります。
第二に、それらのメトリクスは標準的な言語（主にSQL）を介してアクセス可能である必要があり、BIツールだけでなく、AIインターフェース、ノートブック、エージェントからも利用できる必要があります。アクセス可能で再利用可能でなければ、問題を本当に解決したことにはなりません。
第三に、オープン性と相互運用性が必要です。すべてのビジネスロジックを、取り出すことの できないシステムに押し込みたくはないでしょう。オープンスタンダードが重要なのは、システムやプロバイダーを変更する必要が生じた場合に、選択肢と安全な移行（エグジット）戦略を提供してくれるからです。
また、AIを活用したガバナンスも必要です。エージェント型の世界では、何千ものモデルやエージェントが常にセマンティックレイヤーと相互作用している可能性があります。これらすべてを手動で行う場合、メタデータ、コメント、ビジネスメトリクスを最新の状態に保つことは非常に困難です。AIは、そのメタデータの生成と維持を支援し、セマンティックレイヤーがスケールしても利用可能な状態を維持できるようにします。
そしてもちろん、その上に会話型およびコンテキスト型のインテリジェンスが必要であり、これによりエージェントやアプリケーションがAPIや自然言語インターフェースを介してそのレイヤーと相互作用できるようになります。
Catherine: この中で「評価（Evaluation）」はどこに位置づけられますか？まずデータの認定が行われ、その後にAIレイヤーと評価が続くのでしょうか？
Nick: はい。データ基盤が先です。AIがデータを効果的に活用できるようにするには、まずメタデータ、ビジネスロジック、コメント、ビジネスメトリクスを整備しておく必要があります。
その上にAIまたはエージェント型のレイヤーを構築します。その後、評価フレームワークが機能し、出力が期待通りであるかを検証し、システムの動作を微調整します。しかし、 評価レイヤーは基盤を正しく整備することの代わりにはなりません。それは基盤があってこそ成り立つものです。
Catherine: ユーザー課金制のBIモデルは、どのような点で導入や価値創造を阻害しているのでしょうか？
Nick: データとAIの民主化のゴールは、組織内のすべてのナレッジワーカーにインテリジェンスを届けることであるべきです。ユーザー課金制のモデルは、そのゴールに真っ向から反するものです。
アクセス権を与えるユーザー、チーム、または部門を組織が選択せざるを得なくなるため、民主化が制限されます。また、ビジネス価値ではなくライセンスの空き状況に基づいて、どのプロジェクトを進めるかを決定することになるため、イノベーションも阻害されます。
これは価値創造にも影響します。最高の成果は、多様なチームがビジネス課題を中心に集まったときに生まれることがよくあります。それらのチームの一部しかシステムにアクセスできない場合、コラボレーションが制限され、組織の価値創造能力が低下してしまいます。
もう一つの問題は効率性です。従量課金制モデルでは、使用した分だけ支払います。使用量が増えれば、その増えた分を支払います。使用量がゼロになれば、支払いはゼロです。これは、十分に活用されていなかったり、過剰にプロビジョニングされていたりする可能性があるユーザーライセンスに支払うよりも、はるかに合理的なモデルです。
Catherine: ライセンス制限が事実上のガバナンスレイヤーとして機能していると主 張する組織もあるかもしれません。それについてはどう思われますか？
Nick: ライセンスを制限することでデータへのアクセスを管理しようとしているなら、それは失敗するでしょう。コントロールするポイントが間違っています。
優れたガバナンスは、プラットフォームとデータレイヤーから始まります。それは、ロールベースおよび属性ベースの制御、アイデンティティシステムと連携した認証と認可、そしてデータ資産の明確な分離と分類から始まります。権限の付与やポリシーの適用は、事前に解決しておくべきものです。
これを適切に行えば、ユーザーが見るべきものだけを確実に閲覧できるようにしながら、アクセス権を広く展開できます。ユーザーライセンスをガバナンスの仕組みとして利用することはスケーラブルではなく、根本的なガバナンス構築作業の代わりにはなりません。
Catherine: 信頼性を高めると同時に分析コストを削減するために、組織が取れる最も迅速なアーキテクチャ上のアプローチは何でしょうか？
Nick: 最も重要なアプローチは、強固なガバナンス基盤に裏打ちされた、統合されたセマンティックレイヤーを確立することです。
それはカタログの選定から始まります。データとAIの資産をどのように管理（ガバナンス）しますか？カタログが整備されれば、そこでセマンティクスを定義し、ビジネスメトリクスを認定し、信頼できる唯一の情報源（single source of truth）を作成できます。Databricksのモデルでは、その情報源はオープンで相互運用可能であり、これ が非常に重要になります。
これを実現すると、いくつかの変化が起こります。リネージ、ガバナンス、監査可能性、認定された定義が得られるため、信頼性が向上します。不要な重複や繰り返しのETLを回避できるため、簡素化が実現します。そして、誰かが新しい質問をするたびにロジックを再構築する必要がなくなるため、IT部門の負担が軽減されます。
導入のパターンは非常に明確です。第一に、データ基盤を適切に整えること。第二に、セマンティックレイヤーを構築し、ビジネスメトリクスを認定すること。第三に、AIを重ね合わせ、評価フレームワークを使用してそれらの出力を監視および洗練させることです。この順序が重要です。NTTドコモはその素晴らしい例です。同社は、Databricksレイクハウス、Unity Catalog、およびワークフローを使用してログ分析を自動化し、手作業による処理時間を月66時間から6時間に短縮し、分析効率を90%向上させました。これは、ガバナンスと基盤がより迅速な意思決定を可能にすることを示す強力な実例です。
Catherine: APJの企業は、AI向けのデータレイヤーのマネタイズに関して、どのような点で他と異なる、あるいは迅速な取り組みを行っているのでしょうか？
Nick: APJは信じられないほど多様性に富んでいるため、非常に魅力的な市場です。国、言語、成熟度、規制環境が大きく異なる市場を相手にすることになります。しかし、共通するパターンの一つは、この地域の組織がデジタルトラ ンスフォーメーション（DX）に非常に迅速に取り組む傾向があり、地域の多くの政府が明確な国家AI戦略を策定していることです。
お客様の動向からわかるのは、多くの場合、まずガバナンスとデータ基盤のレイヤーから始め、その基盤が整うとすぐにAIネイティブなアプリケーションへと迅速に移行するということです。この順序が重要になります。
このパターンは金融サービスなどの業界でも見られ、お客様は管理されたデータレイヤーの上で分析を統合し、その後アクセスを民主化しています。
もう一つの例は、日本のネットワンシステムズです。基盤が整った後、同社は他のシステムと統合されたAI搭載のナレッジツールを構築し、サポート問い合わせへの回答時間を75%短縮すると同時に、年間10,000時間の労働時間を削減しました。
APJにおいて特にユニークな点の一つは、多言語対応という側面です。お客様は、日本語、北京語、広東語、タイ語、その他の現地言語で機能を構築しています。これは強力ですが、それを支える基礎となるデータレイヤーが適切に管理され、構造化されている場合にのみ機能します。
APJのお客様は、基盤を迅速に整え、その上でAIファーストのアプリケーション開発へと急速にシフトする傾向があります。多くの場合、彼らは他の地域よりも速いペースで進んでいます。
ニックの指摘は、技術的であると同時に戦略的でもあります。AIから価値を創造している組織は、分析、セマンティクス、ガバナンスを個別の議論として扱っていません。それらを一つの基盤として捉えています。経営幹部にとってこれが重要である理由は、その見 返りが単に優れたアーキテクチャにとどまらないからです。それは、より迅速な意思決定、インサイトへのより幅広いアクセス、および大規模環境における分析コストの削減をもたらします。AIは、断片化したデータレイヤーを修復するものではありません。むしろ、それを露呈させます。実験段階から信頼できるインテリジェンスへと最も迅速に移行する企業は、メトリクスを明確に定義し、それらを一元的に管理し、分析とAIが同じ真実に基づいて構築できるように十分にオープンにする企業となるでしょう。
効果的な運用モデルの構築について詳しく知るには、Databricks AI成熟度モデルをダウンロードしてください。
(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事
ブログを購読して、最新の投稿を受信トレイにお届けします。