AI時代のデータ分析のベストプラクティス

AIアシスタントに「先四半期の売上高が低下した理由」を尋ねれば、数秒で答えが得られます。数字、グラフ、そして何が起きたのかを簡潔にまとめた段落が提示されます。その答えが正しいかどうかは別問題です。また、その答えがチームの分析に基づいて行動する価値があるかどうかを決める基準にもなります。

AIにより、データ分析のプロセスは迅速かつ安価になりました。クエリの記述、テーブルの結合、データのクリーニング、グラフの作成は、以前はアナリストの1週間の大半を費やしていました。現在ではそれは一瞬で完了します。そのため、多くのチームが分析を完全に任せられるステップとして扱うようになりました。

しかし、実際のデータは慎重になるべきだと示しています。研究者たちが実際のエンタープライズデータベースから作成したベンチマークであるSpider 2.0を構築した際、テストした中で最高のAIエージェントが解決できたタスクは21.3%にとどまりました。よりきれいなデータを用いた従来の学術的ベンチマークでは、同じアプローチで91.2%が解決されていました。

それでは、AI時代におけるデータ分析のベストプラクティスとは何でしょうか？それらは、AIが代行できないワークフローの両端に集約されます。AIがデータに触れる前に、正確に問いをフレーミングすること。そして、誰もがそれに基づいて行動する前に結果を検証することです。その間のプロセスはすべて簡単になっていますが、両端の作業はより難しく、より価値のあるものになっています。

データ分析の本質はクエリではない

データ分析は、決定に関する不確実性を軽減するために存在します。誰も目的そのもののためにチャーンを分析することはありません。チームがチャーンを分析するのは、価格設定を変更するか、オンボーディングを見直すか、あるいはカスタマーサクセスのスタッフを増員するかを決定しなければならないからです。

このプロセスには5つのステップがあります。

1. 問いのフレーミング
2. データの収集と準備
3. 手法の選択と実行
4. 結果の検証と解釈
5. その意味の伝達

ステップ2と3には多くの機械的作業が含まれます。数十年の間、その反復的な作業が時間の大半を占めていたため、成果の大部分はステップ1と4にかかっていることを忘れがちでした。どれほど完璧なクエリであっても、間違った問いに答えていることがあります。どれほど美しいグラフであっても、誤解を招くことがあります。AIは、それを無視しづらくしたにすぎません。

データ分析プロセスにおいてAIが実際に引き継いだもの

AI支援による分析の中心にあるのはText-to-SQLであり、これは日常的な英語の問いをデータベースクエリに変換します。「前四半期にエンタープライズ顧客から得られた売上高はいくらか」と尋ねると、AIツールがクエリを作成してくれます。注文金額の集計、注文と顧客の紐付け、エンタープライズセグメントの絞り込み、そして適切な日付への結果の制限を行ってくれます。次に結果をグラフ化し、サマリーを下書きし、次に何を質問すべきかを提案します。

それは確かな進歩であり私たちがAIを人間の分析を拡張するコアアナリストと表現する理由がそこにあります。

しかし、売上高の問いに答える際、ツールが独自に決定した内容を見てみましょう。おそらく、ツールは「売上高」を返金前の注文金額として解釈したかもしれません。あるいは、会社が会計カレンダーを採用している場合でも、「前四半期」を7月から9月までと解釈したかもしれません。また、エンタープライズ顧客がデータ内で「ENT」ではなく「Enterprise」とラベル付けされていると仮定したかもしれません。さらに、最初に見つかったordersテーブルが正しいものだと仮定したかもしれません。これらの選択はどれも正しくありませんでしたが、警告が発生することもありませんでした。ツールはクリーンな数値を返したのです。

答えの生成にほとんどコストがかからなくなると、チームはより多くの答えを生成するようになります。間違った答えは、正しい答えと同じくらい速く洗練された状態で届き、同じように広まってしまいます。リスクは「分析を作成すること」から「それを信じること」へと移行しました。だからといって、データ準備や手法の選択が自動化されるわけではありません。ソースが現在のものであるか、結合によってレコードが二重計上されていないか、メジャーが問いに適合しているかを誰かが判断しなければなりません。AIはパスの多くを処理しますが、各ステップにおける判断は依然として人間が行うものです。

実際のエンタープライズデータは問題をさらに複雑にします。学術用のテストセットは整理されたデータベースを使用しています。しかし、企業には何百ものテーブル、難解な列名、そして同じ指標の3つのバージョンが存在します。その複雑さこそがSpider 2.0が捉えたものであり、スコアが急落した理由です。エンタープライズ分析において難しかったのはSQLではなく、企業のコンテキストなのです。

問いのフレーミングが現在最も困難なステップである

答えのコストが低い場合、問いが重要な意味を持ちます。曖昧な問いをAIに投げかけても、失敗に終わることはめったにありません。少し違った問いに対する自信に満ちた答えが返ってくるだけで、誰もそれに気づきません。

適切にフレーミングされた分析的な問いは、5つの要素を満たします。

• それがどの決定に役立つかを明確にする。答えによって、誰がどのような行動を変えるでしょうか？
• 用語を定義する。チャーン、アクティブ顧客、売上高とは具体的に何を指すでしょうか？
• 母集団と時間枠を設定する。どの顧客を対象とし、どの期間のデータを用い、どのような除外条件がありますか？
• ベースラインを述べる。前四半期、前年同期、あるいは目標値のどれと比較しますか？
• 計画を変更する基準を示す。どのくらい大きな結果が出れば行動を起こす価値がありますか？

「なぜ売上高が減少したのか？」という問いと、「既存の北米の顧客からの認識された売上高が、前年同期と比較して今四半期にどのように変化したか、またどの顧客セグメントが最も大きく貢献したか」という問いを比較してください。後者のバージョンでは、データを処理する前に、指標、母集団、地域、比較、ブレイクダウンが決定されています。これにより、AIが推測で埋めなければならない余地が大幅に減ります。

優れたAIツールはこの点で役立ちます。以前に書いたように、ユーザーが曖昧な質問をした場合、「AIは思い込みをするのではなく明確化を図るべきです」。しかし、ツールは自分が気づいた曖昧さについてしか質問できません。実際にどのような決定を下そうとしているのかを把握する方法はないのです。さらに悪いことに、流暢さがあるために、不十分にしか指定されていない答えが実際よりも権威あるものに感じられてしまいます。

これにより、フレーミングはアナリストの職務記述書に明確に位置づけられます。プロンプトを分析仕様書として扱ってください。AIに機械的な作業を依頼する前に、決定、用語、スコア、成功基準を定義します。最も価値のある分析作業の一部は、最初のクエリが実行される前に発生します。それは、ステークホルダーと共に座り、決定事項を明確にし、データが答えられる言葉で質問を記述することです。

データ分析手法を問いに適合させる

鋭い問いであっても、間違った方法で答えを出せば間違った結果につながります。分析的な問いは4つの大まかなファミリに分類され、これらはビジネスアナリティクスの4つのタイプに密接に対応しており、それぞれ異なる種類の手法を必要とします。

AIツールは、計算が最も簡単なものを選びがちです。それは通常、記述または相関関係を意味し、そこで4つのよくある間違いが入り込みます。

因果関係と誤認される相関関係。特定機能を使用する顧客はチャーンが少ない場合があり、AIの要約ではその機能がチャーンを減少させると結論付けられるかもしれません。本当にそうかもしれません。あるいは、最も熱心な顧客がより多くの機能を使用しており、その機能とは関係のない理由でチャーンが少ないだけかもしれません。機能ランダムなグループに展開して結果を比較するような実験だけが、その違いを見分けることができます。これは、機能しないものにリソースを向けてしまうため、分析において最もコストのかかる間違いです。

本当のストーリーを隠してしまう平均値。2つのオンボーディングフローを想像してください。フローAは中小企業の間でコンバージョン率が高く（25%対20%）、エンタープライズ顧客の間でも高くなっています（60%対50%）。しかし、どちらのレートでもコンバージョン率が高いエンタープライズ顧客が多く割り振られたという理由で、フローB全体では47%対28%と、はるかに優れているように見えます。統計学者はこれをシンプソンのパラドックスと呼びます。統合された数値のみを報告するAIツールは、効果の低いフローを推奨してしまうでしょう。

間違ったベースライン。小売売上高は毎年12月に急増するため、11月比で40%増加したとしても、ほとんど意味がありません。重要となる比較対象は前年同月であり、それを選択することはフレーミングの決定です。

範囲のない予測。短いトレンドラインを延長すると、正確に見えるが実際にはそうではない予測が生成されます。有用な予測は範囲を示し、その背後にある前提条件を明記します。また、誰もそれに頼る前に、モデルがこれまでに見たことのないホールドアウト期間に対してテストされるべきです。

AIは、これらすべてのプロセスにおいて有用なパートナーとなり得ます。代替案の提案、前提条件の説明、追加のチェックの提案を行ってくれます。しかし、「AIがそれを選択した」ということは方法論的な正当化にはなりません。適切な手法の選択は、誰もが同じ意味に解釈できる入力という、より基本的な要素に依存し続けています。

ガバナンスされた定義がAI分析の正しさを左右する理由

3つのチームに前四半期の売上高を尋ねると、3つの異なる数値が返ってくることがあります。財務部門は返金を除いた純売上高を報告し、営業部門は予約件数を集計します。マーケティング部門は30日以内にログインしたユーザーをアクティブ顧客と定義する一方、プロダクトチームは90日としています。それぞれのダッシュボード内では一貫性が保たれていますが、それらを合わせると食い違いが生じ、会議はどの数値が正しいのかという議論になってしまいます。

AIはこの問題をさらに悪化させます。「売上高」という列があるだけでは、それが予約売上、請求売上、実現売上、あるいは純売上高のどれを指しているのかモデルには分かりません。質問に答えるため、AIツールはいずれかを選択しなければなりません。定義が個々のダッシュボードやレポートの中にバラバラに存在している場合、ツールは推測するか、最初に発見した矛盾を引き継ぐことになります。実質的に、AIは個々の質問に答えながら、組織間の意見の不一致を自力で解決せざるを得ない状況に置かれています。その結果、異なるユーザーがそれぞれ内部整合性は取れているものの、異なる指標に基づいて構築された回答を受け取ることになります。

その解決策がセマンティックレイヤーです。これは、ビジネス用語の意味をデータ上で定義するための単一の場所であり、すべてのダッシュボードやAIツールが同じ定義を使用できるようにします。それぞれの用語の意味と範囲が明確である限り、各チームは独自の正当なビューを維持し続けることができます。Gartnerはこの重要性が今後非常に高まると予想しています。2027年までに、AIに対応したデータにおいてセマンティクスを優先する組織は、エージェント型AIの精度を最大80%向上させ、コストを最大60%削減できると予測しています。

この効果は、単一のプロジェクトでも確認できます。Databricksのウォークスルーでは、あるチームがマーケティングデータセットに対して、対話型分析ツールであるAI/BI Genieを設定し、13のベンチマーク質問を用いてテストを行いました。生データテーブルのみの状態では、Genieはどの質問にも正しく答えることができませんでした。テーブルの説明文の追加、テーブル間の結合方法を示すキー、そして主要列の実際の値のリストを追加したことで、精度は54%に向上しました。カスタム指標に対するクエリの例を追加したところ、精度は77%に達しました。テストキャンペーンの除外や会計カレンダーの利用といった文書化されたビジネスルールを適用したことで、精度は100%に達しました。モデル自体は0%の時点から100%の時点までまったく同じものであり、精度向上の要因はすべてコンテキスト（文脈）でした。

私たちがデータプラットフォーム自体にガバナンスとビジネス上の意味を組み込んでいるのはそのためです。Databricks Data + AI Platformでは、その役割をUnity Catalog Business Semanticsが担います。これは、指標、ビジネスルール、定義を1つのダッシュボードに閉じ込めることなく、分析やAIの体験全体で再利用できるように設計されています。この共有されたコンテキストにより、AI/BI Dashboards、Genie、SQL、ノートブック、エージェントをサポートできる一方、ガバナンスコントロールによって各ユーザーがアクセスできるデータやコンテキストを制御できます。AIが生成するミスは見栄えが良いため完了しているように見えがちであり、このギャップが問題となります。洗練されたチャートは、欠陥のある分母や、財務部門が使用しているものとは異なる定義を隠してしまうことがあります。

ガバナンスは、信頼性の向上にもつながります。Preciselyとドレクセル大学のレボウ・カレッジ・オブ・ビジネスが2026年のレポートに向けて実施した505人のデータリーダーを対象とした調査では、ガバナンスプログラムを導入している組織のうち71%が自社のデータに対して高い信頼を寄せていると回答しました。これに対し、未導入の組織では50%にとどまりました。

アクションを起こす前にAI生成による分析を検証する方法

ガバナンスされた定義があれば、回答の妥当性を確認できるようになります。しかし、確認作業は依然として必要であり、多くの組織ではそれが行われていません。マッキンゼーの2025年3月のAI動向調査によると、生成AIを使用している組織の回答者のうち、従業員が使用前のすべての出力を確認していると答えた割合は27%でした。また、確認される割合が20%以下であると答えた割合も同程度でした。

検証は、意図を持って行われる限り、迅速に行うことができます。次の7つのチェックにより、ほとんどの問題を発見できます。

1. 質問を再提示し、定義を確認する。 指標の正確な内容は何であり、どのレコード、期間、除外事項が適用されるかを確認します。ここが不明確な場合、分析の検証を行うことはできません。
2. ソースを確認する。 データが信頼できるソースからのものであり、最新であり、質問者にとって適切であることを確認します。
3. ロジックを読み解く。 生成されたクエリのフィルター、結合、集計レベルを確認し、行数、null値、重複を確認します。突然の300%の急上昇は、ブレークスルーというよりも結合の重複である場合がほとんどです。
4. 既知の数値と照合する。 重要な合計値を、認定された指標、信頼できるレポート、または独立した計算結果と突き合わせます。差異がある場合は、先に進む前にその原因を突き止めます。
5. 細部に分解して確認する。 主要なセグメント全体で結果が一貫しているか確認します。これは、スライド資料を作成する前にシンプソンのパラドックスを検知する方法です。
6. 代替案をテストする。 別のもっともらしい手法でも同じ結論に至るでしょうか？交絡因子によってそのパターンが説明できないでしょうか？
7. 作業の足跡を残す。 ソース、クエリ、定義、前提条件、制限事項を保存し、他の人でも結果を再現できるようにします。

重要度に応じてかけられる労力を調整します。週次のトラフィックサマリーであればロジックをざっと確認する程度で十分ですが、価格設定の決定には完全なリストが必要です。また、AIに自信があるかどうかを尋ねることは、検証の代わりにはなりません。

適切なツールを使用することで、これらのチェックをルーティン化できます。例えば、Genieでは各回答にたどり着いた経緯が表示されるため、いつでもロジックを確認することができます。

分析リーダーがチームに構築すべき能力

1人の優秀なアナリストがチェックを行ってもスケールしません。分析部門の責任者にとって真の課題は、チーム全体のオペレーションにフレーミング（枠組みの構築）と検証を組み込むことです。

それは、アナリストの仕事に対する捉え方を再定義することから始まります。アナリストが回答の作成に費やす時間は減り、AIが優れた出力を生み出すためのコンテキストをキュレーションする時間が増えます。実務的には、定義の維持、Genieスペースの設定、ベンチマーク用の質問の作成、フラグが立てられた結果のレビューなどが含まれます。この役割は、初稿の執筆者というよりも編集者のそれに近づいていきます。最も優秀なアナリストは、ビジネス上の意思決定、データ、手法、そしてAIシステムの間を繋ぐ翻訳者となります。

それに伴い、求められるスキルも変化します。

• ビジネスのステークホルダーと共に質問の枠組みを定義するスキル
• 相関関係が十分でない状況を把握できる能力を含む、統計的および実験的な推論スキル
• 不自然な数値を見抜くのに十分なドメイン知識
• データ粒度、結合、品質、リネージに関するデータリテラシーと、共通定義のスチュワードシップ
• AIを使用して代替案を模索し、信頼できる過去の事例と比較してその出力を評価するスキル
• 不確実性を経営陣に分かりやすい言葉で説明するスキル

多くのチームでは、まだそこに至っていません。先ほどのPreciselyとドレクセル大学レボウ校の調査でも、データリーダーの51%がAI準備における最重要課題としてスキルを挙げており、「非常に準備ができている」と答えたのはわずか38%でした。

リーダーは、チームの分析が信頼に値するかどうかをどのように見極めればよいでしょうか。以下の5つの兆候に注目してください。

• 共有された分析結果の修正が必要になる頻度
• 定義の不一致が原因でチーム間で意見が対立する頻度
• 古くなったソースや未認定のソースが重要な業務で使用されているかどうか
• インパクトの大きい結果に対して、文書化された責任者が明確になっているかどうか
• その背景にあった分析が誤っていたために、意思決定が覆されることがないか

AI支援による作業においては、信頼できる正解を持つ代表的な質問のセットを維持し、ユーザーやビジネスドメインを越えて結果を定期的に評価してください。利用者が広がるほど、重要性はさらに高まります。AI/BIはシートごとのライセンス費用なしでプラットフォームに組み込まれているため、ガバナンスされた分析をデータチームの枠を越えて広く行き渡らせることができます。何千人もの人々が質問できるようになれば、厳密性は少数のアナリストに頼ることはできず、システム自体に組み込まれている必要があります。

AI時代のデータ分析における5つのベストプラクティス

1. ツールではなく、意思決定から始める。 AIに回答を求める前に、何を決定する必要があるのか、誰がその決定に責任を持つのか、そしてどのような証拠があれば方針を変更するのかを定義します。
2. ビジネス上の意味を明確にする。 指標、期間、ビジネスルールについては共通の定義を使用します。ある用語が2つの異なる意味に解釈される可能性がある場合は、AIに推測させるのではなく、その違いを文書化します。
3. 目的に合った手法を選ぶ。記述、セグメンテーション、予測、因果関係の設計は、それぞれ異なる主張を裏付けます。一番簡単な手法に結論を引っ張られないようにしましょう。
4. 根拠のつながりを検証する。データソース、定義、ロジック、前提条件を確認します。主要な結果を既知の信頼できるリファレンсと比較し、他の妥当な選択肢を検討しても結論が変わらないか確認します。
5. 基準を下げずにAIを活用して分析力を高める。AIには定型作業を任せて活用の幅を広げつつ、質問、根拠、意思決定については人間が責任を持ち続けます。

よくある質問 (FAQ)

データ分析とは何ですか？また、ビジネスの意思決定においてなぜ重要ですか？

データ分析とは、データを使用して意思決定の不確実性を減らすプロセスのことです。意思決定の質は、その背後にある質問と根拠の質を超えることがめったにないため、重要となります。

データ分析プロセスの主なステップは何ですか？

ステップは5つあります。質問の設定、データの準備、手法の適用、結果の検証、そして結果の意味の伝達です。現在、AIはこれらの中間ステップを最も大幅にスピードアップさせます。

データ分析で最もよくある間違いは何ですか？

ほとんどの間違いは最終的なグラフを作成する前に起こります。例えば、曖昧な質問、一貫性のない定義、代表性のない母集団、因果関係と混同された相関関係、レコードを二重計上してしまう不適切な粒度での結合などです。AIはこれらを加速させることができますが、その間違いは一見して完成しているように見えることがよくあります。

AIが生成したデータ分析をどのように検証しますか？

まずは質問を言い換え、定義を確認することから始めます。次に、ソースを確認し、生成されたクエリを読み、主要な合計値を既知の信頼できるリファレンスと突合し、他の妥当な選択肢の下でも結論が維持されるかをテストします。

AIはデータアナリストに取って代わるのでしょうか？

AIは分析における機械的な作業の多くを引き受けています。しかし、判断を下すのは人間です。質問を設定し、手法を選び、定義を管理し、結果を検証するアナリストは、その結果としてより価値のある存在になっています。

判断力が新たなボトルネックとなる

AIにより、アナリティクスチームはこれまでクエリの記述やデータのクレンジングに費やしていた時間を大幅に取り戻すことができるようになりました。AIを最も活用できているチームは、その時間をワークフローの両端（一方では鋭い質問、もう一方ではより厳格なチェック）に費やしています。また、全員が共有する定義に基づいて構築を進めています。

それはまさに、AI/BIがサポートするように設計されている分析の形です。統制された自社データに基づき、それを必要とする誰もが利用できる、対話形式の回答を実現します。

より良い分析は、適切な質問から始まり、信頼できる答えで終わります。Databricks AI/BIがどのように組織内で統制された定義に基づいて自然言語分析を行い、すべてのダッシュボードや追加の質問で同じ指標が一貫して使用されるようにしているかをご覧ください。AIがアナリストの役割をどのように変えているかについてより広い視野で知りたい場合は、AIがデータ分析をどのように変革しているかをお読みいただき、現代のアナリティクスワークフローを段階的に確認してください。

(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事