AIで実現するデータドキュメント革命： 7-Elevenがメタデータの壁を越えた方法

7-Elevenのデータドキュメンテーションのジレンマ

7-Elevenのデータエコシステムは、私たちのDatabricks環境を通じて数千のテーブルと何百もの列を持つ大規模で複雑なものです。このデータは、私たちの運用、分析、および意思決定プロセスの中核を形成しています。従来、7-Elevenのデータ辞書とドキュメンテーションはConfluenceのページにあり、データチームのメンバーが手動でテーブルと列の定義を文書化してきました。

我々がDatabricks Data Intelligence Platform上のAIパワーを利用した機能、AI/BIジニー、インテリジェントダッシュボード、その他のアプリケーションを探索し始めると、重大な障害に直面しました。これらの先進的なツールは、Databricks内部に直接埋め込まれたテーブルのメタデータとコメントに大きく依存して、洞察を生成し、データについての疑問に答え、自動化された視覚化を構築します。Databricks自体で適切なテーブルと列のコメントがなければ、事実上、強力なAI機能を利用しないことになります。例えば、Genieが列定義を欠いていると、カスタム列の意味を誤解することがあり、エンドユーザーが明確化する必要があります。メタデータを充実させると、Genieの文脈理解は劇的に改善されました。これにより、列の目的を正確に認識し、自然言語クエリに対する適切なテーブルを提供し、はるかに関連性の高い実用的な洞察を生成しました。簡単に言えば、GenieのようなすべてのAIエージェントは、より良いメタデータを使用することでより思慮深く、より有用になります。

私たちの良く整理されたConfluenceのページと、「メタデータが軽量」のDatabricks環境との間にはギャップがあり、データプラットフォームへの投資の全てのポテンシャルを引き出すことができませんでした。

手動移行の不可能なスケール

当初、ドキュメンテーションをConfluenceからDatabricksへの移行を検討したとき、課題の規模がすぐに明らかになりました。数千のテーブルに数百の列が含まれており、手動移行には以下の要求があります：

• 時間がかかる労働：ドキュメンテーションのコピーと貼り付けに数百の人時間が必要
• 手動メタデータの更新：メタデータを更新するための数千の個々のSQL文を作成するか、各テーブルUIに行くこと
• プロジェクトの監督：すべてのテーブルが適切に更新されたことを確認するための追跡システムの実装
• 品質保証：人間のミスが避けられない場合に備えて検証プロセスを作成します
• 継続的なメンテナンス：両方のシステムを同期させるための継続的なメンテナンスプロトコルの確立

この努力にかなりのリソースを費やしたとしても、人間のエラーは避けられません。一部のテーブルが見落とされ、コメントが誤ってフォーマットされ、ドキュメンテーションが進展するにつれてプロセスが繰り返される可能性があります。また、作業の単調性によりドキュメンテーション全体の品質が不一致になる可能性もあります。

最も懸念されるのは機会費用でした。データチームがこの移行に集中する間、彼らはより高い価値のあるイニシアチブに取り組むことができませんでした。毎日、私たちはDatabricksのメタデータを強化するための遅延に直面しており、すでに手元にあるAI/BI機能の未利用の可能性を残していました。

インテリジェントドキュメント処理パイプライン

この課題を解決するために、7-ElevenはDatabricks Model Servingを通じて展開されたLlama 4 Maverickによって駆動される高度なエージェントAIワークフローを開発し、スマートな多段階パイプラインを通じて全体のドキュメント移行プロセスを自動化しました：

1. 発見フェーズ：エージェントはDatabricks APIを使用して全てのテーブル、テーブル名、列構造を取得します。
2. ドキュメントの取得：エージェントはConfluenceからすべての関連データ辞書ドキュメントを引き出し、潜在的なドキュメンテーションソースのコーパスを作成します。
3. 再ランキングとフィルタリング：高度な再ランキングアルゴリズムを実装することで、システムは各テーブルの最も関連性の高いドキュメンテーションを優先し、ノイズと不関連な内容を除外します。この重要なステップにより、命名規約が完全に一致しない場合でも、テーブルとその適切なドキュメンテーションを正確にマッチさせることができます。
4. インテリジェントマッチング：Databricksテーブルごとに、AIエージェントは潜在的なドキュメンテーションマッチングを分析し、名前が正確に一致しなくても文脈理解を使用してConfluenceページを決定します。
5. ターゲット抽出：正しいドキュメンテーションが特定されると、エージェントはテーブルとその列の関連説明をインテリジェントに抽出し、オリジナルの意味を保持しつつDatabricksメタデータの適切なフォーマットを提供します。
6. SQL生成：システムはDatabricksのテーブルと列のコメントを更新するための適切にフォーマットされたSQL文を自動的に生成し、特殊文字とフォーマット要件を処理します。
7. 実行と検証：エージェントはSQLの更新を実行し、MLflowの追跡と評価を通じてメタデータが正しく適用されたかどうかを検証し、結果をログに記録し、人間のレビューのために問題を浮き彫りにします。
8. モニタリングと洞察：チームはまた、AI/BI Genie Dashboardを使用してプロジェクトメトリクスをリアルタイムで追跡し、透明性、品質管理、継続的な改善を確保します。

このインテリジェントなパイプラインによって、これまで何か月もかかっていた単調でミスの多い作業が自動化され、初期移行をわずか数日で完了できるようになりました。異なる名前や構造を持つリソース間で文脈を理解し、適切に対応づけるシステムの能力が、高精度を実現する鍵となりました。

このソリューション導入後、私たちは全テーブルの90％以上のドキュメントを移行する計画を立てており、DatabricksのAI/BI機能を最大限に活用できるようになりました。当初は補助的なAIアシスタントとして使われていたものが、今では日常的なデータワークフローの中心的なツールへと進化しています。カラム単位のメタデータを取り込むことで、Genieが文脈を理解し、人間のようにデータを解釈できるようになったのです。データサイエンティストやアナリストは、AI/BI Genieを通じて自然言語でデータを探索できるようになり、ダッシュボードも豊富なメタデータを活用して、より意味のあるビジュアライゼーションやインサイトを提供しています。

この仕組みは現在も、Confluence上のドキュメント更新内容をDatabricks環境に自動反映する同期ツールとして価値を発揮し続けています。本プロジェクトは、AIエージェントを適切に設計・活用することで、企業規模のデータガバナンス課題を解決し、膨大で複雑に見えたドキュメント移行作業を、洗練された自動化ソリューションへと変革できることを示しました。

AI/BIを活用して、データから新たな価値を引き出す方法に興味がありますか？
詳しくはこちらをご覧ください。