世界銀行グループが共有知を通じて貧困撲滅にDatabricksを活用する方法

世界銀行グループの使命は、地球規模での共有された繁栄を向上させることです。その使命の達成は、膨大な量のデータを実行可能な洞察に変えることに依存しています。ナレッジリポジトリには数千万件のドキュメントがあり、毎月300万件の出版物がダウンロードされているため、課題は、そのナレッジを大規模に見つけやすく、利用しやすくすることであり、チームがより大きなグローバルインパクトを推進できるようにすることです。 そのために、世界銀行グループはDatabricks上に統合されたデータおよびAIプラットフォームを構築し、初めて構造化された運用データと非構造化ドキュメントリポジトリを統合し、手動での調査を大幅に削減しながら、より情報に基づいた意思決定を可能にしました。 分断されたデータがインサイトの提供を遅らせる 世界銀行グループは、これまで統合されたことのない構造化および非構造化データストリームの両方を運用しています。構造化された側面では、レガシーオンプレミスデータベースは、進化するレポート要件に追いつくことを困難にしています。非構造化された側面では、研究者やアナリストは、基本的な質問に答えるために、膨大なドキュメントライブラリを手動で検索する必要がありました。 「1960年にインドで実行されたプロジェクトを探すにはどうすればよいですか？その際の落とし穴は何ですか？うまくいったことは何ですか？」と、世界銀行グループのデータおよびAIリーダーであるSuresh Kaudi氏は述べています。「私たちは何も知りませんでした。図書館員や研究者は、数多くのドキュメントを検索し、それらを読み解き、意味を理解しようとしていました。」 そのナレッジのボトルネックは、意思決定を遅らせ、組織がグローバルポートフォリオ全体で学んだ教訓を引き出す能力を制限していました。 Databricksでデータを民主化する 世界銀行グループは、データプラットフォームの近代化と、レガシーシステムから構造化コンテンツを移行するという集中的な目標を持ってDatabricksの旅を始めました。その取り組みが成熟するにつれて、チームはDatabricksをこの課題を解決できるプラットフォームとして特定しました。 Kaudi氏が言うように、Unity Catalogはチームにとって転換点でした。「Unity Catalogは私たちにとってゲームチェンジャーでした。それは私たちがデータを管理できる単一の統合インターフェイスでした」とKaudi氏は述べています。そこから、Databricks Volumesは、構造化データと同じプラットフォームで非構造化ドキュメントコンテンツを管理するためのスケーラブルなパスをチームに提供しました。Genieは、SQLを記述したり技術チームに依存したりすることなく、ビジネスユーザーが構造化データに対して自然言語で質問できるようにしました。Databricks AI Gatewayは、システムがより複雑になるにつれて、エージェントアクセス、コスト管理、セキュリティに対する集中管理を提供しました。 重要なテクノロジーが整ったことで、世界銀行グループは、データ民主化のビジョンを実現するソリューションの実装の最も影響力のある段階を開始する準備ができました。世界銀行グループの実装は段階的に進化し、各段階は前の段階の上に構築されました。チームは、運用データをDatabricksに移行し、Unity Catalogを使用して構造化コンテンツ全体でガバナンスを確立することから始めました。これは、組織のコーポレートスコアカード、つまり公開されているアカウンタビリティツールの基盤を築きました。 「それはアウトプット駆動型というよりも、アウトカム駆動型です」とKaudi氏は述べています。「どれだけの道路を敷設したと言う代わりに、どれだけの雇用を生み出したか、どれだけの接続性が確立されたかを測定し始めました。」初期のGenie展開で構造化クエリの結果が一貫しない場合、チームはメトリクスレイヤーを実装して決定論的な回答を得られるようにしました。これは、財務および運用レポートにとって重要です。 「構造化されたコンテンツでは、回答が必要です。私の銀行残高はいくらですか？毎回異なる数字を見たくありません」とKaudi氏は説明します。次に、チームは非構造化コンテンツに取り組みました。Databricks Volumesとベクトル検索を使用して、プロジェクトドキュメントをインデックス化し、自然言語クエリに応答できる検索拡張生成（RAG）機能を構築し、手動検索を節約しました。 これにより、新たな問題が発生しました。各Genieインスタンスは特定のメトリクスレイヤーに対して構築されているため、データドメインごとに個別のGenieが必要です。たとえば、「インドでの私のコミットメントと私の行動は何ですか？」のように、2つのドメインにまたがる質問では、2つの別々のGenieにクエリを実行する必要があります。 その解決策は、その上にエージェントレイヤーを構築することでした。世界銀行グループは、インテント分類子、ドメイン分類子、およびクエリ分解子によってバックアップされた単一のインターフェイスを構築しました。質問が入力されると、インテント分類子が質問の内容を特定し、ドメイン分類子がどのエージェントを呼び出す必要があるかを判断し、クエリ分解子が複雑な複数部分の質問をコンポーネントに分解して、それぞれを適切な場所にルーティングします。結果は単一の応答として組み立てられて返されます。 これは、従来のマルチティアWebデザインに似ており、フロントエンド、アプリケーションレイヤー、ビジネスロジック、データベースがあり、AIコンテキストに合わせて更新されています。ユーザーは1つのインターフェイスを見ますが、その背後では、ドメイン固有のGenieエージェントがいくつでも実行されている可能性があり、ドキュメント検索用のRAGエージェントや結果の表示方法を制御するビジュアライゼーションエージェントと並んでいます。クエリがバーチャートとしてデータを返し、ユーザーが代わりにパイチャートを希望する場合、ビジュアライゼーションエージェントは、基になるクエリを再実行することなくそれを処理します。...