Databricks for GoodとVirtue Foundation：72カ国で医療ボランティアを重要な医療サービスにつなぐためのパートナーシップ

はじめに

Virtue Foundationは、グローバルヘルスの提供と、世界的な慈善医療のための効率的なマーケットプレイスの構築に注力する非営利団体です。これまでに、ガーナとモンゴルを特に重点的に、5万人以上の患者に医療を提供してきました。このマーケットプレイスの基盤となっているのは、72の低・中低所得国のボランティア機会と医療専門家をつなぐプラットフォームであるVF Matchを通じた、世界の医療施設データのキュレーションです。Databricks for Goodは、2024年からVirtue Foundationと緊密に連携し、AIを活用してこれらの国々のデータを集約し、実用化できるように取り組んでいます。

初期の概念実証（POC）では、LLMが異種のWebデータソースから構造化情報を抽出し、医療インフラのマップ、そして最も重要なこととして、リソースが不足している地域におけるサービスのギャップをマッピングできることが示されました。しかし、この機能をスケールさせ、本番環境に移行することには多くの課題がありました。その最初のイテレーション以来、私たちはDatabricksベースのプラットフォームを構築し、POCを世界中の何千もの医療施設や非営利団体からのデータを集約する本番グレードのシステムへと変革させました。

本記事では、Virtue Foundationが医療ボランティアのコミュニティとこれらの国々の差し迫ったニーズをさらに効果的にマッチングできるよう、私たちが以前の取り組みをどのように改善したかをご紹介します。

基盤の構築：72カ国の医療データ

VF Matchの核心は、Foundational Data Refresh（FDR）です。これは、さまざまなWebベースのソースからゼロから構築された、包括的な医療施設および非営利団体のデータセットです。私たちは、世界中の72の低・中低所得国からのデータを体系的に取り込み、更新しています。

このデータ更新は、相互に補完し合う2つのデータソースによって支えられています。

• Overture Maps：MetaとMicrosoftによるオープンソースの地理空間データセットで、医療施設の信頼性の高い位置情報を提供します。
• Bright Data：インターネット全体からリアルタイムの情報を取得する、産業用Webスクレイピングインフラストラクチャです。

FDRの核心は、OpenAIのGPTモデルを活用した情報抽出パイプラインです。本番環境での動作を保証しながら、LLMを通じて2,500万ページ以上のWebページを処理するには、従来のLLM推論パイプラインを再考する必要がありました。ワンショットでの抽出を試みるのではなく、私たちのパイプラインはタスクを、医療への関連性の分類、組織タイプ（医療施設かNGOか）の特定、そして専門分野、設備、手順の抽出という、的を絞ったステップに分割しています。

このアプローチにより、トークン消費量を劇的に削減しながら、各モデルの呼び出しを限定された高精度なタスクに集中させることができます。DatabricksとApache Sparkを使用して、スクレイピングされたデータを効率的にオーケストレーションおよび並列処理し、数千のExecutorにワークロードを分散して、高スループットのLLM推論を実現しています。

このパイプラインをスケーラブルで本番環境に対応できるものにするために、いくつかの重要な機能が備わっています。

• 拡張可能なデータモデリング：各ステップのデータはスター・スキーマで保存され、ダウンストリームの分析を簡素化し、クエリのパフォーマンスを向上させます。
• ステータスベースのチェックポインティング：すべてのレコードが処理状態を追跡するため、コストのかかるLLM呼び出しを伴う行を再処理することなく、任意のポイントからパイプラインを再開できます。
• 構成可能な抽出レジストリ：各抽出メソッドはシステムプロンプトを指定する構造化オブジェクトによって制御され、抽出ロジックをモジュール化、再現可能、かつ拡張可能にします。
• スケーラブルな分散処理：Sparkによる並列処理、Photonによる大規模環境でのパフォーマンス、そして本番グレードのオーケストレーションを使用して、偏りのあるマルチテラバイト規模のワークロードを処理します。

これらの保証は、条件分岐、並列実行、インテリジェントな再試行ポリシーを備えた15以上の相互依存タスクをオーケストレーションするLakeflow Jobsを通じて適用されます。 その結果、医療専門家のような精度で、医療施設データを大規模に処理するシステムが実現しました。

大規模なエンティティ解決

LLMを使用して施設や非営利団体のデータをスクレイピングして抽出すると、古典的な課題である「エンティティ解決」が発生します。同じ施設が、名前の表記揺れ、不一致な住所、または連絡先の欠落などにより、複数のデータソースにまたがって表示されることがあります。データが乱雑であるため、従来の重複排除はこのようなシナリオでは機能しません。そこで、オープンソースの確率的レコードリンケージフレームワークであるSplinkを使用します。情報抽出（IE）ステップで取得した情報を使用して、Splinkは電話番号や住所などのフィールドにわたる重み付け比較を通じて、一致するペアを評価します。その結果、施設ごとに統一されたキーが生成され、エンドユーザーは各医療施設やNGOに対して1つの信頼できるレコードを確認できるようになります。

何千もの医療施設や非営利団体にわたって確率的マッチングを実行すると、テラバイト規模で発生する古典的なパフォーマンスのボトルネックが明らかになりました。レコードリンケージの核心はペアワイズ比較であり、これにより本質的に偏りのあるワークロードが発生します。一般的な比較では巨大なパーティションが生成される一方で、他のほとんどのパーティションは非常に小さいままです。初期の実行ではこれが痛いほど明らかになり、中央値が52秒で完了したのに対し、1つのSparkパーティションの実行に30分かかりました。これは、ストラグラー（「最後のレデューサーの呪い」）がジョブのパフォーマンスを低下させる典型的な例です。Databricksのベクトル化クエリエンジンであるPhotonを有効にすることで、最悪の場合のデータパーティションの処理時間が30分から約2分に短縮され、15倍の改善が達成されました。

VF Agent：自然言語と医療データの融合

将来を見据えて、私たちは専門家が自然言語を使用してデータを分析できるようにするエージェントのプロトタイプを開発しました。LangGraphで構築されたマルチエージェントアーキテクチャを使用し、Databricks Model Serving、AI Search、およびGenieを活用しています。

上の図に示すように、Medical Specialty Extractorはユーザーの言語を標準化された医療用語に変換し、それがMulti-Agent Supervisorに渡されます。クエリの意図と複雑さに基づいて、AI Search Agent（施設の発見と検索）またはGenie Agent（構造化データに対する分析クエリ）のいずれかにルーティングされます。

まとめ

医療専門家は、最新のボランティア機会をより迅速に発見し、自身の医療専門分野に一致するものを見つけ、世界中の何千もの施設に関するグローバルデータにアクセスできるようになりました。概念実証から本番環境への移行に至るVirtue Foundationの歩みは、高度なAIシステムと統合データプラットフォームを組み合わせることで何が可能になるかを示しています。

最終的な成果は、医療インフラのグローバルな全体像であり、医療ボランティアが最も必要とされている場所を明らかにすることです。

このプロジェクトの詳細については、以下をご覧ください。

- Databricks x Virtue Foundation プロジェクト概要 - YouTube

- UN Bloomberg インタビュー（YouTube） - 38:00頃から

- ビデオ体験談：Bright Initiative x Virtue Foundation x Databricks

その他のDatabricks for Goodプロジェクトの詳細については、以下をご覧ください：

• Virtue Foundation（フェーズ1）
• Learn to Be
• GO Project
• MapAid

(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事