Databricks for Good and Virtue Foundation: 72カ国で医療ボランティアを重要な医療サービスに繋ぐための提携

はじめに

Virtue Foundationは、グローバルヘルスケアの提供と、世界的な慈善医療のための効率的な市場の創出に焦点を当てた非営利団体です。これまでに、ガーナとモンゴルに特に重点を置き、50,000人以上の患者に医療を提供してきました。この市場の基盤となっているのは、VF Matchを通じたグローバルヘルスケア施設のデータキュレーションです。VF Matchは、72の低所得国および低中所得国で医療専門家とボランティアの機会を結びつけるプラットフォームです。Databricks for Goodは、2024年からVirtue Foundationと緊密に連携し、AIを活用してこれらの国々のデータを集約し、実用的なものにしています。

初期の概念実証（POC）では、LLMが多様なWebデータソースから構造化情報を抽出し、医療インフラの地図、そして最も重要なこととして、資源不足地域のサービスギャップを作成できることが示されました。しかし、この機能を拡張し、本番環境に移行するには多くの課題がありました。その最初のイテレーション以来、私たちはDatabricksベースのプラットフォームを構築し、POCを世界中の何千もの医療施設や非営利団体からデータを集約する本番環境対応のシステムへと変革しました。

この記事では、Virtue Foundationが医療ボランティアコミュニティをこれらの国々の重要なニーズとさらにマッチングできるようにするために、以前の作業をどのように改善したかについて説明します。

基盤の構築：72カ国のヘルスケアデータ

VF Matchの核となるのは、Foundational Data Refresh (FDR)です。これは、さまざまなWebベースのソースからゼロから構築された、包括的なヘルスケア施設および非営利団体のデータセットです。私たちは、世界中の72の低所得国および低中所得国からデータを体系的に取り込み、更新しています。

この更新を支える2つの補完的なデータソース：

• Overture Maps：MetaとMicrosoftによるオープンソースの地理空間データセットで、ヘルスケア施設の信頼できる場所を提供します。
• Bright Data：インターネット全体からリアルタイム情報を取得する産業用Webスクレイピングインフラストラクチャです。

FDRの中心は、OpenAIのGPTモデルを搭載した情報抽出パイプラインです。本番環境の保証を伴い、2,500万以上のWebページをLLMを通じて処理するには、従来のLLM推論パイプラインの再考が必要でした。ワンショット抽出を試みるのではなく、私たちのパイプラインはタスクをターゲットを絞ったステップに分割します。医療関連性の分類、組織タイプ（医療施設またはNGO）の識別、専門分野、設備、手順の抽出です。

図1：Foundational Data Refresh (FDR) の主要ステップ。">

このアプローチにより、トークン消費量を劇的に削減しつつ、各モデルの呼び出しを狭く高精度なタスクに集中させます。DatabricksとApache Sparkは、スクレイピングされたデータを効率的にオーケストレーションおよび並列化し、数千のエグゼキューターにワークロードを分散させ、高スループットのLLM推論を可能にするために使用されます。

このパイプラインをスケーラブルで本番環境に対応させるためのいくつかの重要な機能：

• 拡張可能なデータモデリング：各ステップのデータはスタースキーマで保存され、ダウンストリーム分析を簡素化し、クエリパフォーマンスを向上させます。
• ステータスベースのチェックポイント処理：すべてのレコードはその処理状態を追跡し、高価なLLM呼び出しを伴う行を再処理することなく、任意の時点からパイプラインを再開できるようにします。
• 設定可能な抽出レジストリ：各抽出方法は、システムプロンプトを指定する構造化オブジェクトによって制御され、抽出ロジックをモジュール化、再現可能、かつ拡張可能にします。
• スケーラブルな分散処理：このシステムは、並列処理にSpark、大規模なパフォーマンスにPhoton、本番環境対応のオーケストレーションを使用して、偏りのあるマルチテラバイトのワークロードを処理します。

これらの保証は、条件分岐、並列実行、インテリジェントな再試行ポリシーを備えた15以上の相互依存タスクをオーケストレーションするLakeflow Jobsを通じて強制されます。その結果、医療専門家の精度でヘルスケア施設データを大規模に処理するシステムが実現しました。

大規模なエンティティ解決

LLMを使用して施設および非営利団体のデータがスクレイピングされ抽出されると、古典的な課題であるエンティティ解決が浮上します。同じ施設が、名前のバリエーション、一貫性のない住所、または連絡先の詳細の欠落を伴って、複数のデータソースに現れることがあります。従来の重複排除は、データが乱雑なこれらのシナリオでは機能しないため、オープンソースの確率的レコードリンケージフレームワークであるSplinkを使用します。IEステップで取得した情報を使用して、Splinkは電話番号、番地などのフィールド全体で重み付けされた比較を通じて一致ペアを評価します。その結果、施設ごとに統一されたキーが生成され、エンドユーザーが各医療施設およびNGOについて信頼できる単一のレコードを見られるようになります。

図2：Splinkによるエンティティ解決のルールセット例。">

数千のヘルスケア施設および非営利団体にわたる確率的マッチングを実行すると、テラバイト規模で発生する古典的なパフォーマンスのボトルネックが明らかになりました。レコードリンケージの核となるのはペアワイズ比較であり、これは本質的に偏りのあるワークロードを生み出します。一般的な比較は巨大なパーティションを生成する一方で、他のほとんどははるかに小さいままです。初期の実行ではこれが痛いほど明らかになり、あるSparkパーティションは30分間実行され、中央値は52秒で完了しました。これは、ジョブパフォーマンスを低下させるストラグラー（「最後のレデューサーの呪い」）の典型的なケースです。Databricksのベクトル化クエリエンジンであるPhotonを有効にすることで、最悪のデータパーティションが30分から約2分に短縮され、15倍の改善となりました。

VF Agent：自然言語とヘルスケアデータの融合

将来を見据え、私たちは専門家が自然言語を使用してデータを分析できるエージェントのプロトタイプを開発しました。LangGraphで構築されたマルチエージェントアーキテクチャを使用し、Databricks Model Serving、AI Search、およびGenieを活用しています。

図3：VF Agent：プロセスフロー図">

上記の図に示すように、Medical Specialty Extractorはユーザーの言語を標準化された医療用語に変換し、それがMulti-Agent Supervisorに渡されます。クエリの意図と複雑さに基づいて、AI Search Agent（施設検索と発見）またはGenie Agent（構造化データに対する分析クエリ）のいずれかにルーティングされます。

まとめ

ヘルスケア専門家は、最新の機会をより迅速に発見し、自身の専門分野に合ったものを見つけ、世界中の何千もの施設に関するグローバルデータにアクセスできるようになりました。Virtue Foundationの概念実証から本番環境への道のりは、高度なAIシステムと統合データプラットフォームが組み合わされたときに何が可能になるかを示しています。

最終的な結果は、医療ボランティアが最も必要とされている場所を明らかにする、ヘルスケアインフラのグローバルな視点です。

このプロジェクトについてさらに詳しく知りたい場合は、以下をご覧ください。

- Databricks x Virtue Foundation プロジェクト概要 - YouTube

- UN Bloomberg インタビュー (YouTube) - 38:00頃

- ビデオ証言：Bright Initiative x Virtue Foundation x Databricks

その他のDatabricks for Goodプロジェクトについては、以下をご覧ください。

• Virtue Foundation（フェーズ1）
• Learn to Be
• GO Project
• MapAid

(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事