DatabricksとGlobal Orphan Projectで知見をインパクトに

Databricksは、子供たちが組織的な悲劇に陥るのを防ぐためのリソースやコミュニティと家族をつなぐ非営利団体であるGlobal Orphan (GO) Projectと提携しました。

社会的インパクトのためにプロボノでプロフェッショナルサービスを提供するイニシアチブであるDatabricks for Goodを通じて、DatabricksチームはGO Projectのデータ基盤の強化、およびミッションとインパクトの加速を支援しました。

データの課題と制限

2025年、GO Projectの現地のパートナーは、米国の43州で約12万2,000人、また海外の6か国で5万3,000人の子どもたちを支援しました。米国では1,600以上のアクティブなパートナー機関がリクエストを送信し、8,200の対応チームがほぼリアルタイムで対応する中、データは複数のシステムにまたがって格納されていたため、レポート作成が課題となっていました。その結果、「コストはいくらかかるか（つまり、財務データ）、各リクエストを処理するために（つまり、プラットフォームデータ）か？」といった重要な問いは、自動化されたレポートシステムの外にあるスプレッドシートで計算されることが多く、データの可用性と一貫性が本来あるべき姿ほど効率的ではありませんでした。

GO Project は、多数のソースからデータを簡単に取得して信頼できる単一のデータレイヤーに統合し、レポート作成を推進してデータ全体の一貫性と可用性を向上させるためのツールを必要としていました。データを統合データプラットフォームに集約すると同時に、データガバナンス、アクセス、権限を緊密に統合し、内部スタッフからパートナー機関、教会のボランティアまで、あらゆる種類のユーザーがそれぞれの目的に合った適切なデータサブセットにアクセスできるようにする必要がありました。

これらの課題に対処するため、GO Projectはサーバーレスワークスペースによるセットアップの容易さ、クラウドプラットフォームとのシームレスな統合、Unity Catalogのガバナンス機能、そしてデータエンジニアリング、アナリティクス、AIを単一のプラットフォームに統合できる能力を理由にDatabricksを選択しました。
 

Databricksによるデータアーキテクチャの近代化

Databricks for Good エンゲージメント期間中、GO Project は 2 名の Databricks デリバリーソリューションアーキテクト（DSA）と 1 名の Databricks プロジェクトマネージャーと 3 か月間にわたって提携し、以下に示す最新のデータアーキテクチャを設計、実装しました。

このソリューションは、分析とAI駆動型ユースケースの両方にスケーラブルで信頼性の高い基盤を提供するため、メダリオンアーキテクチャ（ブロンズ、シルバー、ゴールド）を中心に設計されました。サードパーティの API や AWS RDS MySQL からの生データは、オープンソースと Databricks マネージドの両機能を通じて効率的に取り込まれました。これにより、データ量の増加に対応しつつパイプラインの回復力を維持しながら、新しいデータソースを迅速にオンボーディングできました。シルバーレイヤーにおけるデータの品質と信頼性は、パイプラインの期待値（Spark宣言型パイプライン を使用）によって確保されました。これにより、下流のデータの問題を早期に特定し、標準化されたデータ品質フレームワークを確立することができました。

最終的に、データはゴールドレイヤーに集約され、下流で利用するための信頼できるソースとして機能しました。メトリックビューを利用した集中管理型ダッシュボードは、さまざまなチームのインサイトへのアクセスを民主化し、手動でのレポート作成や専門技術サポートへの依存をなくしました。同時に、これらのキュレーションされたデータセットにより、主要なビジネスメトリクスを再定義したり、並列データサイロを作成したりすることなく、パーソナライズされた AI 生成のニュースレターが可能になりました。

このすべてを支える基盤として、Unity CatalogがすべてのデータおよびAI資産にわたる統合ガバナンスレイヤーとして機能し、GO ProjectがセルフサービスアナリティクスおよびAIプロジェクトを自信を持って拡張することを可能にしました。

ソリューションと成果

以降のセクションでは、「Databricks for Good」の取り組みを通じて提供されたソリューションと、それらがGO Projectにもたらした測定可能な成果について詳しく説明します。

一元化されたKPIダッシュボード

GO Projectが直面していた主な課題は、パートナーのネットワーク全体で組織のパフォーマンスを単一のアクセス可能なビューで把握できないことでした。主要なメトリクスは複数のデータソースにわたって保存されており、チームが手動で情報を収集・解釈する必要がありました。このプロセスは時間がかかるうえ、不整合も生じやすいものでした。

Databricks for Goodプログラムを通じて、DatabricksはGO Projectと提携し、この断片化されたレポートモデルを、データレイクハウスアーキテクチャ上に構築された一元化・自動化されたKPIダッシュボードへと変革しました。

静的なエクスポートや手動更新に頼るのではなく、新しいデータが自動的に取り込まれて処理されるため、ダッシュボードは変更をよりリアルタイムに近い形で反映できるようになりました。これにより、経営陣と現場チームは常に最新の情報を基に業務を進められるようになりました。最終的に、組織全体の業務データを集約して最新のダッシュボードに表示する、信頼できる唯一のソースが完成しました。

このダッシュボードは、以下の主要なDatabricksの機能を活用しています。

• KPI定義を標準化し、すべてのレポートとダッシュボードで一貫した計算を確保するメトリクスビュー。GO Projectはもはや、WHERE句が正しいことを願いながらSQLスニペットを送り合う必要がなくなりました。
• AI/BIダッシュボードにより、GO Projectの運用ニーズに合わせた直感的なドラッグ＆ドロップのビジュアライゼーションを作成できます。
• Databricks One ：ビジネスユーザーが、Databricksワークスペースや基盤となるデータセットに直接アクセスすることなく、AI/BIダッシュボードを安全に利用、操作できるようにします。

その結果、GO Project は以下のビジネス上および技術上の成果を達成しました。

• 業務効率：レポート作成サイクルを数日から数分に短縮し、ユーザーはEメールレポートを待つことなく、オンデマンドで各地域のメトリクスの状態を監視できるようになりました。
• 迅速な生産性と学習: Data Science Agentを使用することで、チームメンバーは深いSQLの専門知識を必要とせずに、複雑な分析クエリーを迅速に作成、反復処理できるようになり、知見の生成が加速されました。
• スケーラブルなレポート基盤: Databricks Data Intelligence Platform内に標準化されたレポート基盤を直接構築することで、一回限りのアドホックなレポートへの依存を軽減。

全体として、統合されたKPIダッシュボードは、GO Projectにアウトリーチのパフォーマンスに関するタイムリーで実用的な知見を提供しました。主要なメトリクスをほぼリアルタイムで可視化することで、組織はより迅速に対応し、リソースをより効果的に配分し、最終的には、より多くの子どもたちが制度的な悲劇に陥るのを防ぐ能力を強化できます。

パーソナライズされたAI生成によるドナーへのアウトリーチ

一元化されたKPIダッシュボードを通じてパフォーマンスをデータドリブンで把握できるようになったGO Projectは、より効果的なステークホルダーとのエンゲージメントを通じて、それらのインサイトを活用することに重点を置くようになりました。GO Projectは、寄付者の地域コミュニティに合わせてパーソナライズされたデータを使用し、タイムリーかつパーソナライズされたコンテンツを大規模に作成することで、寄付者にアピールしようとしました。

以前、GO Projectは主に手作業のプロセスに依存していました。データはステークホルダーごとにMySQLデータベースから個別に抽出する必要があり、その後手作業でフォーマットしてコミュニケーションに組み込むため、すべての見込み客に対してメッセージを頻繁に調整することが困難でした。

Databricks for Goodイニシアチブを通じて、チームはDatabricks Data Intelligence Platform上のキュレーションされたデータセットから直接、パーソナライズされたAI搭載のニュースレターを生成する自動化システムを設計・実装しました。管理されたデータと組み込みのGenAI機能を組み合わせることで、このソリューションは人間の介入を最小限に抑えつつ、運用メトリクスをステークホルダー向けのナラティブに変換しました。

この成果物では、以下の主要なDatabricks機能が使用されました。

• Databricks Notebooks と Databricks AI Functions (ai_query) を使用して、ノートブックのウィジェット（セグメンテーションロジックを推進するため）に基づき、ステークホルダー固有の物語形式の要約を動的に生成することで、手動での構成やカスタムスクリプトを回避します。
• 基盤モデル API を使用してデータプラットフォームから GenAI を直接統合し、データの準備および変換と並行してコンテンツ生成を可能にします。
• 非構造化のAI生成ニュースレター出力をPDFとしてクラウドストレージに安全に保管し、下流の配布とアクセスを簡素化するUnity Catalogボリューム。

これにより、GO Projectには以下のようなビジネス上および技術上の成果がもたらされました。

• コンテンツ作成の高速化: パーソナライズされたドナー市場スナップショットの下書き作成が、数日かかっていたところを数秒で完了できるようになりました。これにより、GO Projectのマーケティングチームは、手作業のコンテンツ作成ではなく、内容の洗練やストーリーテリングに集中できます。
• 手作業によるデータ集計の排除: チームは複数のシステムから毎月のインパクトデータを手動で収集する必要がなくなりました。その代わり、ユーザーがステークホルダーを選択すると、事前設定されたウィジェットが関連データを自動的にフィルタリングし、ai_query関数を使用してパーソナライズされたコンテンツを生成します。
• スケーラブルでデータドリブンのドナーマーケティング: ノートブック、データサイエンス Agent、信頼性の高いデータパイプラインの緊密な統合により、GO Projectはローカル市場に合わせたドナーマーケティング製品を迅速に構築できるようになりました。資金調達チームは、これまで1つのレポートを作成するのにかかっていた時間のごく一部で、米国の全地域を対象とした、データに基づくカスタマイズレポートをオンデマンドで生成できるようになりました。

これらの機能を組み合わせることで、GO Projectは静的なレポーティングから脱却し、パーソナライズされたAI主導のストーリーテリングへと移行できます。これにより、ステークホルダーとの関係を強化すると同時に、ミッションの認知度と影響力を高めることが可能になります。

この初期段階では、ソリューションはDatabricks AI Functionsを利用してニュースレターのコンテンツを生成していました。今後、GO ProjectはAgent Bricksを活用し、ニュースレターの各セクションを担当するドメイン固有のエージェントを導入する予定です。このアプローチにより、プロンプトチューニングのオーバーヘッドがさらに削減され、出力の一貫性が向上し、基盤となる大規模言語モデル（LLM）のよりスケーラブルな最適化が可能になります。

インパクトと成果

Databricks for Goodプログラムを通じて、GO Projectは、ばらばらだったレポーティングから、Databricks Data Intelligence Platform上に構築された最新のスケーラブルなデータおよびAI基盤へと、そのデータ能力を変革しました。

Global Orphan Projectの最高データ・情報責任者であるCorey Vaudo氏は、このパートナーシップについて次のように述べています: 

「Databricks のオールインワンという性質は、私たちのような小規模なチームにとって素晴らしいものです。さまざまなツールを学習して連携させることに時間を費やす代わりに、私たちは目の前の問題に集中でき、必要な機能が選択したツールにすでに備わっていると確信しています。今後、さらに多くのプロジェクトで Databricks と協力できることを楽しみにしています。」

もし貴組織が非営利団体であるか、非営利団体と緊密に連携しており、Databricksが社会的インパクトのためのフォースマルチプライヤーとしてどのように機能するかについてご興味がおありの場合は、[email protected]までご連絡ください。

(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事