Databricks와 Global Orphan Project를 통해 인사이트를 영향력으로 전환하기

Databricks는 아동이 시스템적인 비극에 빠지는 것을 방지할 수 있는 자원 및 커뮤니티와 가족을 연결하는 비영리 단체인 Global Orphan(GO) Project와 파트너십을 맺었습니다. 

Databricks 팀은 사회적 영향력을 위해 프로 보노 전문 서비스 를 제공하는 이니셔티브인 Databricks for Good을 통해 GO Project가 데이터 기반을 강화하고 미션과 영향력을 가속화하도록 지원했습니다.

데이터 과제 및 한계

2025년 GO Project 현지 파트너들은 미국 43개 주에서 거의 122,000명의 아동을, 해외 6개국에서 53,000명의 아동을​​ 지원했습니다. 미국 내 1,600개 이상의 활성 파트너 기관 이 요청을 제출하고 8,200개의 대응팀 이 거의 실시간으로 응답하면서 데이터가 여러 시스템에 분산되어 있어 보고에 어려움이 있었습니다. 그 결과, "각 요청을 처리하는 데 비용(즉, 재무 데이터)이 얼마나 드는가(즉, 플랫폼 데이터)?"와 같은 중요한 질문들은 자동화된 보고 시스템 외부의 스프레드시트에서 계산되는 경우가 많아 데이터 가용성과 일관성의 효율성이 떨어졌습니다.

GO Project는 수많은 소스에서 데이터를 쉽게 가져와 신뢰할 수 있는 단일 데이터 레이어로 통합하여 보고를 촉진하고 전반적인 데이터 일관성과 가용성을 높일 수 있는 도구가 필요했습니다. 데이터를 통합 데이터 플랫폼으로 통합하는 동시에, 내부 직원부터 기관 파트너, 교회 자원봉사자에 이르기까지 모든 사용자 유형이 각자의 목적에 맞는 적절한 데이터 하위 집합에 액세스할 수 있도록 데이터 거버넌스, 액세스 및 권한을 긴밀하게 통합해야 했습니다.

이러한 과제를 해결하기 위해 GO Project는 서버리스 작업 공간으로 쉽게 설정하고, 클라우드 플랫폼과 원활하게 통합하며, Unity Catalog 거버넌스 기능을 활용하고, 데이터 엔지니어링, 분석, AI를 단일 플랫폼에서 통합할 수 있는 Databricks를 선택했습니다. 
 

Databricks를 통한 데이터 아키텍처 현대화

Databricks for Good 참여 기간 동안 GO Project는 두 명의 Databricks Delivery Solutions Architects(DSA) 및 Databricks Project Manager와 3개월에 걸쳐 파트너십을 맺고 아래에 설명된 최신 데이터 아키텍처를 설계하고 구현했습니다. 

이 솔루션은 분석 및 AI 기반 사용 사례 모두에 확장 가능하고 신뢰할 수 있는 기반을 제공하기 위해 메달리온 아키텍처 (브론즈, 실버, 골드)를 중심으로 설계되었습니다. 타사 APIs 및 AWS RDS MySQL의 가공되지 않은 데이터는 오픈 소스 및 Databricks 관리 기능을 통해 효율적으로 수집되어 새로운 데이터 소스를 신속하게 온보딩하는 동시에 데이터 볼륨이 증가함에 따라 파이프라인의 복원력을 유지할 수 있었습니다. 실버 레이어의 데이터 품질과 안정성은 파이프라인 기대치(Spark Declarative Pipelines 사용)를 통해 적용되었으며, 이를 통해 다운스트림 데이터 문제를 조기에 식별하고 데이터 표준화된 데이터 품질 프레임워크를 구축할 수 있었습니다.

마지막으로 데이터는 다운스트림 소비를 위한 신뢰할 수 있는 소스로 사용되는 골드 레이어로 집계되었습니다. 메트릭 뷰 는 다양한 팀이 인사이트에 대한 액세스를 민주화하고 수동 보고 또는 전문 기술 지원에 대한 의존도를 없애는 중앙 집중식 대시보드를 구동했습니다. 동시에 이러한 큐레이션된 데이터 세트를 통해 핵심 비즈니스 메트릭을 재정의하거나 병렬 데이터 사일로를 생성할 필요 없이 개인화된 AI 생성 뉴스레터를 제작할 수 있었습니다.

이 모든 것의 기반에는 모든 데이터 및 AI 자산에 대한 통합 거버넌스 레이어 역할을 하는 Unity Catalog가 있었으며, 이를 통해 GO Project는 셀프 서비스 분석 및 AI 프로젝트를 자신 있게 확장할 수 있었습니다.

솔루션 및 결과

다음 섹션에서는 Databricks for Good 참여를 통해 제공된 솔루션과 GO Project를 위해 달성한 측정 가능한 결과를 중점적으로 설명합니다.

중앙 집중식 KPI 대시보드

GO Project가 직면한 주요 과제는 파트너 네트워크 전반에 걸쳐 조직 성과에 대한 단일하고 접근 가능한 뷰가 부족하다는 것이었습니다. 주요 지표가 여러 데이터 소스에 분산 저장되어 있어 팀에서 수동으로 정보를 수집하고 해석해야 했습니다. 이 프로세스는 시간이 많이 걸리고 일관성이 떨어지기 쉬웠습니다. 

Databricks는 Databricks for Good 프로그램을 통해 GO Project와 파트너십을 맺고 이 분산된 보고 모델을 데이터 레이크하우스 아키텍처에 구축된 중앙화되고 자동화된 KPI 대시보드로 전환했습니다.

정적 내보내기나 수동 업데이트에 의존하는 대신 새로운 데이터를 자동으로 수집 및 처리하여 대시보드가 거의 실시간으로 변경 사항을 반영할 수 있게 되었습니다. 이를 통해 리더십 및 현장 팀은 항상 사용 가능한 최신 정보를 바탕으로 작업할 수 있었습니다. 최종 결과는 조직 전체의 운영 데이터를 최신 대시보드로 통합하는 통합된 단일 진실 공급원이었습니다.

이 대시보드는 다음과 같은 주요 Databricks 기능을 활용합니다.

• Metric Views 를 통해 KPI 정의를 표준화하고 모든 보고서 및 대시보드에서 일관된 계산을 보장합니다. GO Project는 더 이상 WHERE 절을 정확하게 작성하기 위해 SQL 스니펫을 주고받을 필요가 없습니다.
• AI/BI 대시보드 를 통해 GO Project의 운영 요구사항에 맞춰 직관적인 드래그 앤 드롭 방식의 시각화를 생성할 수 있습니다.
• Databricks One 을 통해 비즈니스 사용자는 Databricks 작업 공간이나 기본 데이터세트에 직접 액세스할 필요 없이 AI/BI 대시보드를 안전하게 사용하고 상호 작용할 수 있습니다.

그 결과, GO Project는 다음과 같은 비즈니스 및 기술적 성과를 달성했습니다: 

• 운영 효율성: 보고 주기를 며칠에서 몇 분으로 단축하여 사용자가 이메일 보고서를 기다리는 대신 필요할 때마다 지역 메트릭의 상태를 모니터링할 수 있게 되었습니다.
• 신속한 생산성 및 학습: 팀원들이 Data Science Agent를 사용하여 복잡한 분석 쿼리를 신속하게 작성하고 반복할 수 있게 하여, 깊이 있는 SQL 전문 지식 없이도 인사이트 생성을 가속화했습니다.
• 확장 가능한 보고 기반: Databricks Data Intelligence Platform 내에 직접 표준화된 보고 기반을 구축하여 일회성 임시 보고서에 대한 의존도를 줄였습니다.

전반적으로 통합 KPI 대시보드는 GO Project에 아웃리치 성과에 대한 시기적절하고 실행 가능한 인사이트를 제공했습니다. 주요 메트릭에 대한 거의 실시간에 가까운 가시성을 통해 조직은 더 빠르게 대응하고, 리소스를 더 효과적으로 할당하며, 궁극적으로 더 많은 어린이가 시스템적인 비극에 빠지는 것을 방지하는 능력을 강화할 수 있습니다.

개인화된 AI 생성 기부자 아웃리치

중앙 집중식 KPI 대시보드를 통해 데이터 기반의 성과 뷰를 마련한 GO Project는 보다 효과적인 이해관계자 참여를 통해 이러한 인사이트를 활성화하는 데 주력했습니다. GO 프로젝트는 지역 커뮤니티에 맞게 개인화된 데이터를 사용하여 기부자에게 어필하기 위해 시의적절하고 개인화된 콘텐츠를 대규모로 제작하고자 했습니다.

이전에는 GO Project가 대부분 수작업에 의존했습니다. 각 이해관계자를 위해 MySQL 데이터베이스에서 데이터를 개별적으로 추출한 다음, 수작업으로 형식을 지정하고 커뮤니케이션에 통합해야 했기 때문에 모든 잠재 기부자를 위한 메시지를 자주 맞춤화하기가 어려웠습니다.

Databricks for Good 이니셔티브를 통해 팀은 Databricks Data Intelligence Platform의 큐레이션된 데이터 세트에서 직접 개인화된 AI 기반 뉴스레터를 생성하는 자동화된 시스템을 설계하고 구현했습니다. 거버넌스가 적용된 데이터와 기본 내장 GenAI 기능을 결합하여 이 솔루션은 최소한의 인력 개입으로 운영 메트릭을 이해관계자에게 바로 전달할 수 있는 내러티브로 전환했습니다.

이 결과물을 위해 다음과 같은 주요 Databricks 기능이 사용되었습니다.

• Databricks Notebooks 및 Databricks AI Functions (ai_query)를 사용하여 노트북 위젯(세분화 로직을 구동)을 기반으로 이해관계자별 서술형 요약을 동적으로 생성하여 수동 구성 및 사용자 지정 스크립트를 방지합니다.
• Foundation Model APIs 를 사용하여 데이터 플랫폼에서 직접 GenAI를 통합하고 데이터 준비 및 변환과 함께 콘텐츠 생성을 지원합니다.
• Unity Catalog 볼륨 을 사용하여 AI가 생성한 구조화되지 않은 뉴스레터 결과물을 PDF로 클라우드 스토리지에 안전하게 저장함으로써 다운스트림 배포 및 액세스를 간소화합니다.

이를 통해 GO Project는 다음과 같은 비즈니스 및 기술적 성과를 거두었습니다: 

• 콘텐츠 제작 가속화: 개인화된 기부자 시장 스냅샷 초안 생성이 이제 며칠이 아닌 몇 초 만에 이루어지므로 GO 프로젝트의 마케팅팀은 수동 콘텐츠 제작 대신 정교화와 스토리텔링에 집중할 수 있습니다.
• 수동 데이터 집계 제거: 팀은 더 이상 여러 시스템에서 월별 영향 데이터를 가져올 필요가 없습니다. 대신 사용자가 이해관계자를 선택하면 사전 구성된 위젯이 관련 데이터를 자동으로 필터링하고 ai_query 함수를 사용하여 개인화된 콘텐츠를 생성합니다.
• 확장 가능한 데이터 기반 기부자 마케팅: 노트북, Data Science Agent, 신뢰할 수 있는 데이터 파이프라인의 긴밀한 통합을 통해 GO Project는 현지 시장에 맞는 기부자 마케팅 제품을 신속하게 구축할 수 있었습니다. 이제 모금 팀은 이전에 단일 보고서를 작성하는 데 필요했던 시간보다 훨씬 짧은 시간 안에 모든 미국 지역에 걸쳐 데이터 기반의 맞춤형 보고서를 온디맨드 방식으로 생성할 수 있습니다.

이러한 기능들을 통해 GO Project는 정적 보고를 넘어 개인화된 AI 기반 스토리텔링으로 나아가 이해관계자 관계를 강화하는 동시에 사명의 가시성과 영향을 증폭시킬 수 있습니다.

이 초기 단계에서 솔루션은 Databricks AI Functions를 사용하여 뉴스레터 콘텐츠를 생성했습니다. 향후 GO 프로젝트는 Agent Bricks 를 활용하여 뉴스레터의 여러 섹션을 담당하는 도메인별 에이전트를 도입할 계획입니다. 이 접근 방식은 프롬프트 튜닝 오버헤드를 더욱 줄이고 출력 전반의 일관성을 개선하며 기본 대규모 언어 모델(LLM)의 확장성을 높여 최적화를 지원할 것입니다.

영향 및 결과

Databricks for Good 프로그램을 통해 GO Project는 분산된 보고에서 Databricks Data Intelligence Platform에 구축된 현대적이고 확장 가능한 데이터 및 AI 기반으로 데이터 역량을 전환했습니다.

Global Orphan Project의 최고 데이터 및 정보 책임자인 Corey Vaudo는 파트너십에 대해 다음과 같은 관점을 공유했습니다. 

“Databricks의 올인원 특성은 저희와 같은 소규모 팀에 매우 좋습니다. 다양한 도구를 배우고 함께 연결하는 데 시간을 보내는 대신, 저희는 당면한 문제에 집중하고 있으며 저희가 선택한 도구에 필요한 기능이 이미 존재한다고 확신합니다. 앞으로 더 많은 프로젝트에서 Databricks와 협력하기를 기대합니다.”

귀하가 비영리 단체이거나 비영리 단체와 긴밀하게 협력하고 있으며 Databricks가 사회적 영향력을 위한 역량 강화 수단이 될 수 있는 방법에 대해 자세히 알아보고 싶으시다면 [email protected]으로 문의해 주세요.

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)