스코티시 워터가 Databricks Genie를 통해 자본 투자 데이터를 대화형으로 만든 방법

Scottish Water의 자본 투자(CI) 프로그램 전반에서 팀들은 프로젝트 상태, 재무 성과, 인도 마일스톤 및 리스크에 대한 빠른 답변을 필요로 합니다. 이러한 정보는 이미 존재했지만, 이를 찾으려면 방대한 보고서를 일일이 찾아보거나 데이터 전문가에게 의존하여 기본 테이블에서 올바른 정보를 추출해야 하는 경우가 많았습니다. Databricks Genie가 이를 바꾸어 놓았습니다. 이제 프로젝트 팀은 Microsoft Teams에서 직접 평이한 영어로 질문하고 몇 초 만에 신뢰할 수 있는 답변을 받을 수 있습니다.

도전 과제: 데이터는 있었지만 접근하기 어려웠습니다

Scottish Water의 CI 부서에는 데이터가 부족하지 않았습니다. 접근성의 문제가 있었습니다.

실제로는 다음과 같은 몇 가지 방식으로 문제가 나타났습니다.

• 이미 방대한 양의 보고서가 존재했지만, 인지도와 가시성이 부족하여 기존 보고서가 이미 답변한 질문에 대해 새로운 보고서를 다시 작성하는 등 중복 작업이 발생하는 경우가 많았습니다.
• 비기술 분야의 사용자가 가치 있는 데이터에 접근하기가 여전히 어려워 부서 전반의 의사 결정이 지연되었습니다.

결과는 예상대로였습니다. 분석가들은 이미 존재하는 작업을 재현하는 데 시간을 허비했고, 인도 팀은 수치가 추출되기를 기다려야 했으며, 중요한 프로젝트 데이터가 일상적인 의사 결정을 담당하는 사람들에게 항상 전달되지는 않았습니다.

해결책: 거버넌스가 적용된 프로젝트 데이터를 위한 대화형 인터페이스

SPARK는 Genie를 기반으로 구축된 Scottish Water의 프로젝트 포트폴리오 데이터용 자연어 인터페이스의 내부 브랜드입니다.

사용자는 적절한 보고서를 검색하는 대신 질문을 던지고 거버넌스가 적용된 데이터를 바탕으로 한 답변을 받을 수 있습니다. SPARK는 팀이 이미 협업하고 있는 Microsoft Teams로 이 경험을 직접 가져와 새로운 인터페이스로 전환할 필요를 없애줍니다.

사용자가 Copilot을 통해 Teams에서 질문을 제출하면, Copilot 감독 에이전트가 이를 오케스트레이션하여 Model Context Protocol (MCP)를 통해 Databricks Genie Space에 연결합니다. Genie는 질문을 쿼리로 변환하고, Unity Catalog의 거버넌스가 적용된 데이터에 대해 쿼리를 실행한 다음 결과를 사용자에게 반환합니다.

보고서 찾기에서 직접적인 질문으로

SPARK를 사용하면 팀은 다음과 같은 실질적인 비즈니스 질문을 할 수 있습니다.

• 프로젝트 이름, 리스크 설명, 리스크 소유자, 리스크 만료일을 포함하여 8월에 만료되는 모든 미결 프로젝트 리스크를 나열해 줘.
• 프로젝트 X의 현재 실시간 리스크 점수는 얼마야?
• 프로젝트 X에서 현재 리스크 노출도가 가장 높은 리스크는 무엇이야? 리스크 이름, 설명, 현재 노출도 값을 제공해 줘.
• 프로젝트 X의 향후 계약업체는 누구야?

각 질문은 거버넌스가 적용된 메트릭 뷰에서 도출된 즉각적인 답변을 반환합니다. 즉, 보고서를 찾는 데 소요되는 시간은 줄어들고 인사이트를 바탕으로 조치를 취하는 데 더 많은 시간을 할애할 수 있습니다.

영향: 더 빠른 접근, 마찰 감소, 더 광범위한 데이터 활용

Scottish Water는 데이터 접근을 대화형으로 전환함으로써 프로젝트 팀이 훨씬 적은 노력으로 더 빠르게 답변을 얻을 수 있도록 지원하고 있습니다.

• 프로젝트 데이터의 경우, 이전에는 대시보드 로드 시간을 포함해 약 8번의 클릭이 필요했던 일반적인 조회가 이제 Teams에서 단 한 번의 질문으로 시작될 수 있습니다.
• 보고서 기반 질문의 경우, 사용자는 이제 적절한 자산을 찾기 위해 SharePoint, Reporting Hub, 보고서 카테고리 및 개별 보고서 링크를 일일이 거칠 필요가 없습니다. 많은 경우, 4~5단계의 검색 과정이 직접적인 질의응답 경험으로 전환됩니다.
• 100명의 사용자가 일주일에 단 3개의 질문만 하더라도 매주 약 300건의 정보 요청이 발생합니다. 요청당 보수적으로 2~5분을 절약한다고 가정하면, 이는 매주 약 10~25시간, 연간 약 520~1,300시간의 절감 효과에 해당합니다.
• 이점은 속도뿐만이 아닙니다. 팀은 광범위한 대상을 위해 설계된 정적 보고서를 해석할 필요 없이, 자신이 던진 질문에 맞춤화된 답변을 얻을 수 있습니다.
• 또한 전문가 지원에 대한 의존도를 낮추고 비기술 분야의 사용자도 거버넌스가 적용된 인사이트에 더 쉽게 접근할 수 있도록 합니다.

실제로는 도구를 뒤지는 데 드는 시간이 줄어들고, 다른 사람이 데이터를 추출해 줄 때까지 기다릴 필요가 없으며, 업무 흐름 속에서 신뢰할 수 있는 답변을 바탕으로 조치를 취하는 데 더 많은 시간을 보낼 수 있음을 의미합니다.

SPARK는 포트폴리오 및 프로젝트 팀이 데이터와 상호 작용하는 방식을 완전히 바꿀 것입니다. 정적 보고서에서 정보와의 실시간 지능형 대화로 전환하여 직원들이 더 빠르고 정보에 기반한 의사 결정을 내릴 수 있도록 지원하고, 이전에는 도달할 수 없었던 가치를 실현해 줍니다. 정말 흥미진진한 변화입니다!—Allan Mason, 프로그램 및 프로젝트 인도 매니저, 비즈니스 분석

신뢰와 확장을 위한 설계

대화형 분석은 사용자가 답변을 신뢰할 때만 효과가 있습니다. Scottish Water의 구현은 처음부터 이를 염두에 두고 설계되었습니다.

기본으로 제공되는 거버넌스

처음부터 거버넌스가 내장되어 있었으며, Genie 경험은 거버넌스가 적용된 Unity Catalog 데이터와 공유 시맨틱 정의를 기반으로 하므로 답변이 일관되고 설명 가능하며 기존 비즈니스 로직과 일치합니다.

• 이 솔루션은 거버넌스가 적용된 Unity Catalog 데이터를 기반으로 구축되어 액세스 제어, 계보(lineage), 단일 진실 공급원(single source of truth)이 기반의 일부가 됩니다.
• Scottish Water는 Genie를 대규모 원시 테이블 세트에 직접 노출하는 대신, 먼저 이 사용 사례에 필요한 데이터를 골드 레이어로 큐레이션했습니다.
• 그 위에 측정값, 차원, 비즈니스 용어를 표준화하는 메트릭 뷰를 사용하여 시맨틱 레이어를 구축함으로써 동일한 정의가 일관되게 재사용되도록 했습니다. 이는 모호성을 줄이고 답변의 일관성을 향상하는 데 도움이 되었습니다.

정확성을 위한 미세 조정

실제 환경에서 Genie 공간의 신뢰성을 높이기 위해 Scottish Water는 일반적인 구성에 의존하는 대신 자체 비즈니스 규칙, 용어 및 실제 사용자 질문을 중심으로 구성했습니다.

• Genie가 회계 연도 정의 방법, 마일스톤 게이트 순서 지정 방법, 프로젝트 ID 및 날짜 처리 방법 등 Scottish Water의 규칙을 올바르게 해석할 수 있도록 큐레이션된 비즈니스 규칙 지침을 추가했습니다.
• Scottish Water 사용자가 질문을 표현하는 방식과 이를 올바른 쿼리 패턴에 매핑하는 방법을 어시스턴트에게 학습시키기 위해 작업된 예시 질문과 일치하는 SQL을 사용했습니다.
• 공간 정의나 기본 데이터가 변경될 때마다 정확성을 테스트할 수 있는 반복 가능한 방법을 제공하기 위해 벤치마크 스위트가 사용되었습니다.
• Scottish Water 팀과의 사용자 테스트를 통해 실제 표현을 검증하고 시간이 지남에 따라 추가적인 개선 사항을 공간에 다시 반영할 수 있었습니다.

지속적인 모니터링

프로덕션 환경에서 솔루션을 지원하기 위해 Scottish Water는 모니터링 체계를 구축하여 팀이 시간 경과에 따른 도입률, 답변 품질 및 성능을 추적할 수 있도록 했습니다.

• 개발 단계에서는 사용자 피드백을 통해 답변 품질을 모니터링하여 추가 개선이 필요한 응답을 식별하는 데 도움을 받았습니다.
• 프로덕션 환경에서는 대화 시간 및 사용자당 대화 수와 같은 지표를 통해 도입률을 모니터링합니다.
• 팀은 반복되는 질문을 검토하여 사용자가 가장 자주 묻는 질문이 무엇인지 파악하고, 반복해서 제기되는 질문을 중심으로 시각화를 구축할 수 있는지 확인합니다.
• 쿼리 성능은 실행 시간, 총 쿼리 볼륨 및 가장 느리게 실행되는 쿼리를 통해 추적됩니다.
• 또한 팀은 사용자당 Genie 비용을 추적하기 위한 시각화 도구도 구축했습니다.

반복 가능하고 신뢰할 수 있는 인도

Scottish Water는 또한 이 솔루션을 일회성 빌드로 처리하는 대신, 여러 환경에 걸쳐 안전하고 일관되게 배포할 수 있도록 설계했습니다.

• 이 솔루션은 Databricks Asset Bundles를 사용하여 환경 매개변수화된 구성으로 패키징되므로 여러 환경에 동일한 정의를 배포할 수 있습니다.
• 각각 자체 워크스페이스와 SQL 웨어하우스를 갖춘 별도의 개발, 테스트 및 프로덕션 환경이 사용됩니다.
• 배포는 Azure DevOps를 통해 실행되며, 변경 시 자동 배포되고 프로덕션 전에는 수동 승인 단계를 거칩니다.
• 인증은 Microsoft Entra ID 서비스 주체를 통해 처리되며, 자격 증명은 코드에 저장되지 않고 배포 시점에 Azure Key Vault에서 가져옵니다.
• 배포는 멱등성을 가지므로, Genie 공간을 즉시 생성하거나 업데이트할 수 있으며 적절한 그룹에 액세스 권한이 자동으로 부여됩니다.

결론: 팀이 데이터로 작업하는 더 간단하고 효율적인 방법

결과는 단순하지만 강력합니다. Scottish Water 팀은 자연어를 통해 프로젝트 데이터에 액세스하고 수신된 답변을 신뢰할 수 있습니다.

리더에게는 더 빠른 가시성과 보고 과정의 마찰 감소를 의미합니다.

제공 팀과 데이터 사용자의 경우, 업무 흐름 속에서 거버넌스가 적용된 인사이트에 직접 액세스할 수 있음을 의미합니다.

SPARK는 잘 설계되고 거버넌스가 잘 구축된 데이터가 Genie와 결합될 때, 조직이 사용자를 위해 신뢰할 수 있는 비즈니스 데이터를 진정으로 민주화하는 혁신적인 도구를 구축할 수 있음을 보여줍니다.

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)