Databricks에서의 협업 분석

소개

이전 블로그 게시물인 Databricks에서 비즈니스 사용자 활성화에서는 대화형 분석, 거버넌스 데이터 액세스, AI 기반 애플리케이션과 같은 기능이 비즈니스 사용자가 데이터와 직접 상호 작용할 수 있도록 지원하는 방법을 살펴보았습니다. 하지만 권한 부여만으로는 충분하지 않습니다.

대부분의 금융 기관에서 실제 과제는 개별 사용자를 활성화하는 것만이 아니라 팀 간의 협업을 활성화하는 것입니다. 고객, 포트폴리오 관리자, 운영 전문가, 재무 팀 모두 동일한 기본 데이터에 의존합니다. 하지만 종종 별도의 시스템에서 파편화된 워크플로와 수동적인 인수인계를 통해 운영됩니다. 인사이트는 느리게 전달됩니다. 데이터 정의가 변경됩니다. 그리고 리더들은 익숙한 질문을 던지게 됩니다.

“우리 모두 같은 숫자를 보고 있습니까?”

Databricks 데이터 인텔리전스 플랫폼은 데이터, 분석, AI 및 운영 워크플로를 위한 통합 플랫폼으로 이 질문에 답하며, 조직 전체의 비즈니스 사용자가 동일한 거버넌스 데이터에서 협업할 수 있도록 지원합니다. 이것이 실제로 어떻게 작동하는지 알아보기 위해 Databricks SQL, UC Metric Views 및 Databricks의 Lakebase를 활용하는 현실적인 워크플로를 살펴보겠습니다.

핵심 갈등: 동일한 데이터, 다른 세상

동일한 투자 포트폴리오에 대한 질문에 각기 다른 관점에서 답하려는 네 명의 전문가를 상상해 보세요.

• Sarah는 보험 계리사로, 부채 현금 흐름이 자산 기간과 일치하는지 알고 싶어 합니다.
• Dan은 포트폴리오 관리자로, 고객의 포트폴리오가 위임 사항에 부합하는지 확인하고 현재 수익률과 예상 수익률을 이해해야 합니다.
• John은 운영 부서에서 IBOR 및 ABOR 기록을 조정하고 가장 큰 포지션 차이를 추적하고 있습니다.
• Ben은 재무 부서에서 원장 항목을 생성하고 조정이 장부를 올바르게 마감할 수 있는지 확인해야 합니다.

각자 다른 질문을 하고, 다른 데이터 액세스 요구 사항을 가지며, 다른 도구를 사용합니다. 하지만 모두 포트폴리오, 포지션, 부채, 거래와 같은 동일한 기본 데이터에 의존합니다.

전통적으로 조직은 이러한 문제에 대해 보험 계리 도구, 포트폴리오 플랫폼, 조정 소프트웨어, ERP 시스템과 같은 사일로화된 시스템으로 대응합니다. Databricks는 모든 팀을 위한 통합된 의미 체계를 갖춘 단일 거버넌스 데이터 플랫폼으로 이 파편화된 모델을 대체합니다.

비즈니스 협업을 위한 Databricks 기능 스택

기술 팀에게는 하나의 통합된 도구 세트라는 약속이 있습니다. 비즈니스 사용자에게는 수동적인 인수인계 감소 및 데이터 정리보다 의사 결정에 더 많은 시간 할애라는 약속이 있습니다.

스택이 이 약속에 어떻게 부합하는지는 다음과 같습니다.

• Genie(대화형 분석)으로 데이터와 대화하세요. 비즈니스 사용자는 일반 영어로 질문하고 검증되고 거버넌스된 데이터에 기반한 답변을 얻습니다. SQL이 필요 없으며 데이터 팀에 티켓을 보낼 필요도 없습니다. 그리고 One Chat의 지능형 라우팅을 통해 사용자는 어떤 Genie 공간이 어떤 도메인을 처리하는지 알 필요가 없습니다! 시스템이 자동으로 쿼리를 올바른 컨텍스트로 라우팅합니다.
• Databricks Apps로 원활한 인수인계 인터페이스를 제공합니다. 비즈니스 사용자에게 보고서를 검토할 뿐만 아니라 거버넌스된 애플리케이션 계층 내에서 메모를 추가하고, 조정을 승인하고, 다운스트림 워크플로를 트리거하는 등 조치를 취할 수 있는 풍부하고 상호 작용적인 인터페이스를 제공합니다.
• Lakebase로 저지연 서빙 계층을 제공합니다. 조정 확인, 잔액 검증 및 중백 오피스 워크플로가 요구하는 실시간 쓰기를 지원하는 트랜잭션 및 운영 데이터 백본 역할을 합니다. 분석 인사이트와 운영 조치 간의 다리 역할을 합니다.
• Lakeflow Designer로 드래그 앤 드롭 기능을 활용하세요. 시각적인 로우코드 인터페이스를 통해 Lakeflow 파이프라인의 데이터 강화 및 변환을 지원하여 Sarah의 팀과 같이 엔지니어링 주기를 기다리지 않고도 원시 자산 및 부채 데이터를 강화할 수 있습니다.
• Unity Catalog로 강력한 데이터 거버넌스를 제공합니다. 행 수준 보안, 열 마스킹, RBAC 및 ABAC 정책을 사용하여 격리 경계를 제공하여 Sarah의 부채 데이터 액세스와 Ben의 원장 항목 액세스가 동일한 기본 테이블을 쿼리하더라도 독립적으로 거버넌스되도록 보장합니다.
• Unity Catalog 비즈니스 의미 체계로 일관된 용어 정의를 제공합니다. 동일한 데이터, 올바른 액세스 및 조직 전체에서 동일한 용어를 사용합니다.

그리고 AI 모델 혁신의 속도가 느려지지 않기 때문에 Databricks의 모델에 구애받지 않는 아키텍처를 통해 데이터 플랫폼을 재설계하지 않고도 새로운 모델을 교체하고, 멀티모달 기능을 수용하고, 멀티클라우드 환경에 걸쳐 확장하며 신속하게 적응할 수 있습니다.

의도에서 영향까지: 폐쇄 루프 비즈니스 워크플로

이를 구체적으로 만들어 보겠습니다. 다음 시나리오는 단일 비즈니스 의도, 즉 포트폴리오 기간 조정 요청을 보험 계리사의 분석에서 시작하여 백 오피스의 최종 원장 항목까지 추적합니다.

1단계: 전략은 비즈니스(고객)에서 시작됩니다

보험 계리사인 Sarah는 전략적 자산 배분을 담당합니다. 그녀의 업무는 다음과 같은 질문으로 시작됩니다. “우리의 자산이 올바른 비율과 올바른 기간으로 부채를 실제로 충당하고 있습니까?”

그녀는 Databricks에서 Genie를 열고 일반 언어로 “자산 현금 흐름이 일치 분석을 위해 부채 타이밍과 일치합니까?”라고 질문합니다. Genie는 부채 및 자산 테이블을 쿼리하고, 기간 불일치를 찾아 대화형 대시보드에 표시합니다. Sarah는 Lakeflow Designer Pipelines를 사용하여 원시 데이터를 강화하고 목표 기간을 변경해야 한다고 결론짓습니다. 그녀는 위임 사항 변경에 대한 공식 요청을 제출합니다.

핵심 메시지: 전략은 첫날부터 데이터 기반입니다. 보험 계리사의 권장 사항은 지난주 화요일의 스프레드시트 내보내기를 기반으로 구축된 것이 아니라, 조직의 나머지 부분이 사용하는 것과 동일한 실시간 거버넌스 데이터를 기반으로 구축됩니다.

2단계: 프런트 오피스는 전략을 실행으로 전환합니다(포트폴리오 관리)

포트폴리오 관리자인 Dan은 Databricks App을 통해 Sarah의 요청을 받습니다. 그는 플랫폼을 벗어나지 않고도 요청을 컨텍스트, 기본 분석, 기간 격차 및 제안된 조정과 함께 볼 수 있습니다.

여기서 AI 에이전트가 작동합니다. 외부 MCP 서버를 통해 최신 시장 데이터를 가져오고, 시나리오 모델을 실행하여 기간 변경의 수익률 및 부문 영향을 이해하고, 무역 오프 분석을 Dan의 워크플로에 직접 표시합니다. Dan은 출력을 검토하고 매개변수를 조정하며, “X년 동안 기간 변경”이라는 높은 수준의 의도를 구체적인 포트폴리오 변경, 즉 실행 계층에 전달되는 특정 부문 노출 조정, 수익률 목표 및 포지션 수정으로 변환합니다.

핵심 메시지: AI는 블랙박스가 아니라 동료처럼 작동합니다. 포트폴리오 관리자를 의사 결정 좌석에 확고하게 유지하면서 전략적 의도를 실행 가능한 지침으로 변환하는 과정을 가속화합니다.

3단계: 미들 오피스는 운영 무결성을 보장합니다(운영/평가)

포트폴리오 변경이 대기열에 들어가면 운영 부서의 John이 인계합니다. 그의 임무는 투자 기록부(IBOR)와 회계 기록부(ABOR)가 조정되도록 하는 것입니다.

John은 Databricks Apps를 통한 AI 기반 조정을 사용하여 IBOR/ABOR 기록을 나란히 검토합니다. 시스템은 불일치를 플래그 지정하고, 타이밍 차이, 실패한 결제 또는 데이터 매핑 문제와 같은 근본 원인을 표시하고, 수정 조정을 제안합니다. 이러한 조정은 거버넌스된 Lakebase 테이블에 직접 기록되어 모든 수정 사항에 대한 감사 가능하고 타임스탬프가 찍힌 기록을 생성합니다.

핵심 메시지: 통제 및 투명성은 나중에 추가되는 것이 아니라 워크플로에 내장됩니다. 미들 오피스는 이메일 스레드를 통해 예외를 추적하는 것이 아니라, 거버넌스되고 추적 가능한 환경에서 이를 해결합니다.

4단계: 백 오피스는 루프를 닫습니다(투자 사무실/재무)

Ben은 백오피스에서 John 팀이 준비한 조정 항목을 검토합니다. Databricks Apps와 Lakebase를 사용하여 수정 사항을 승인하고, 해당 총계정원장 항목을 생성하며, AI/BI 대시보드를 통해 최종 위험 검토를 실행하여, 포트폴리오의 전반적인 위험 프로필이 위임 변경 후 허용 가능한 범위 내에 있는지 확인합니다.

Ben이 보는 모든 것, 즉 포트폴리오 포지션, 조정 항목, 위험 지표는 Sarah가 이 워크플로 시작 시 조회했던 것과 동일한 거버넌스 데이터 플랫폼으로 추적됩니다. 시스템 간의 조정이 필요 없습니다. 단 하나의 시스템만 존재하기 때문입니다.

핵심 메시지: 보고, 위험, 회계는 동일한 진실 공급원을 기반으로 운영됩니다. 백오피스가 프론트 오피스를 따라잡는 것이 아니라, 동일한 데이터에서 동일한 루프를 실시간으로 완료하는 것입니다.

경영진을 위한 핵심 사항

금융 서비스 리더에게 이 패턴은 네 가지 중요한 이점을 제공합니다.

1. 비즈니스 전반의 단일 플랫폼으로, 사일로화된 도구를 연결하는 통합 비용을 제거합니다.
2. 데이터 과학에 국한되지 않고 비즈니스 워크플로에 내장된 AI로, AI는 신뢰할 수 있는 동료처럼 일상적인 결정을 내리는 사람들을 지원합니다.
3. Unity Catalog를 통해 결정부터 원장까지 거버넌스된 실시간 데이터를 제공하여, 액세스, 추적성 및 규정 준수가 결코 사후 고려 사항이 되지 않도록 보장합니다.
4. 모든 단계에서 인간 + AI 협업으로, 인간의 판단과 책임을 유지하면서 통찰력에서 실행까지의 시간을 극적으로 단축합니다.

이 이야기는 도구에 관한 것이 아닙니다. 전략 실행 주기를 단축하면서 통제를 강화하는 것에 관한 것입니다. 이는 단순한 기술 이야기가 아닙니다. 비즈니스를 더 잘 운영하는 방법입니다.

루프를 닫을 준비가 되셨나요?

보험 계리부터 재무까지, 모든 결정은 동일한 거버넌스된 실시간 진실 공급원을 받을 자격이 있습니다. 다음은 진행 방법입니다.

• 직접 사용해 보세요: 지금 바로 무료 Databricks 평가판을 시작하세요
• 실제로 확인해 보세요: Lakeflow, Unity Catalog, AI/BI 등을 다루는 제품 투어, 동영상 및 실습 튜토리얼은 데모 센터를 방문하세요.
• 기본 사항 학습: 무료 Academy 교육으로 시작하세요
• 다운로드: Business Intelligence meets AI 전자책

문의할 준비가 되셨나요? Databricks 계정 팀에 연락하여 Databricks가 비즈니스 사용자의 일상 워크플로를 어떻게 혁신할 수 있는지 알아보세요.

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)