Databricks로 KPMG UK 감사 부문의 AI 미래 지원

KPMG UK는 수년간 감사 포트폴리오 전반에 걸쳐 데이터 및 분석을 대규모로 활용해 왔으며, 감사 기술 활용 분야에서 시장을 선도하고 있습니다. 이러한 강력한 기반을 바탕으로 KPMG UK는 이제 Databricks 기술을 통해 데이터 플랫폼을 발전시켜 AI 시대에 앞서나가고 지능적이며 통찰력 중심의 새로운 감사 시대를 열고 있습니다.

강력한 D&A에서 신뢰할 수 있는 AI 우선 감사 제공으로

KPMG UK의 감사 사업은 전 세계 법인을 감사할 때 성숙한 데이터 및 분석 프로세스를 통해 복잡하고 대용량의 분석을 실행합니다. 최신 변혁은 검증되고 신뢰할 수 있는 데이터 기반을 AI 지원 기반으로 발전시키면서 감사에 필요한 엄격함, 거버넌스 및 전문 표준을 유지하는 데 중점을 둡니다. 통합된 클라우드 네이티브 Lakehouse 아키텍처로 전환함으로써 감사 팀은 구조화된 데이터, 고급 분석 및 AI를 한곳에 통합하는 거버넌스 플랫폼을 확보합니다. 이 현대적인 기반은 감사에 기대되는 견고함과 신뢰를 유지하면서 더 빠른 실험, 더 풍부한 통찰력 및 더 역동적인 감사 제공을 가능하게 합니다.

핵심 엔진으로서의 Databricks SQL

이러한 발전의 일환으로 핵심 SQL 워크로드를 기존 SQL Server 환경에서 Databricks SQL로 마이그레이션하고 있습니다. 이 전환을 통해 중요한 감사 데이터가 Lakehouse로 직접 이동하여, 필요에 따라 고전적인 보고부터 고급 AI 및 머신러닝 사용 사례까지 동일한 플랫폼에서 모든 것을 지원할 수 있게 됩니다.

Databricks SQL은 수평 확장, 실시간 및 스트리밍 기능, 그리고 AI 및 머신러닝 워크로드에 대한 기본 지원을 제공하며, 이 모든 것은 Delta에 의해 뒷받침됩니다. 이를 통해 계절별 피크, 다양한 데이터 볼륨, 그리고 점점 더 복잡해지는 분석 요구 사항을 훨씬 쉽게 처리할 수 있습니다. 또한 Lakeflow Designer 및 AI 지원 BI 제품과 같은 로우 코드 및 노 코드 도구와 자연스럽게 통합되어 더 넓은 범위의 사용자가 분석에 참여할 수 있는 기회를 제공합니다.

AI 가속화 SQL 마이그레이션

프로그램을 빠르고 집중적으로 유지하기 위해 KPMG UK는 AI를 사용하여 SQL 자산의 마이그레이션 및 현대화를 가속화했습니다. Lakebridge는 프로세스 초기에 기존 SQL 코드의 복잡성을 스캔하고 추정하는 데 사용되어, Databricks SQL로 전환하는 데 필요한 노력, 위험 및 우선순위에 대한 명확하고 데이터 기반의 관점을 제공했습니다.

그 후 Claude Sonnet 및 Genie Code,와 같은 Databricks 호스팅 대규모 언어 모델이 개발자 워크플로에 통합되었습니다. 이러한 모델은 T-SQL을 Databricks SQL로 변환하는 것과 같은 작업을 자동화하고 간소화하는 데 도움이 되었으며, 단순히 리프트 앤 시프트 접근 방식을 취하는 것을 넘어 조인 및 윈도우 함수를 개선하고 Delta 기능을 활용하는 성능 최적화를 제안함으로써 기술 부채를 줄이는 데 기여했습니다.

또한 복잡한 저장 프로시저를 설명하고 분해하여 Lakehouse 아키텍처에 더 적합한 모듈식 쿼리 및 노트북으로 나누는 데 도움을 주었습니다. 이 접근 방식은 통제된 개발자 워크플로 내에 내장되었으며, 엔지니어가 출력을 검토하고 검증하여 정확성, 일관성 및 감사 품질 표준이 유지되도록 했습니다. 이를 통해 리팩토링 시간이 약 60% 단축되어 팀은 품질이나 통제를 손상시키지 않고 약 3개월 이내에 400개 이상의 스크립트와 저장 프로시저를 현대화할 수 있었습니다.

Genie로 감사 프로세스 재구상

Databricks SQL 기반으로 구동되는 Genie는 분석가와 감사자가 데이터를 탐색하고 검증하는 방식을 재정의할 수 있습니다. 사용자는 자연어 질문을 할 수 있으며, Genie는 규제 준수에 필요한 투명성과 데이터 무결성을 유지하면서 완전히 추적 가능하고 버전 관리되는 SQL을 생성합니다.

Genie Agent는 한 단계 더 나아가 완전한 투명성과 통제를 유지하면서 더 깊이 있는 연구 수준의 분석을 수행합니다. 모든 결과는 승인되고 감사 가능한 데이터 소스에 연결되어 팀이 정확성이나 보증을 희생하지 않고 더 빠르게 움직일 수 있도록 신뢰를 제공합니다. Genie는 지능적이고 신뢰할 수 있는 감사 분석을 위한 새로운 표준을 설정하고 있습니다.

SQL Serverless를 통한 탄력적인 성능

감사 워크로드는 본질적으로 변동성이 크며, 뚜렷한 피크 시즌과 예측 불가능한 데이터 볼륨을 가집니다. 이는 전 세계적으로 수행되는 수천 건의 KPMG UK 감사에서 처리되는 수천에서 수십억 행의 재무 데이터에 이릅니다. Databricks SQL Serverless는 수요에 맞춰 자동으로 확장 및 축소되는 완전 관리형 탄력적 컴퓨팅을 제공하여 이를 해결합니다.

이는 분석가와 감사자가 인프라 계획, 용량 관리 또는 유휴 리소스에 시간을 덜 쓰고 분석에 더 많은 시간을 할애한다는 것을 의미합니다. 그 결과는 더 빠른 통찰력 확보 시간, 운영 오버헤드 감소, 그리고 시간 압박 속에서 고가치 분석을 제공하는 팀을 위한 일관된 경험입니다.

설계부터 연결되고 거버넌스되는 공유

감사 대상 법인과의 안전하고 거버넌스되는 연결은 KPMG UK 감사 데이터 플랫폼의 핵심 요구 사항입니다. Databricks의 지원을 받아 개발된 비전을 따라, Delta Sharing 및 더 넓은 데이터 연합 기능이 아키텍처의 핵심 구성 요소가 되었습니다.

이러한 기능은 접근 및 계보에 대한 엄격한 통제를 유지하면서 감사 가능하고 추적 가능하며 시기적절한 데이터 교환을 가능하게 합니다. 또한 지리 및 법인 간의 협업을 지원하여 감사자가 일관되고 신뢰할 수 있는 데이터 관점에서 작업할 수 있도록 돕습니다.

변화의 중심에 있는 사람들

기술만으로는 변혁을 이룰 수 없습니다. KPMG UK는 사람과 역량 구축을 프로그램의 중심에 두었습니다. 조정된 역량 강화 이니셔티브는 감사 데이터 분석가와 데이터 엔지니어의 역량을 강화하여, Databricks 기반 플랫폼과 새로운 운영 프로세스 및 현대적이고 민첩한 작업 방식을 사용하여 핵심 감사 팀과 함께 분석을 제공하도록 했습니다.

3개월 이내에 200명 이상의 새로운 사용자가 새로운 플랫폼에 대한 역량을 강화하고 온보딩되어, 새로운 플랫폼과 분석 수행 방식에 대한 원활한 온보딩을 보장했습니다. 교육은 데이터 엔지니어링 모범 사례, Databricks 사용법, 거버넌스 원칙 등을 다루었습니다.

성과 및 향후 계획

그 결과는 서버리스 자동 확장으로 운영을 간소화하면서 거버넌스, 접근 제어 및 데이터 계보를 통합하는 통합 감사 데이터 플랫폼입니다. Spark 실행 개선, 간소화된 SQL 워크로드, 그리고 Power BI와 같은 다운스트림 도구와의 긴밀한 통합은 모두 생산성 향상과 더 원활한 분석가 경험에 기여했습니다.

앞으로 KPMG UK는 Delta Sharing 및 데이터 연합을 확장하고, 더 복잡한 글로벌 워크로드로 확장하며, Lakehouse에서 데이터, 코드 및 팀을 계속 마이그레이션하고 통합할 것입니다. Lakeflow Designer, Databricks Apps 및 Lakebase,와 같은 로우 코드 및 노 코드 기능은 분석을 더욱 민주화할 것이며, AI 준비는 아키텍처의 모든 계층에 설계되고 있습니다. KPMG UK의 사내 GenAI 감사 도구인 Financial Report Analyser는 개발되어 감사자들에게 널리 채택되었습니다. 한편, 기존 AI 사용 사례의 패턴 및 아티팩트 재사용성을 보장하기 위해 AI Factory가 구축되고 있습니다. 이 플랫폼은 또한 규제 기대치가 계속 진화함에 따라 AI 수명 주기 전반에 걸쳐 일관된 통제, 모니터링 및 증거를 가능하게 하여 미래 AI 거버넌스 및 보증을 위한 기반을 제공합니다.

통합 Lakehouse에서 더욱 신뢰할 수 있는 AI 구축

견고한 레이크하우스 아키텍처와 단일의 거버넌스 플랫폼으로 통합된 감사 데이터를 통해 KPMG UK는 신뢰할 수 있는 AI 및 GenAI 솔루션을 구축할 수 있는 입지를 확보했습니다. 대부분의 AI 에이전트는 “추론할 수 없어서” 실패하는 것이 아니라, 애초에 올바르고 완전하며 잘 관리된 데이터를 제공받지 못하기 때문에 실패합니다. 레이크하우스는 모든 AI 워크플로우에 고품질의 감사 가능한 데이터를 기본 입력으로 제공함으로써 이 문제를 직접적으로 해결합니다.

이러한 기반 위에 KPMG UK는 각 모델이 아닌 데이터 계층에서 계보, 액세스 제어 및 품질 검사가 적용되는 단일 진실 공급원(single source of truth)에서 작동하는 AI 에이전트를 설계할 수 있습니다. 이는 검색 증강 생성(RAG), 시나리오 분석, 감사자를 위한 지능형 비서가 모두 동일한 큐레이션된 테이블과 거버넌스 뷰를 활용할 수 있음을 의미합니다. 데이터 아키텍처, 모델 개발 및 제어를 KPMG UK의 신뢰할 수 있는 AI 원칙과 일치시킴으로써 AI 결과물은 거버넌스 데이터 소스로 추적될 수 있으며, 이는 설명 가능성, 감사 가능성 및 사용 신뢰도를 지원합니다.

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)