Propulser l'avenir de l'IA de l'audit de KPMG UK avec Databricks

KPMG UK utilise les données et l'analytique à grande échelle dans l'ensemble de son portefeuille d'audit depuis de nombreuses années, et est un leader sur le marché pour son utilisation de la technologie en audit. S'appuyant sur cette base solide, KPMG UK fait désormais évoluer sa plateforme de données avec les technologies Databricks pour rester à l'avant-garde de l'ère de l'IA et débloquer une nouvelle génération d'audit intelligent et axé sur les insights.

D'une analytique robuste à une prestation fiable et axée sur l'IA

L'activité d'audit de KPMG UK exécute des analyses complexes et à volume élevé lors de l'audit d'entités à l'échelle mondiale, avec des processus de données et d'analytique matures. La dernière vague de transformation vise à faire évoluer une base de données éprouvée et fiable vers une base compatible avec l'IA, tout en préservant la rigueur, la gouvernance et les normes professionnelles requises pour l'audit. En convergeant vers une architecture Lakehouse unifiée et native du cloud, les équipes d'audit obtiennent une plateforme gouvernée qui rassemble les données structurées, l'analytique avancée et l'IA en un seul endroit. Cette fondation moderne préserve la robustesse et la confiance attendues de l'audit tout en permettant une expérimentation plus rapide, des insights plus riches et une prestation d'audit plus dynamique.

Databricks SQL comme moteur principal

Une partie de cette évolution est la migration des charges de travail SQL principales des environnements SQL Server traditionnels vers Databricks SQL. Ce changement amène les données d'audit critiques directement sur le Lakehouse, où elles peuvent prendre en charge tout, des rapports classiques aux cas d'utilisation avancés de l'IA et du machine learning sur la même plateforme, selon les besoins.

Databricks SQL offre une mise à l'échelle horizontale, des capacités en temps réel et de streaming, et un support natif pour les charges de travail d'IA et de machine learning, le tout soutenu par Delta. Cela facilite grandement la gestion des pics saisonniers, des volumes de données diversifiés et des demandes analytiques de plus en plus complexes. Il s'intègre également naturellement avec des outils low-code et no-code tels que Lakeflow Designer et les produits de BI compatibles avec l'IA, ouvrant la porte à un plus large éventail d'utilisateurs pour participer à l'analytique.

Migration de SQL accélérée par l'IA

Pour maintenir le programme rapide et ciblé, KPMG UK a utilisé l'IA pour accélérer la migration et la modernisation de son parc SQL.Lakebridge a été utilisé tôt dans le processus pour scanner et estimer la complexité du code SQL existant, fournissant une vue claire et basée sur les données de l'effort, du risque et de la priorisation pour le passage à Databricks SQL.

À partir de là, des grands modèles linguistiques hébergés par Databricks, tels que Claude Sonnet et Genie Code, ont été intégrés au flux de travail des développeurs. Ces modèles ont aidé à automatiser et à rationaliser des tâches telles que la conversion de T-SQL en Databricks SQL, aidant non seulement à adopter une approche de "lift and shift", mais aussi à réduire la dette technique en améliorant les jointures et les fonctions de fenêtre, et en suggérant des optimisations de performance qui tirent parti des fonctionnalités de Delta.

Ils ont également aidé à expliquer et à décomposer des procédures stockées complexes, les divisant en requêtes modulaires et en notebooks mieux adaptés à l'architecture Lakehouse. Cette approche a été intégrée dans un flux de travail de développement contrôlé, avec des résultats examinés et validés par des ingénieurs pour garantir le maintien des normes de précision, de cohérence et de qualité d'audit. Cela a réduit le temps de refactoring d'environ 60 %, permettant à l'équipe de moderniser plus de 400 scripts et procédures stockées en environ trois mois sans compromettre la qualité ou le contrôle.

Réimaginer le processus d'audit avec Genie

Alimenté par la fondation Databricks SQL, Genie peut redéfinir la manière dont les analystes et les auditeurs explorent et vérifient les données. Les utilisateurs peuvent poser des questions en langage naturel tandis que Genie génère du SQL entièrement traçable et versionné, maintenant la transparence et l'intégrité des données requises pour la conformité réglementaire.

L'agent Genie va plus loin, en menant des analyses plus approfondies, de niveau recherche, tout en maintenant une transparence et un contrôle complets. Chaque résultat est lié à des sources de données approuvées et auditables, donnant aux équipes la confiance nécessaire pour agir plus rapidement sans sacrifier la précision ou l'assurance. Ensemble, Genie établit une nouvelle norme pour l'analytique d'audit intelligente et fiable.

Performance élastique avec SQL Serverless

Les charges de travail d'audit sont intrinsèquement fluctuantes, avec des saisons de pointe prononcées et des volumes de données imprévisibles – de milliers à des milliards de lignes de données financières traitées dans le cadre de milliers d'audits de KPMG UK réalisés à l'échelle mondiale. Databricks SQL Serverless y remédie en fournissant un calcul élastique entièrement géré qui s'adapte automatiquement à la demande, à la hausse comme à la baisse.

Cela signifie que les analystes et les auditeurs passent plus de temps à se concentrer sur l'analytique et moins sur la planification de l'infrastructure, la gestion de la capacité ou les ressources inactives. Le résultat est un temps d'accès aux insights plus rapide, une réduction des frais généraux opérationnels et une expérience cohérente pour les équipes qui fournissent des analyses de grande valeur sous la pression du temps.

Partage connecté et gouverné par conception

Une connectivité sécurisée et gouvernée avec les entités auditées est une exigence essentielle pour la plateforme de données d'audit de KPMG UK. Suivant une vision développée avec le soutien de Databricks, Delta Sharing et des capacités plus larges de fédération de données sont devenues des composants essentiels de l'architecture.

Ces capacités permettent un échange de données auditable, traçable et opportun tout en maintenant un contrôle strict sur l'accès et la lignée. Elles favorisent également la collaboration entre les zones géographiques et les entités, aidant les auditeurs à travailler à partir d'une vue cohérente et fiable des données.

L'humain au cœur du changement

La technologie à elle seule n'apporte pas la transformation. KPMG UK a placé les personnes et le développement des compétences au centre du programme. Une initiative d'habilitation coordonnée a permis de former les analystes de données d'audit et les ingénieurs de données à fournir des analyses aux côtés de l'équipe d'audit principale, en utilisant une plateforme basée sur Databricks, ainsi que de nouveaux processus opérationnels et des méthodes de travail modernes et agiles.

Plus de 200 nouveaux utilisateurs ont été formés et intégrés à la nouvelle plateforme en trois mois, assurant une transition en douceur vers la nouvelle plateforme et les nouvelles méthodes d'analyse. La formation a couvert les meilleures pratiques d'ingénierie des données, l'utilisation de Databricks, les principes de gouvernance et bien plus encore.

Résultats et perspectives

Le résultat est une plateforme de données d'audit unifiée qui consolide la gouvernance, le contrôle d'accès et la lignée des données tout en simplifiant les opérations grâce à une mise à l'échelle automatisée et sans serveur. Les améliorations de l'exécution Spark, la rationalisation des charges de travail SQL et une intégration plus étroite avec les outils en aval tels que Power BI ont toutes contribué à une productivité accrue et à une expérience analyste plus fluide.

Pour l'avenir, KPMG UK étend Delta Sharing et la fédération de données, s'adaptant à des charges de travail mondiales plus complexes et continuant à migrer et unifier les données, le code et les équipes sur le Lakehouse. Les capacités low-code et no-code telles que Lakeflow Designer, ainsi que Databricks Apps et Lakebase, démocratiseront davantage l'analytique, tandis que la préparation à l'IA est intégrée à chaque couche de l'architecture. Le Financial Report Analyser, un outil d'audit GenAI interne à KPMG UK, a été développé et largement adopté par les auditeurs. Parallèlement, une usine d'IA est en cours de construction pour assurer la réutilisabilité des modèles et des artefacts des cas d'utilisation d'IA existants. Cette plateforme fournit également une base pour la future gouvernance et l'assurance de l'IA, permettant des contrôles, une surveillance et des preuves cohérents tout au long du cycle de vie de l'IA à mesure que les attentes réglementaires continuent d'évoluer.

Construire une IA plus fiable sur un Lakehouse unifié

Avec une architecture lakehouse solide et des données d'audit consolidées dans une plateforme unique et gouvernée, KPMG UK est en mesure de créer des solutions d'IA et de GenAI fiables. La plupart des agents d'IA n'échouent pas parce qu'ils « ne peuvent pas raisonner », mais parce qu'ils ne reçoivent pas les données appropriées, complètes ou bien gouvernées dès le départ. Une architecture lakehouse résout directement ce problème en faisant des données de haute qualité et auditables l'entrée par défaut de chaque flux de travail d'IA.

Sur cette base, KPMG UK peut concevoir des agents d'IA qui fonctionnent à partir d'une source unique de vérité, avec une lignée, des contrôles d'accès et des vérifications de qualité appliqués au niveau de la couche de données plutôt que dans chaque modèle. Cela signifie que la génération augmentée par récupération (RAG), l'analyse de scénarios et les assistants intelligents pour les auditeurs peuvent tous s'appuyer sur les mêmes tables organisées et vues gouvernées. En alignant l'architecture des données, le développement de modèles et les contrôles avec les principes d'IA de confiance de KPMG UK, les résultats de l'IA peuvent être retracés jusqu'aux sources de données gouvernées, ce qui favorise l'explicabilité, l'auditabilité et la confiance dans l'utilisation.

(Cet article de blog a été traduit à l'aide d'outils basés sur l'intelligence artificielle) Article original