Potenciando el futuro de la IA de la auditoría de KPMG UK con Databricks

KPMG UK ha estado utilizando datos y análisis a escala en toda su cartera de Auditoría durante muchos años, y es líder en el mercado por su uso de la tecnología en Auditoría. Sobre esta sólida base, KPMG UK está ahora evolucionando su plataforma de datos con tecnologías Databricks para mantenerse a la vanguardia en la era de la IA y desbloquear una nueva generación de Auditoría inteligente y basada en insights.

De un D&A sólido a una entrega confiable y prioritaria de IA

El negocio de Auditoría de KPMG UK ejecuta análisis complejos y de alto volumen al auditar entidades a nivel global, con procesos de datos y análisis maduros. La última ola de transformación se centra en evolucionar una base de datos probada y confiable hacia una habilitada para IA, preservando al mismo tiempo el rigor, la gobernanza y los estándares profesionales requeridos para la Auditoría. Al converger en una arquitectura Lakehouse unificada y nativa de la nube, los equipos de Auditoría obtienen una plataforma gobernada que reúne datos estructurados, análisis avanzados e IA en un solo lugar. Esta base moderna preserva la robustez y la confianza esperadas de la Auditoría, al tiempo que permite una experimentación más rápida, insights más ricos y una entrega de auditoría más dinámica.

Databricks SQL como motor central

Parte de esta evolución es la migración de cargas de trabajo SQL centrales de entornos tradicionales de SQL Server a Databricks SQL. Este cambio lleva los datos críticos de Auditoría directamente a Lakehouse, donde puede soportar desde informes clásicos hasta casos de uso avanzados de IA y machine learning en la misma plataforma, según corresponda.

Databricks SQL ofrece escalado horizontal, capacidades en tiempo real y de streaming, y soporte nativo para cargas de trabajo de IA y machine learning, todo ello respaldado por Delta. Esto facilita enormemente el manejo de picos estacionales, volúmenes de datos diversos y demandas analíticas cada vez más complejas. También se integra de forma natural con herramientas de bajo código y sin código como Lakeflow Designer y productos de BI habilitados para IA, abriendo la puerta a una gama más amplia de usuarios para participar en el análisis.

Migración de SQL acelerada por IA

Para mantener el programa rápido y enfocado, KPMG UK utilizó la IA para acelerar la migración y modernización de su patrimonio SQL. Lakebridge se utilizó al principio del proceso para escanear y estimar la complejidad del código SQL existente, proporcionando una visión clara y basada en datos del esfuerzo, el riesgo y la priorización para la migración a Databricks SQL.

A partir de ahí, modelos de lenguaje grandes alojados en Databricks, como Claude Sonnet y Genie Code, se integraron en el flujo de trabajo del desarrollador. Estos modelos ayudaron a automatizar y optimizar tareas como la conversión de T‑SQL a Databricks SQL, contribuyendo no solo a adoptar un enfoque de "lift and shift" sino también a eliminar la deuda técnica mediante la mejora de las uniones y funciones de ventana, y sugiriendo optimizaciones de rendimiento que aprovechan las características de Delta.

También ayudaron a explicar y descomponer procedimientos almacenados complejos, dividiéndolos en consultas modulares y notebooks más adecuados para la arquitectura Lakehouse. Este enfoque se integró en un flujo de trabajo de desarrollo controlado, con resultados revisados y validados por ingenieros para garantizar que se mantuvieran los estándares de precisión, coherencia y calidad de auditoría. Esto redujo el tiempo de refactorización en aproximadamente un 60%, permitiendo al equipo modernizar más de 400 scripts y procedimientos almacenados en aproximadamente tres meses sin comprometer la calidad ni el control.

Reimaginando el proceso de auditoría con Genie

Impulsado por la base de Databricks SQL, Genie puede redefinir cómo los analistas y auditores exploran y verifican los datos. Los usuarios pueden hacer preguntas en lenguaje natural mientras Genie genera SQL totalmente rastreable y con control de versiones, manteniendo la transparencia y la integridad de los datos requeridas para el cumplimiento normativo.

El Agente Genie va un paso más allá, impulsando un análisis más profundo y de nivel de investigación, manteniendo una transparencia y un control completos. Cada resultado está vinculado a fuentes de datos aprobadas y auditables, lo que da a los equipos la confianza para avanzar más rápido sin sacrificar la precisión o la garantía. Juntos, Genie está estableciendo un nuevo estándar para el análisis de auditoría inteligente y confiable.

Rendimiento elástico con SQL Serverless

Las cargas de trabajo de auditoría son inherentemente variables, con temporadas pico pronunciadas y volúmenes de datos impredecibles, desde miles hasta miles de millones de filas de datos financieros que se procesan en miles de auditorías de KPMG UK entregadas a nivel global. Databricks SQL Serverless aborda esto proporcionando una computación elástica y totalmente gestionada que se escala automáticamente hacia arriba y hacia abajo para satisfacer la demanda.

Esto significa que los analistas y auditores dedican más tiempo a centrarse en el análisis y menos a la planificación de la infraestructura, la gestión de la capacidad o los recursos inactivos. El resultado es un tiempo de obtención de insights más rápido, una reducción de los gastos operativos y una experiencia consistente para los equipos que entregan análisis de alto valor bajo presión de tiempo.

Compartición conectada y gobernada por diseño

La conectividad segura y gobernada con las entidades auditadas es un requisito fundamental para la plataforma de datos de auditoría de KPMG UK. Siguiendo una visión desarrollada con el apoyo de Databricks, Delta Sharing y las capacidades más amplias de federación de datos se han convertido en componentes centrales de la arquitectura.

Estas capacidades permiten un intercambio de datos auditable, rastreable y oportuno, manteniendo un control estricto sobre el acceso y el linaje. También apoyan la colaboración entre geografías y entidades, ayudando a los auditores a trabajar desde una vista consistente y confiable de los datos.

Las personas en el centro del cambio

La tecnología por sí sola no genera transformación. KPMG UK puso a las personas y el desarrollo de capacidades en el centro del programa. Una iniciativa de habilitación coordinada capacitó a analistas de datos de auditoría e ingenieros de datos para entregar análisis junto con el equipo de auditoría central, utilizando una plataforma basada en Databricks, junto con nuevos procesos operativos y formas de trabajo modernas y ágiles.

Más de 200 nuevos usuarios fueron capacitados e incorporados a la nueva plataforma en tres meses, asegurando una integración fluida en la nueva plataforma y en las formas de realizar análisis. La capacitación cubrió las mejores prácticas de ingeniería de datos, el uso de Databricks, los principios de gobernanza y más.

Resultados y el camino a seguir

El resultado es una plataforma de datos de Auditoría unificada que consolida la gobernanza, el control de acceso y el linaje de datos, al tiempo que simplifica las operaciones mediante el escalado automatizado sin servidor. Las mejoras en la ejecución de Spark, las cargas de trabajo SQL optimizadas y una integración más estrecha con herramientas posteriores como Power BI han contribuido a una mayor productividad y una experiencia más fluida para el analista.

De cara al futuro, KPMG UK está expandiendo Delta Sharing y la federación de datos, escalando a cargas de trabajo globales más complejas y continuando la migración y unificación de datos, código y equipos en Lakehouse. Las capacidades de bajo código y sin código, como Lakeflow Designer, junto con Databricks Apps y Lakebase, democratizarán aún más el análisis, mientras que la preparación para la IA se está diseñando en cada capa de la arquitectura. El Analizador de Informes Financieros, una herramienta de Auditoría GenAI interna de KPMG UK, fue desarrollado y ha sido ampliamente adoptado por los Auditores. Mientras tanto, se está construyendo una Fábrica de IA para asegurar la reutilización de patrones y artefactos de casos de uso de IA existentes. Esta plataforma también proporciona una base para la futura gobernanza y garantía de la IA, permitiendo controles, monitoreo y evidencia consistentes a lo largo del ciclo de vida de la IA a medida que las expectativas regulatorias continúan evolucionando.

Construyendo una IA más confiable en un Lakehouse unificado

Con una sólida arquitectura lakehouse y datos de auditoría consolidados en una única plataforma gobernada, KPMG UK está posicionada para construir soluciones de IA confiables y GenAI. La mayoría de los agentes de IA no fallan porque “no pueden razonar”, sino porque no se les proporcionan los datos correctos, completos o bien gobernados en primer lugar. Una lakehouse aborda esto directamente al hacer que los datos de alta calidad y auditables sean la entrada predeterminada para cada flujo de trabajo de IA.

Sobre esta base, KPMG UK puede diseñar agentes de IA que trabajen desde una única fuente de verdad, con linaje, controles de acceso y verificaciones de calidad aplicadas en la capa de datos en lugar de en cada modelo. Esto significa que la generación aumentada por recuperación (RAG), el análisis de escenarios y los asistentes inteligentes para auditores pueden extraer información de las mismas tablas curadas y vistas gobernadas. Al alinear la arquitectura de datos, el desarrollo de modelos y los controles con los principios de IA Confiable de KPMG UK, los resultados de la IA pueden rastrearse hasta fuentes de datos gobernadas, lo que apoya la explicabilidad, la auditabilidad y la confianza en su uso.

(Esta entrada del blog ha sido traducida utilizando herramientas basadas en inteligencia artificial) Publicación original