Impulsionando o Futuro da IA da Auditoria da KPMG UK com Databricks

A KPMG UK tem usado dados e análises em escala em seu portfólio de Auditoria por muitos anos e é líder no mercado pelo uso de tecnologia em Auditoria. Com base nessa sólida fundação, a KPMG UK está agora evoluindo sua plataforma de dados com tecnologias Databricks para se manter à frente na era da IA e desbloquear uma nova geração de Auditoria inteligente e orientada por insights.

De D&A robusta a entrega confiável e com prioridade em IA

A área de Auditoria da KPMG UK executa análises complexas e de alto volume ao auditar entidades globalmente, com processos maduros de dados e análises. A mais recente onda de transformação foca em evoluir uma base de dados comprovada e confiável para uma habilitada por IA, preservando o rigor, a governança e os padrões profissionais exigidos para a Auditoria. Ao convergir para uma arquitetura Lakehouse unificada e nativa da nuvem, as equipes de Auditoria obtêm uma plataforma governada que reúne dados estruturados, análises avançadas e IA em um só lugar. Essa base moderna preserva a robustez e a confiança esperadas da Auditoria, ao mesmo tempo em que permite experimentação mais rápida, insights mais ricos e uma entrega de auditoria mais dinâmica.

Databricks SQL como motor principal

Parte dessa evolução é a migração de cargas de trabalho SQL principais de ambientes tradicionais de SQL Server para Databricks SQL. Essa mudança leva dados críticos de Auditoria diretamente para o Lakehouse, onde podem suportar desde relatórios clássicos até casos de uso avançados de IA e machine learning na mesma plataforma, conforme apropriado.

O Databricks SQL oferece escalabilidade horizontal, recursos em tempo real e de streaming, e suporte nativo para cargas de trabalho de IA e machine learning, tudo sustentado pelo Delta. Isso facilita muito o tratamento de picos sazonais, volumes de dados diversos e demandas analíticas cada vez mais complexas. Ele também se integra naturalmente com ferramentas low-code e no-code, como Lakeflow Designer e produtos de BI habilitados para IA, abrindo as portas para que uma gama mais ampla de usuários participe da análise.

Migração de SQL acelerada por IA

Para manter o programa rápido e focado, a KPMG UK usou IA para acelerar a migração e modernização de seu ambiente SQL. Lakebridge foi usado no início do processo para escanear e estimar a complexidade do código SQL existente, fornecendo uma visão clara e orientada por dados do esforço, risco e priorização para a transição para o Databricks SQL.

A partir daí, modelos de linguagem grandes hospedados no Databricks, como Claude Sonnet e Genie Code, foram integrados ao fluxo de trabalho do desenvolvedor. Esses modelos ajudaram a automatizar e otimizar tarefas como a conversão de T-SQL para Databricks SQL, auxiliando não apenas na abordagem de "lift and shift", mas também na remoção de dívida técnica ao melhorar junções e funções de janela, e sugerindo otimizações de desempenho que aproveitam os recursos do Delta.

Eles também auxiliaram na explicação e decomposição de procedimentos armazenados complexos, dividindo-os em consultas modulares e notebooks mais adequados à arquitetura Lakehouse. Essa abordagem foi incorporada a um fluxo de trabalho de desenvolvedor controlado, com os resultados revisados e validados por engenheiros para garantir que a precisão, consistência e os padrões de qualidade de auditoria fossem mantidos. Isso reduziu o tempo de refatoração em cerca de 60%, permitindo que a equipe modernizasse mais de 400 scripts e procedimentos armazenados em aproximadamente três meses, sem comprometer a qualidade ou o controle.

Reimaginando o Processo de Auditoria com Genie

Alimentado pela base do Databricks SQL, o Genie pode redefinir como analistas e auditores exploram e verificam dados. Os usuários podem fazer perguntas em linguagem natural enquanto o Genie gera SQL totalmente rastreável e com controle de versão, mantendo a transparência e a integridade dos dados exigidas para conformidade regulatória.

O Genie Agent vai um passo além, impulsionando análises mais profundas e de nível de pesquisa, mantendo total transparência e controle. Cada resultado está vinculado a fontes de dados aprovadas e auditáveis, dando às equipes a confiança para avançar mais rapidamente sem sacrificar a precisão ou a garantia. Juntos, o Genie está estabelecendo um novo padrão para análises de auditoria inteligentes e confiáveis.

Desempenho elástico com SQL Serverless

As cargas de trabalho de auditoria são inerentemente irregulares, com picos sazonais pronunciados e volumes de dados imprevisíveis – de milhares a bilhões de linhas de dados financeiros que são processados em milhares de auditorias da KPMG UK entregues globalmente. O Databricks SQL Serverless aborda isso fornecendo um recurso de computação totalmente gerenciado e elástico que escala automaticamente para cima e para baixo para corresponder à demanda.

Isso significa que analistas e auditores dedicam mais tempo à análise e menos ao planejamento de infraestrutura, gerenciamento de capacidade ou recursos ociosos. O resultado é um tempo mais rápido para obter insights, redução da sobrecarga operacional e uma experiência consistente para equipes que entregam análises de alto valor sob pressão de tempo.

Compartilhamento conectado e governado por design

A conectividade segura e governada com entidades auditadas é um requisito central para a plataforma de dados de auditoria da KPMG UK. Seguindo uma visão desenvolvida com o apoio da Databricks, Delta Sharing e capacidades mais amplas de federação de dados tornaram-se componentes centrais da arquitetura.

Essas capacidades permitem a troca de dados auditável, rastreável e oportuna, mantendo um controle rigoroso sobre o acesso e a linhagem. Elas também apoiam a colaboração entre geografias e entidades, ajudando os auditores a trabalhar a partir de uma visão consistente e confiável dos dados.

Pessoas no centro da mudança

A tecnologia por si só não entrega transformação. A KPMG UK colocou as pessoas e o desenvolvimento de capacidades no centro do programa. Uma iniciativa de capacitação coordenada aprimorou analistas de dados de auditoria e engenheiros de dados para entregar análises juntamente com a equipe de auditoria principal, usando uma plataforma baseada em Databricks, ao lado de novos processos operacionais e formas de trabalho modernas e ágeis.

Mais de 200 novos usuários foram capacitados e integrados à nova plataforma em três meses, garantindo uma integração suave à nova plataforma e às formas de realizar análises. O treinamento cobriu as melhores práticas de engenharia de dados, uso do Databricks, princípios de governança e muito mais.

Resultados e o caminho a seguir

O resultado é uma plataforma unificada de dados de Auditoria que consolida governança, controle de acesso e linhagem de dados, ao mesmo tempo em que simplifica as operações por meio de escalabilidade automatizada e serverless. Melhorias na execução do Spark, cargas de trabalho SQL otimizadas e uma integração mais estreita com ferramentas downstream, como o Power BI, contribuíram para maior produtividade e uma experiência mais fluida para os analistas.

Olhando para o futuro, a KPMG UK está expandindo o Delta Sharing e a federação de dados, escalando para cargas de trabalho globais mais complexas e continuando a migrar e unificar dados, código e equipes no Lakehouse. Capacidades low-code e no-code, como Lakeflow Designer, juntamente com Databricks Apps e Lakebase, irão democratizar ainda mais a análise, enquanto a prontidão para IA está sendo projetada em cada camada da arquitetura. O Financial Report Analyser, uma ferramenta de Auditoria GenAI interna da KPMG UK, foi desenvolvido e amplamente adotado pelos Auditores. Enquanto isso, uma Fábrica de IA está sendo construída para garantir a reutilização de padrões e artefatos de casos de uso de IA existentes. Esta plataforma também fornece uma base para futura governança e garantia de IA, permitindo controles consistentes, monitoramento e evidências em todo o ciclo de vida da IA, à medida que as expectativas regulatórias continuam a evoluir.

Construindo IA mais confiável em um Lakehouse unificado

Com uma arquitetura lakehouse sólida e dados de auditoria consolidados em uma única plataforma governada, a KPMG UK está posicionada para construir soluções de IA confiáveis e GenAI. A maioria dos agentes de IA não falha porque "não consegue raciocinar", mas porque não recebe os dados corretos, completos ou bem governados em primeiro lugar. Um lakehouse aborda isso diretamente, tornando dados auditáveis e de alta qualidade a entrada padrão para cada fluxo de trabalho de IA.

Sobre esta base, a KPMG UK pode projetar agentes de IA que operam a partir de uma única fonte de verdade, com linhagem, controles de acesso e verificações de qualidade aplicados na camada de dados, em vez de em cada modelo. Isso significa que a geração aumentada por recuperação (RAG), a análise de cenários e os assistentes inteligentes para auditores podem todos se basear nas mesmas tabelas curadas e visualizações governadas. Ao alinhar a arquitetura de dados, o desenvolvimento de modelos e os controles com os princípios de IA Confiável da KPMG UK, as saídas de IA podem ser rastreadas até fontes de dados governadas, apoiando a explicabilidade, a auditabilidade e a confiança no uso.

(Esta publicação no blog foi traduzida utilizando ferramentas baseadas em inteligência artificial) Publicação original