Combatendo o impacto da fraude financeira

Superando um enorme volume de dados e diversos obstáculos operacionais

O setor financeiro no Brasil tem enfrentado um cenário de atividades fraudulentas em constante evolução, impulsionado pela rápida digitalização das transações e pela crescente sofisticação das ameaças cibernéticas. Em resposta às atividades fraudulentas desenfreadas na região, a AME Digital concentrou seus esforços em aproveitar dados e IA para garantir a segurança e a confiança de sua vasta base de clientes, detectando e prevenindo de forma eficiente transações potencialmente fraudulentas antes que possam causar danos. Esta questão foi particularmente crítica dado que o volume de vendas da AME Digital quadruplicou durante a temporada de pico no varejo, tornando mais desafiador para a empresa resolver esse grande problema.

A AME enfrentou enormes obstáculos ao gerenciar mais de 700 conjuntos de dados, muitas vezes isolados em silos dentro de diferentes equipes e sistemas. À medida que a AME expandia sua base de clientes, a quantidade de dados continuou a aumentar, resultando em fluxos de trabalho propensos a erros e que consumiam muitos recursos. O fato de ser uma equipe nova e focada digitalmente dentro de uma estrutura corporativa mais antiga e estabelecida, trouxe outro conjunto de desafios que tornou mais difícil alinhar objetivos e operações de dados e, por sua vez, criou atrito entre equipes e departamentos. Devido a essa falta de coesão na integração e colaboração de dados, a equipe de engenharia sentiu dificuldade em fornecer valor e fomentar inovação, incluindo a alavancagem de ciência de dados e aprendizado de máquina para implementar soluções preditivas e se antecipar aos malfeitores.

Essa fragmentação não apenas impactou a eficiência operacional e o potencial futuro da AME, mas também prejudicou a capacidade de tomar decisões estratégicas da empresa e sua agilidade em responder às mudanças e demandas do mercado. Também criou desafios regulatórios no tratamento dos dados financeiros sensíveis dos seus clientes, mesmo que a fintech estivesse se esforçando para garantir uma comunicação ininterrupta com seu banco central em conformidade com as normas regulamentares. Todos esses fatores causaram um aumento acentuado nos gastos operacionais, impulsionado principalmente pelo aumento dos custos de armazenamento e computação. O que mais gerou complicações foi o legado da infraestrutura de dados existente, baseada em um ambiente Hadoop local, que representava obstáculos devido à sua complexidade, altos custos e escalabilidade limitada – fazendo com que a inovação chegasse a um impasse.

“À medida que crescemos, precisávamos expandir a estrutura de dados para detecção de fraudes através de um conjunto mais amplo de casos de uso. Finalmente, escolhemos a Databricks para nos ajudar nessa complexa jornada devido ao seu ambiente unificado”, explicou Filipe Barbosa, Gerente de Produto de Dados na AME Digital.

Unificando dados para desbloquear o potencial do ML

A Plataforma de Inteligência de Dados da Databricks emergiu como uma solução transformadora para a AME Digital. Usando o Delta Lake, a camada de armazenamento fundamental otimizada dentro da plataforma, a AME centralizou com sucesso mais de 700 conjuntos de dados. Isso foi crucial para combater fraudes e aprimorar análises para reduzir custos — dois dos principais objetivos da empresa. Filipe Barbosa argumentou: "É mais fácil termos todas as ferramentas necessárias em um só lugar para realizar cada tarefa — sem gargalos."A AME Digital usa o MLflow para gerenciar vários ciclos de aprendizado de máquina, incluindo um algoritmo para ajudar a equipe da AME a detectar possíveis comportamentos fraudulentos, ao mesmo tempo em que reduz o número de revisões manuais. Com a ajuda da Eleflow Big Data, um parceiro certificado da Databricks, a AME conseguiu aproveitar a Plataforma Databricks para analisar grandes volumes de dados em tempo real, identificar padrões de comportamento suspeitos e bloquear possíveis transações fraudulentas antes que ocorressem.

Baseado no Delta Lake e o MLflow, a integração do Unity Catalog fortaleceu ainda mais as habilidades da AME Digital em gerenciar e proteger seus dados. O Unity Catalog centralizou a gestão de informações pessoalmente identificáveis (PII) e aprimorou os controles de acesso para garantir melhor conformidade e governança. Devido à facilidade de uso e à implementação simples, a AME continuou a expandir sua colaboração com a Databricks através de sua integração ao Power BI. Ao aproveitar efetivamente as robustas capacidades de processamento de dados da Databricks, a AME conseguiu alimentar uma ampla variedade de dados no Power BI e criou mais de 700 painéis dinâmicos para tomada de decisões financeiras e de desenvolvimento de produtos. Essa integração não apenas otimizou os processos de relatórios, mas também elevou significativamente a visibilidade e a usabilidade dos dados em toda a organização. Com o Photon, mecanismo de consulta altamente otimizado da Databricks projetado para melhorar o desempenho no processamento de dados em grande escala, a empresa começou a obter uma enorme economia de tempo em todos os departamentos.

Nada disso poderia ter acontecido sem a experiência da Eleflow na migração e no eficiente gerenciamento do crescimento de 1TB para mais de 400TB de dados diversos. O suporte estratégico do parceiro de implementação, combinado com os recursos avançados da Databricks, otimizou as cargas de trabalho de dados da AME para desempenho e eficiência de custos. No geral, a sólida parceria entre a AME Digital, a Eleflow e a Databricks lançou as bases para a ambição futura da AME: estabelecer um Centro de Excelência (CoE) projetado para democratizar dados, incentivar o autoatendimento, a tomada de decisões baseada em dados e reduzir a necessidade de extensos investimentos de recursos de engenharia na construção de pipelines e painéis de dados.

Evolução das operações, detecção de fraudes e gestão de custos

Na busca pela eficiência operacional e gestão de custos, a Databricks entregou à AME Digital tudo o que precisava para alcançar seus objetivos iniciais a partir de uma única plataforma. Primeiramente, os esforços incansáveis da equipe de dados para implementar a Databricks em diferentes casos de uso, incluindo gestão de dados, governança de dados e desenvolvimento de aprendizado de máquina, resultaram em uma redução de 34% nos custos operacionais.

Em segundo lugar, a Databricks facilitou os workloads de dados diversificados em grande escala por meio do uso do Delta Lake, Unity Catalog, Photon e a integração com o Power BI, resultando em uma considerável economia de tempo em diversas funções comerciais. Notavelmente, os tempos de execução de tarefas foram reduzidos de 5 horas e 30 minutos para apenas 50 minutos — uma redução de 85% no tempo de fluxos de trabalho de dados.

Em terceiro lugar, o impacto da Databricks foi particularmente evidente na prevenção de fraudes, com seu modelo de detecção de fraudes alcançando uma taxa de precisão de 90%. Para Helena Valente, Estrategista de Dados da Eleflow, “Trabalhar com a Databricks tem sido uma experiência maravilhosa. Ver o crescimento da base de dados da AME de 1TB para mais de 400TB — e o que eles puderam criar para tornar esses dados impactantes para sua organização — é realmente uma conquista incrível.” A AME se sente mais confiante do que nunca, especialmente durante períodos de alta demanda, como a Black Friday, em que suas equipes podem antecipar-se ao comportamento fraudulento antes que impactem os clientes, e também confiar na plataforma para que todas as funções e pipelines sejam executados, independentemente da quantidade de pedidos feitos.

Olhando para o futuro, essa integração estratégica de dados, análises e IA nas operações comerciais da AME Digital posiciona a marca para um crescimento e inovação contínuos. Filipe Barbosa concluiu: “Enquanto a Databricks continuar inovando, estamos confiantes de que poderemos promover nosso negócio como um líder digital simplesmente usando seu conjunto de ferramentas.”