Equiniti: Do zero ao AI

Introdução

Equiniti (EQ), líder global em serviços de acionistas, pensões e remediação, utilizou o Databricks para revolucionar sua abordagem orientada a dados e aprimorar a experiência do cliente em 136 países. Atendendo a mais de 6.000 empresas, a EQ reconheceu a necessidade de se adaptar a ambientes cada vez mais complexos e regulamentados, aproveitando o poder da análise avançada e da IA generativa.

Como o acesso rápido às informações é fundamental para o sucesso dos clientes da Equiniti, eles queriam fazer dos dados (e dos insights orientados a dados) a base de sua abordagem operacional e estratégica. A Equiniti buscou implementar práticas de negócios mais informadas, eficientes e eficazes, além de aproveitar os novos avanços em análise avançada e GenAI para aprimorar a experiência do cliente e impulsionar a inovação interna.

Para atingir esses objetivos, a Equiniti precisava criar uma plataforma de dados segura, de alto desempenho e preparada para o futuro, capaz de dar suporte a qualquer aplicação de dados e IA nova ou existente. Este blog descreve como e por que eles escolheram a Databricks Data Intelligence Platform para apoiar sua infraestrutura e detalha os casos de uso avançados que já exploraram aproveitando a Databricks Platform e as ferramentas da Databricks, como o desenvolvimento do PensionGuru, seu chatbot baseado em GenAI.

Etapa 1: Identificar valor e construir bases de dados sólidas

Em vez de começar com a pergunta "Para que podemos usar a IA?", a Equiniti perguntou: "Como podemos oferecer um novo valor aos nossos clientes usando dados confiáveis e de alta qualidade, além de ferramentas e técnicas modernas?"

Alguns temas comuns surgiram: obter acesso a dados confiáveis em escala, ter agilidade para experimentar e agir de forma rápida e econômica, acelerar a capacitação de especialistas no assunto (SMEs) e recursos existentes, e ser capaz de modernizar rapidamente suas ofertas para atender às necessidades dos clientes.

A partir desse trabalho inicial, a Equiniti identificou os principais requisitos para uma futura plataforma de dados em nuvem e IA que permitisse extrair o máximo de valor de seus dados:

● Governança integrada de dados e IA: Sem governança e controle, não há valor. A Equiniti precisava de recursos robustos de segurança, controles de acesso, linhagem automática e auditoria que ajudassem a manter a conformidade com os requisitos regulatórios, rastreando o fluxo e a transformação dos dados na plataforma, além de criar confiança com stakeholders e clientes internos e externos.

● Uma plataforma unificada e aberta: Outro requisito era uma arquitetura simples que pudesse dar suporte a engenharia de dados, ciência de dados, análise avançada e GenAI. A Equiniti queria eliminar silos e duplicações desnecessárias de dados, além de evitar a dependência de uma solução proprietária. Eles queriam uma plataforma baseada em padrões e protocolos abertos. Além disso, precisavam de suporte para fontes de dados em lote e streaming em qualquer formato para cargas de trabalho de GenAI. Com a natureza distribuída de seus dados e sistemas, uma única plataforma que pudesse se tornar uma fonte analítica da verdade seria um enorme passo à frente.

● Otimização de custos: Por fim, a Equiniti precisava de computação escalável e otimizada que aprimorasse o processamento de dados e reduzisse o TCO com um modelo real baseado em consumo. A capacidade de começar com um investimento inicial baixo e depois escalar conforme necessário era essencial.

Com esses requisitos em mente, a Equiniti escolheu a Databricks Data Intelligence Platform como a espinha dorsal de sua plataforma moderna de dados em nuvem e IA.

Etapa 2: Agir rápido e aproveitar conjuntos de ferramentas integrados

Tradicionalmente, é necessário o envolvimento de muitas equipes diferentes para avaliar componentes separados e serviços distintos que formam uma plataforma de dados, exigindo a navegação por prioridades e recursos concorrentes para implementá-la. No entanto, a Equiniti conseguiu implantar de forma rápida e fácil a Databricks Platform e explorar todos os seus recursos integrados. A opção de experimentar e escalar rapidamente, mas de forma econômica, permitiu que a Equiniti tomasse decisões com confiança na prototipagem de conectividade, processamento de dados e recursos analíticos, sem um investimento inicial significativo de tempo ou custo. Assim que a Equiniti estabeleceu os principais casos de uso para sua implementação inicial de IA, eles colaboraram com a equipe da Databricks para criar uma arquitetura inicial, conforme mostrado na Figura 1 abaixo. Por meio de uma série de workshops, os arquitetos de soluções da Databricks demonstraram como utilizar melhor os recursos integrados da plataforma; a Equiniti também utilizou recursos abrangentes de aprendizado autônomo para se capacitar.

Um dos recursos mais valiosos da Databricks Platform é o Unity Catalog, uma solução de governança unificada e aberta para dados e IA. A capacidade de rastrear a linhagem capturada automaticamente dos dados ingeridos e como eles foram transformados e usados no modelo foi fundamental para criar confiança, entendimento e obter a aprovação das equipes de InfoSec e Riscos da Equiniti. A Equiniti conseguiu demonstrar quais dados estavam sendo usados e onde, sem custo adicional, sobrecarga de implementação e tempo no gerenciamento de um catálogo de dados separado. Além disso, Delta Sharing e o Databricks Marketplace têm sido transformadores, pois permitiram que a Equiniti compartilhasse dados externamente com parceiros pela primeira vez. Obter a capacidade de visualizar dados de várias fontes que antes eram inacessíveis ou isoladas e utilizar dados de provedores externos sem ter que armazenar e manter conjuntos de dados em escala de petabytes permitiu que a Equiniti desenvolvesse insights de forma rápida e fácil que antes estavam fora de alcance. A capacidade de as equipes de negócios descobrirem e usarem facilmente as mesmas ferramentas e ativos de dados a partir de uma fonte central e confiável continuará a impulsionar a qualidade e o valor em sua plataforma de dados.

Para a pequena equipe de engenharia da Equiniti, um dos recursos que mais poupou tempo na Databricks Platform foi o Lakeflow Connect. O Databricks Lakeflow oferece conectores integrados para a ingestão de dados de aplicações corporativas e bancos de dados. A capacidade de criar integrações sem código de forma integrada com nossas principais plataformas, como Workday, Salesforce e SQL Server, reduziu massivamente o tempo necessário para disponibilizar os dados no Databricks para consumo dos modelos. Isso reduziu significativamente os custos de armazenamento e computação e poupou meses de trabalho de desenvolvimento para a Equiniti em comparação com o método tradicional de criar integrações de API e processos de ETL para armazenar e gerenciar dados. A equipe da Equiniti pôde, então, concentrar-se em áreas multiplicadoras de valor, como a criação de aplicações de Gen AI que entregariam valor ao negócio.

Por fim, o desenvolvimento dessas novas aplicações de GenAI exige um novo tipo de "desenvolvedor de conhecimento". Trata-se de especialistas no assunto (SMEs) que entendem profundamente o negócio (no caso da Equiniti, o mercado de pensões). Esses especialistas devem ter acesso contínuo a ferramentas e plataformas para fornecer feedbacks cruciais e garantir que as aplicações de GenAI estejam entregando resultados precisos e de alta qualidade. A facilidade de uso e a acessibilidade da Databricks Platform facilitaram a colaboração eficaz dos SMEs com as equipes de desenvolvimento e engenharia na criação de aplicações de GenAI. Ao aproveitar sua experiência e insights de negócios profundos, a Equiniti conseguiu estabelecer a verdade fundamental (ground truth) e receber feedbacks valiosos, o que ajudou no ajuste fino das respostas e do conteúdo gerado para uso em toda a organização.

Etapa 3: Mostrar valor, entregar resultados e continuar inovando

Um dos primeiros casos de uso de GenAI da Equiniti foi o desenvolvimento de seu chatbot de GenAI, PensionGuru. Dado o papel da Equiniti na administração de inúmeros planos de previdência, seus funcionários frequentemente precisam navegar e interpretar um grande volume de documentos, incluindo políticas, escrituras de fundos e diretrizes. O PensionGuru resolve esse desafio oferecendo respostas instantâneas e precisas, simplificando o acesso a informações complexas e aumentando a produtividade.

O aplicativo aumenta significativamente a eficiência dos negócios ao automatizar a análise de documentos e minimizar o tempo necessário para extrair detalhes críticos, reduzindo assim os custos administrativos. Tarefas que antes levavam muitas horas agora são concluídas em minutos. PensionGuru capacita os funcionários a recuperar informações de forma rápida e precisa, melhorando a prestação de serviços e os processos de tomada de decisão. Ao utilizar processamento de linguagem natural avançado, o aplicativo compreende e processa as consultas dos usuários de forma inteligente, fornecendo informações contextualmente relevantes a partir de grandes conjuntos de dados. Essa inovação não apenas economiza tempo, mas também aprimora os insights baseados em dados, permitindo uma abordagem mais estratégica para a gestão de planos de previdência.

Para criar o PensionGuru, a Equiniti começou coletando milhares de documentos de previdência, originalmente armazenados como arquivos PDF, e carregando-os em um Databricks Volume, conforme mostrado na Figura 2 acima. Em seguida, a Equiniti gerenciou com eficiência esses arquivos não estruturados por meio do Unity Catalog, desde o ponto de ingestão. A etapa seguinte foi extrair o texto dos documentos, dividi-lo em blocos gerenciáveis e armazenar os dados em uma tabela Delta. Usando o Databricks AI Search com uma configuração serverless, a Equiniti construiu facilmente um banco de dados vetorial para dar suporte a recursos de busca e recuperação.

Para alimentar o aplicativo, a Equiniti aproveitou o Databricks Model Serving para estabelecer um endpoint de LLM baseado no poderoso e econômico modelo de código aberto Meta Llama 3.1 70B. Por fim, a Equiniti conseguiu implantar o chatbot de forma contínua e segura para os usuários finais com o Databricks Apps, uma nova solução simples e serverless para criar aplicativos prontos para produção com governança integrada sobre a Databricks Data Intelligence Platform. O recurso integrado do Apps poupou muito tempo e foi um divisor de águas, pois eliminou a necessidade de a equipe de dados da Equiniti implantar, gerenciar e manter a infraestrutura subjacente para dar suporte ao aplicativo. Em vez disso, a equipe pôde se concentrar em entregar valor de negócios, em vez de gastar tempo com tarefas rotineiras, como a integração de serviços isolados e o gerenciamento de infraestrutura de IT.

Os resultados e feedbacks iniciais do PensionGuru têm sido altamente animadores, e a Equiniti continua a refinar e aprimorar o desempenho do aplicativo por meio de experimentação contínua e treinamento de modelos. Eles também estão explorando a incorporação de um framework de agentes de AI que permitiria personalizar e estender ainda mais os recursos do PensionGuru, tornando-o ainda mais responsivo e adaptado às necessidades específicas da administração de planos de previdência. Com essa abordagem, a Equiniti visa entregar ainda mais precisão e eficiência no processamento e na recuperação de informações críticas de previdência.

Conclusão

Ao selecionar a Databricks Data Intelligence Platform, a Equiniti entregou uma solução modular, extensível e capaz de atender a todas as necessidades atuais e futuras de dados e AI. A capacidade do Databricks de unificar engenharia de dados, ciência de dados, machine learning e GenAI em uma única solução permite que a Equiniti alcance altos níveis de eficiência e escalabilidade. Essa abordagem abrangente está ancorada na governança de dados fundamental com o Unity Catalog, que promove a acessibilidade dos dados em toda a organização.

Além disso, as ferramentas e ambientes avançados da plataforma Databricks para desenvolvimento e implantação de modelos de AI abriram novas oportunidades, impulsionando tanto a inovação quanto a eficiência operacional, sem sacrificar a integração, a segurança e a governança dos dados.

"Embora estejamos no início de nossa jornada de Generative AI, estamos confidentes em nossa capacidade de entregar um valor de negócios significativo com a Databricks Data Intelligence Platform."—James West, Diretor Estratégico de Dados na Equiniti

A Equiniti está agora no processo de migração, consolidação e integração de todas as suas fontes de dados no ambiente Databricks, além de treinar e integrar novos usuários, e possui um grande número de casos de uso de analytics avançado e AI no pipeline para entregar em um futuro próximo.

Este post de blog foi escrito em conjunto por James West (Equiniti) e Tomasz Kurzydym (Databricks).

(Esta publicação no blog foi traduzida utilizando ferramentas baseadas em inteligência artificial) Publicação original