Equiniti : de zéro à l'AI

Introduction

Equiniti (EQ), leader mondial des services aux actionnaires, de retraite et de remédiation, a tiré parti de Databricks pour révolutionner son approche axée sur les données et améliorer l'expérience client dans 136 pays. Accompagnant plus de 6 000 entreprises, EQ a reconnu la nécessité de s'adapter à des environnements de plus en plus complexes et réglementés en exploitant la puissance de l'analyse avancée et de l'AI générative.

Étant donné qu'un accès rapide aux informations est essentiel au succès des clients d'Equiniti, l'entreprise souhaitait faire des données (et des insights basés sur les données) le fondement de son approche opérationnelle et stratégique. Equiniti visait à mettre en œuvre des pratiques commerciales plus éclairées, efficaces et performantes, et à tirer parti des nouveaux développements en matière d'analyse avancée et de GenAI pour améliorer l'expérience client et stimuler l'innovation interne.

Pour atteindre ces objectifs, Equiniti devait concevoir une plateforme de données évolutive, sécurisée et performante, capable de prendre en charge toutes les applications de données et d'AI existantes ou futures. Ce blog décrit comment et pourquoi ils ont choisi la Databricks Data Intelligence Platform pour soutenir leur infrastructure, et détaille les cas d'usage avancés qu'ils ont déjà explorés en exploitant la plateforme Databricks et ses outils, comme le développement de PensionGuru, leur chatbot alimenté par la GenAI.

Étape 1 : Identifier la valeur et bâtir des fondations de données solides

Plutôt que de commencer par se demander « Comment pouvons-nous utiliser l'AI ? », Equiniti s'est demandé « Comment pouvons-nous apporter une nouvelle valeur à nos clients, en utilisant des données fiables et de haute qualité ainsi que des outils et techniques modernes ? »

Quelques thèmes communs ont émergé : accéder à des données fiables à grande échelle, disposer de l'agilité nécessaire pour expérimenter et agir rapidement et à moindre coût, accélérer la montée en compétences des experts métier (SME) et des ressources existantes, et être en mesure de moderniser rapidement leurs offres pour répondre aux besoins des clients.

À partir de ce travail initial, Equiniti a identifié les exigences clés pour une future plateforme de données cloud et d'AI qui leur permettrait de libérer au mieux la valeur de leurs données :

● Gouvernance intégrée des données et de l'AI : Sans gouvernance ni contrôle, il ne peut y avoir de valeur. Equiniti avait besoin de fonctionnalités de sécurité robustes, de contrôles d'accès, d'un lignage automatique et d'audits pour l'aider à maintenir la conformité avec les exigences réglementaires en suivant le flux et la transformation des données sur la plateforme, et à instaurer la confiance avec les parties prenantes internes et externes ainsi que les clients.

● Une plateforme unifiée et ouverte : Une autre exigence était une architecture simple capable de prendre en charge le data engineering, la data science, l'analyse avancée et la GenAI. Equiniti souhaitait éliminer les silos et les duplications de données inutiles, et éviter d'être liée à une solution propriétaire. Ils voulaient une plateforme construite sur des standards et des protocoles ouverts. De plus, ils avaient besoin de la prise en charge des sources de données en batch et en streaming dans n'importe quel format pour les charges de travail de GenAI. Compte tenu de la nature distribuée de leurs données et de leurs systèmes, une plateforme unique capable de devenir une source unique de vérité analytique constituerait un immense pas en avant.

● Optimisation des coûts : Enfin, Equiniti avait besoin de ressources de calcul (compute) évolutives et optimisées pour améliorer le traitement des données et réduire le TCO grâce à un véritable modèle basé sur la consommation. La possibilité de commencer par un faible investissement initial, puis d'évoluer selon les besoins, était essentielle.

Avec ces exigences en tête, Equiniti a choisi la Databricks Data Intelligence Platform comme colonne vertébrale de sa plateforme moderne de données cloud et d'AI.

Étape 2 : Agir rapidement et exploiter des ensembles d'outils intégrés

Traditionnellement, l'évaluation de composants distincts et de services différents formant une plateforme de données nécessite la contribution de nombreuses équipes, ce qui impose de jongler avec des priorités et des ressources concurrentes pour la mettre en œuvre. Cependant, Equiniti a pu déployer rapidement et facilement la plateforme Databricks et explorer toutes ses fonctionnalités intégrées. La possibilité d'expérimenter et d'évoluer rapidement mais à moindre coût a permis à Equiniti de prendre en toute confiance des décisions concernant le prototypage de la connectivité, du traitement des données et des capacités analytiques, sans investissement initial important en temps ou en argent. Une fois qu'Equiniti a défini les principaux cas d'usage de sa première implémentation d'AI, elle a collaboré avec l'équipe Databricks pour créer une architecture initiale, comme le montre la Figure 1 ci-dessous. Grâce à une série d'ateliers, les architectes de solutions Databricks ont montré comment utiliser au mieux les fonctionnalités intégrées de la plateforme ; Equiniti a également utilisé des ressources d'apprentissage en autonomie complètes pour monter en compétences.

L'une des fonctionnalités les plus précieuses de la plateforme Databricks est Unity Catalog, une solution de gouvernance unifiée et ouverte pour les données et l'AI. La capacité de suivre le lignage capturé automatiquement des données ingérées, ainsi que la manière dont elles ont été transformées et utilisées dans le modèle, a été essentielle pour instaurer la confiance, la compréhension et obtenir l'approbation des équipes InfoSec et Risk d'Equiniti. Equiniti a pu démontrer quelles données étaient utilisées et à quel endroit, sans coût supplémentaire, sans surcharge d'implémentation et sans perdre de temps à gérer un catalogue de données distinct. De plus, Delta Sharing et Databricks Marketplace ont été transformationnels, car ils ont permis à Equiniti de partager des données en externe avec des partenaires pour la toute première fois. Le fait de pouvoir visualiser des données provenant de multiples sources auparavant inaccessibles ou cloisonnées, et d'utiliser des données de fournisseurs externes sans avoir à stocker et à maintenir des ensembles de données à l'échelle du pétaoctet, a permis à Equiniti de développer rapidement et facilement des insights qui étaient auparavant hors de portée. La capacité des équipes métier à découvrir et à utiliser facilement les mêmes outils et actifs de données à partir d'une source centrale et fiable continuera de stimuler la qualité et la valeur de leur plateforme de données.

Pour la petite équipe d'ingénierie d'Equiniti, l'une des fonctionnalités de la plateforme Databricks qui a permis de gagner le plus de temps a été Lakeflow Connect. Databricks Lakeflow fournit des connecteurs intégrés pour ingérer des données à partir d'applications et de bases de données d'entreprise. La possibilité de créer de manière transparente des intégrations sans code vers nos plateformes de base telles que Workday, Salesforce et SQL Server a considérablement réduit le temps nécessaire pour rendre les données disponibles dans Databricks afin d'être consommées par les modèles. Cela a considérablement réduit les coûts de stockage et de calcul et a évité à Equiniti des mois de travail de développement par rapport à la méthode traditionnelle consistant à créer des intégrations API et des processus ETL pour stocker et gérer les données. L'équipe d'Equiniti a ainsi pu se concentrer sur des domaines multiplicateurs de valeur, tels que la création d'applications de GenAI qui apporteraient de la valeur à l'entreprise.

Enfin, le développement de ces nouvelles applications de GenAI nécessite un nouveau type de « développeur de connaissances ». Il s'agit de SME du domaine qui comprennent parfaitement le métier (dans le cas d'Equiniti, le marché des retraites). Ces experts doivent disposer d'un accès transparent aux outils et aux plateformes pour fournir des retours d'expérience cruciaux et s'assurer que les applications de GenAI fournissent des résultats précis et de haute qualité. La facilité d'utilisation et l'accessibilité de la plateforme Databricks ont permis aux SME de collaborer efficacement avec les équipes de développement et d'ingénierie pour concevoir des applications de GenAI. En tirant parti de leur expertise et de leurs connaissances approfondies du métier, Equiniti a pu établir une vérité terrain et recevoir des retours précieux, ce qui a permis d'affiner les réponses et le contenu généré pour une utilisation dans toute l'organisation.

Étape 3 : Démontrer la valeur, obtenir des résultats et continuer à innover

L'un des premiers cas d'usage de GenAI d'Equiniti a été le développement de leur chatbot de GenAI, PensionGuru. Compte tenu du rôle d'Equiniti dans l'administration de nombreux régimes de retraite, ses employés doivent souvent parcourir et interpréter un volume important de documents, notamment des politiques, des actes de fiducie et des directives. PensionGuru répond à ce défi en offrant des réponses instantanées et précises, en simplifiant l'accès à des informations complexes et en améliorant la productivité.

L'application améliore considérablement l'efficacité opérationnelle en automatisant l'analyse des documents et en réduisant le temps nécessaire à l'extraction des détails critiques, ce qui diminue les frais administratifs. Des tâches qui prenaient auparavant plusieurs heures sont désormais accomplies en quelques minutes. PensionGuru permet aux collaborateurs de récupérer rapidement et précisément des informations, améliorant ainsi la prestation de services et les processus de prise de décision. En utilisant un traitement avancé du langage naturel, l'application comprend et traite intelligemment les requêtes des utilisateurs, fournissant des informations contextuellement pertinentes à partir de vastes ensembles de données. Cette innovation permet non seulement de gagner du temps, mais renforce également les insights basés sur les données, permettant une approche plus stratégique de la gestion des régimes de retraite.

Pour créer PensionGuru, Equiniti a commencé par charger des milliers de documents de retraite, initialement stockés sous forme de fichiers PDF, dans un Databricks Volume, comme le montre la Figure 2 ci-dessus. Ensuite, Equiniti a géré efficacement ces fichiers non structurés via Unity Catalog, dès leur intégration. L'étape suivante a consisté à extraire le texte des documents, à le diviser en fragments gérables, et à stocker les données dans une Delta Table. En utilisant Databricks AI Search avec une configuration serverless, Equiniti a facilement construit une base de données vectorielle pour prendre en charge les fonctionnalités de recherche et de récupération.

Pour alimenter l'application, Equiniti a exploité Databricks Model Serving afin d'établir un point de terminaison LLM basé sur le modèle open source puissant et économique Meta Llama 3.1 70B. Enfin, Equiniti a pu déployer le chatbot de manière transparente et sécurisée auprès des utilisateurs finaux grâce à Databricks Apps, une nouvelle solution simple et serverless pour créer des applications prêtes pour la production avec une gouvernance intégrée au-dessus de la plateforme Databricks Data Intelligence Platform. La fonctionnalité intégrée Apps a permis de gagner un temps précieux et a véritablement changé la donne, car elle a évité à l'équipe de données d'Equiniti de devoir déployer, gérer et maintenir l'infrastructure sous-jacente pour prendre en charge l'application. L'équipe a ainsi pu se concentrer sur la création de valeur métier plutôt que de passer du temps sur des tâches fastidieuses comme l'intégration de services cloisonnés et la gestion de l'infrastructure IT.

Les premiers résultats et retours concernant PensionGuru sont très encourageants, et Equiniti continue de perfectionner et d'améliorer les performances de l'application grâce à des expérimentations et des entraînements de modèles continus. Ils étudient également l'intégration d'un framework d'agents d'IA qui leur permettrait de personnaliser et d'étendre davantage les capacités de PensionGuru, la rendant encore plus réactive et adaptée aux besoins spécifiques de l'administration des régimes de retraite. Grâce à cette approche, Equiniti vise à offrir une précision et une efficacité encore plus grandes dans le traitement et la récupération des informations clés sur les retraites.

Conclusion

En choisissant la plateforme Databricks Data Intelligence Platform, Equiniti a fourni une solution modulaire, évolutive et capable de répondre à tous les besoins actuels et futurs en matière de données et d'IA. La capacité de Databricks à unifier l'ingénierie des données, la science des données, le machine learning et la GenAI au sein d'une solution unique permet à Equiniti d'atteindre des niveaux élevés d'efficacité et d'évolutivité. Cette approche globale s'appuie sur la gouvernance fondamentale des données avec Unity Catalog, qui favorise l'accessibilité des données dans toute l'entreprise.

De plus, les outils et environnements avancés de la plateforme Databricks pour le développement et le déploiement de modèles d'IA ont ouvert de nouvelles opportunités, stimulant à la fois l'innovation et l'efficacité opérationnelle sans sacrifier l'intégration, la sécurité et la gouvernance des données.

« Bien que nous n'en soyons qu'au début de notre parcours dans l'IA générative, nous sommes confiants dans notre capacité à apporter une valeur métier significative grâce à la plateforme Databricks Data Intelligence Platform. »—James West, Strategic Director of Data chez Equiniti

Equiniti est actuellement en train de migrer, de consolider et d'intégrer toutes ses sources de données dans l'environnement Databricks, ainsi que de former et d'intégrer de nouveaux utilisateurs. De nombreux cas d'usage d'analyse avancée et d'IA sont également en préparation pour un déploiement prochain.

Ce billet de blog a été co-rédigé par James West (Equiniti) et Tomasz Kurzydym (Databricks).

(Cet article de blog a été traduit à l'aide d'outils basés sur l'intelligence artificielle) Article original