Equiniti: Von Null auf AI

Einführung

Equiniti (EQ), ein weltweit führender Anbieter von Dienstleistungen in den Bereichen Aktionärsverwaltung, Altersvorsorge und Sanierung, nutzte Databricks, um seinen datengesteuerten Ansatz zu revolutionieren und das Kundenerlebnis in 136 Ländern zu verbessern. EQ betreut über 6.000 Unternehmen und erkannte die Notwendigkeit, sich an immer komplexere und reguliertere Umgebungen anzupassen, indem es die Leistungsfähigkeit von Advanced Analytics und generativer KI nutzt.

Da der rechtzeitige Zugriff auf Informationen für den Erfolg der Kunden von Equiniti entscheidend ist, wollte das Unternehmen Daten (und datengestützte Erkenntnisse) zur Grundlage seines operativen und strategischen Ansatzes machen. Equiniti zielte darauf ab, fundiertere, effizientere und effektivere Geschäftspraktiken zu implementieren und neue Entwicklungen in den Bereichen Advanced Analytics und GenAI zu nutzen, um das Kundenerlebnis zu verbessern und interne Innovationen voranzutreiben.

Um diese Ziele zu erreichen, musste Equiniti eine zukunftssichere, sichere und leistungsstarke Datenplattform aufbauen, die alle bestehenden oder neuen Daten- und KI-Anwendungen unterstützen kann. Dieser Blog beschreibt, wie und warum sie sich für die Databricks Data Intelligence Platform entschieden haben, um ihre Infrastruktur zu unterstützen, und geht näher auf die fortgeschrittenen Anwendungsfälle ein, die sie bereits durch die Nutzung der Databricks-Plattform und der Databricks-Tools untersucht haben, wie beispielsweise die Entwicklung von PensionGuru, ihrem GenAI-gestützten Chatbot.

Schritt 1: Wertschöpfung identifizieren und solide Datengrundlagen schaffen

Anstatt mit der Frage „Wofür können wir KI nutzen?“ zu beginnen, fragte Equiniti: „Wie können wir unseren Kunden mithilfe von qualitativ hochwertigen, vertrauenswürdigen Daten sowie modernen Tools und Techniken einen neuen Mehrwert bieten?“

Es zeichneten sich einige gemeinsame Themen ab: der Zugriff auf vertrauenswürdige Daten in großem Maßstab, die Agilität, schnell und kosteneffizient zu experimentieren und zu handeln, die schnellere Befähigung von Fachexperten (SMEs) und vorhandenen Ressourcen sowie die Fähigkeit, ihre Angebote schnell zu modernisieren, um den Kundenanforderungen gerecht zu werden.

Aus dieser ersten Arbeit leitete Equiniti die wichtigsten Anforderungen an eine zukünftige Cloud-Daten- und KI-Plattform ab, mit der sich der Wert ihrer Daten optimal erschließen lässt:

● Integrierte Daten- und KI-Governance: Ohne Governance und Kontrolle kann es keine Wertschöpfung geben. Equiniti benötigte robuste Sicherheitsfunktionen, Zugriffskontrollen, automatische Lineage und Auditing, um die Einhaltung regulatorischer Anforderungen durch die Verfolgung des Datenflusses und der Datentransformation auf der gesamten Plattform zu unterstützen und Vertrauen bei internen und externen Stakeholdern sowie Kunden aufzubauen.

● Eine einheitliche und offene Plattform: Eine weitere Anforderung war eine einfache Architektur, die Data Engineering, Data Science, Advanced Analytics und GenAI unterstützen kann. Equiniti wollte Silos und unnötige Datenredundanzen beseitigen und einen Vendor Lock-in bei proprietären Lösungen vermeiden. Sie wünschten sich eine Plattform, die auf offenen Standards und Protokollen basiert. Darüber hinaus benötigten sie Unterstützung für Batch- und Streaming-Datenquellen in jedem Format für GenAI-Workloads. Angesichts der verteilten Natur ihrer Daten und Systeme wäre eine einzige Plattform, die als analytische Source of Truth dient, ein riesiger Fortschritt.

● Kostenoptimierung: Schließlich benötigte Equiniti eine skalierbare und optimierte Compute-Infrastruktur, die die Datenverarbeitung verbessert und die TCO durch ein echtes verbrauchsbasiertes Modell senkt. Die Möglichkeit, mit einer geringen Anfangsinvestition zu starten und dann je nach Bedarf zu skalieren, war von entscheidender Bedeutung.

Mit diesen Anforderungen im Hinterkopf entschied sich Equiniti für die Databricks Data Intelligence Platform als Rückgrat ihrer modernen Cloud-Daten- und KI-Plattform.

Schritt 2: Schnell agieren und integrierte Toolsets nutzen

Traditionell erfordert die Evaluierung einzelner Komponenten und verschiedener Dienste, die eine Datenplattform bilden, den Input vieler verschiedener Teams, was die Abstimmung konkurrierender Prioritäten und Ressourcen bei der Implementierung erfordert. Equiniti war jedoch in der Lage, die Databricks-Plattform schnell und einfach bereitzustellen und all ihre integrierten Funktionen zu erkunden. Die Möglichkeit, schnell, aber kosteneffizient zu experimentieren und zu skalieren, bedeutete, dass Equiniti vertrauensvoll Entscheidungen beim Prototyping von Konnektivität, Datenverarbeitung und Analysefunktionen treffen konnte, ohne erhebliche Vorabinvestitionen in Zeit oder Geld tätigen zu müssen. Nachdem Equiniti die primären Anwendungsfälle für ihre erste KI-Implementierung festgelegt hatte, arbeiteten sie mit dem Databricks-Team zusammen, um eine erste Architektur zu erstellen, wie in Abbildung 1 unten dargestellt. In einer Reihe von Workshops zeigten die Solution Architects von Databricks, wie sich die integrierten Funktionen der Plattform am besten nutzen lassen. Zudem nutzte Equiniti umfassende Ressourcen für das selbstgesteuerte Lernen, um sich weiterzubilden.

Eine der wertvollsten Funktionen der Databricks-Plattform ist Unity Catalog, eine einheitliche und offene Governance-Lösung für Daten und KI. Die Möglichkeit, die automatisch erfasste Lineage der aufgenommenen Daten zu verfolgen und zu sehen, wie sie transformiert und im Modell verwendet wurden, war der Schlüssel zur Gewinnung von Vertrauen, Verständnis und Genehmigung durch die InfoSec- und Risikoteams von Equiniti. Equiniti konnte aufzeigen, welche Daten wo verwendet wurden, ohne zusätzliche Kosten, Implementierungsaufwand und Zeit für die Verwaltung eines separaten Datenkatalogs. Darüber hinaus waren Delta Sharing und der Databricks Marketplace bahnbrechend, da sie es Equiniti ermöglichten, Daten zum allerersten Mal extern mit Partnern zu teilen. Die Fähigkeit, Daten aus mehreren Quellen zu visualisieren, die zuvor unzugänglich oder isoliert waren, und Daten von externen Anbietern zu nutzen, ohne Datensätze im Petabyte-Bereich speichern und verwalten zu müssen, hat es Equiniti ermöglicht, schnell und einfach Erkenntnisse zu gewinnen, die zuvor außer Reichweite lagen. Die Möglichkeit für Businessteams, dieselben Tools und Daten-Assets aus einer zentralen, vertrauenswürdigen Quelle leicht zu entdecken und zu nutzen, wird die Qualität und den Wert ihrer Datenplattform weiter steigern.

Für das kleine Engineering-Team von Equiniti war Lakeflow Connect eine der größten Zeitersparnisse der Databricks-Plattform. Databricks Lakeflow bietet integrierte Konnektoren für die Erfassung von Daten aus Unternehmensanwendungen und Datenbanken. Die Möglichkeit, nahtlos No-Code-Integrationen zu unseren Kernplattformen wie Workday, Salesforce und SQL Server zu erstellen, verkürzte die Zeit drastisch, die benötigt wurde, um Daten in Databricks für die Nutzung durch Modelle bereitzustellen. Es reduzierte die Speicher- und Compute-Kosten erheblich und ersparte Equiniti monatelange Entwicklungsarbeit im Vergleich zur herkömmlichen Methode des Aufbaus von API-Integrationen und ETL-Prozessen zur Speicherung und Verwaltung von Daten. Das Team von Equiniti konnte sich stattdessen auf wertsteigernde Bereiche wie die Erstellung von GenAI-Anwendungen konzentrieren, die dem Unternehmen einen echten Mehrwert bieten.

Schließlich erfordert die Entwicklung dieser neuen GenAI-Anwendungen eine neue Art von „Wissensentwicklern“. Dabei handelt es sich um Fachexperten (SMEs), die das Geschäft (im Fall von Equiniti den Rentenmarkt) genau verstehen. Diese Experten müssen nahtlosen Zugriff auf Tools und Plattformen haben, um wichtiges Feedback zu geben und sicherzustellen, dass die GenAI-Anwendungen präzise und qualitativ hochwertige Ergebnisse liefern. Die Benutzerfreundlichkeit und Zugänglichkeit der Databricks-Plattform machten es den Fachexperten leicht, effektiv mit den Entwicklungs- und Engineering-Teams bei der Erstellung von GenAI-Anwendungen zusammenzuarbeiten. Durch die Nutzung ihres Fachwissens und ihrer tiefen Einblicke in das Geschäft war Equiniti in der Lage, eine Ground Truth zu etablieren und wertvolles Feedback zu erhalten, was zur Feinabstimmung von Antworten und generierten Inhalten für die Nutzung im gesamten Unternehmen beitrug.

Schritt 3: Wert aufzeigen, Ergebnisse liefern und weiter innovieren

Einer der ersten GenAI-Anwendungsfälle von Equiniti war die Entwicklung ihres GenAI-Chatbots PensionGuru. Da Equiniti zahlreiche Pensionspläne verwaltet, müssen die Mitarbeiter häufig eine Vielzahl von Dokumenten wie Richtlinien, Treuhandurkunden und Leitlinien durchforsten und interpretieren. PensionGuru löst diese Herausforderung, indem er sofortige, präzise Antworten liefert, den Zugriff auf komplexe Informationen rationalisiert und die Produktivität steigert.

Die App steigert die Geschäftseffizienz erheblich, indem sie die Dokumentenanalyse automatisiert und den Zeitaufwand für das Extrahieren wichtiger Details minimiert, wodurch der administrative Aufwand verringert wird. Aufgaben, die in der Vergangenheit viele Stunden in Anspruch nahmen, werden nun in wenigen Minuten erledigt. PensionGuru ermöglicht es Mitarbeitern, Informationen schnell und präzise abzurufen, was die Servicebereitstellung und die Entscheidungsprozesse verbessert. Durch den Einsatz fortschrittlicher natürlicher Sprachverarbeitung versteht und verarbeitet die App Benutzeranfragen intelligent und liefert kontextrelevante Informationen aus riesigen Datensätzen. Diese Innovation spart nicht nur Zeit, sondern verbessert auch datengestützte Erkenntnisse, was einen strategischeren Ansatz für die Verwaltung von Pensionskassen ermöglicht.

Um PensionGuru zu erstellen, lud Equiniti zunächst Tausende von Rentendokumenten, die ursprünglich als PDF-Dateien gespeichert waren, in ein Databricks Volume, wie in Abbildung 2 oben dargestellt. Anschließend verwaltete Equiniti diese unstrukturierten Dateien effizient über Unity Catalog, direkt ab dem Zeitpunkt der Erfassung. Der nächste Schritt bestand darin, Text aus den Dokumenten zu extrahieren, ihn in überschaubare Abschnitte (Chunks) zu unterteilen und die Daten in einer Delta-Tabelle zu speichern. Mithilfe von Databricks AI Search mit einem serverlosen Setup konnte Equiniti problemlos eine Vektordatenbank aufbauen, um Such- und Abruffunktionen zu unterstützen.

Für den Betrieb der Anwendung nutzte Equiniti Databricks Model Serving, um einen LLM-Endpunkt auf Basis des leistungsstarken und kostengünstigen Open-Source-Modells Meta Llama 3.1 70B einzurichten. Schließlich konnte Equiniti den Chatbot mit Databricks Apps nahtlos und sicher für Endbenutzer bereitstellen – einer neuen, einfachen und serverlosen Lösung zur Erstellung produktionsbereiter Apps mit integrierter Governance auf der Databricks Data Intelligence Platform. Die integrierte Apps-Funktion war eine enorme Zeitersparnis und ein echter Game-Changer, da das Datenteam von Equiniti die zugrunde liegende Infrastruktur zur Unterstützung der Anwendung nicht mehr bereitstellen, verwalten und warten musste. Das Team konnte sich stattdessen darauf konzentrieren, geschäftlichen Mehrwert zu schaffen, anstatt Zeit mit alltäglichen Aufgaben wie der Integration isolierter Dienste und der Verwaltung der IT-Infrastruktur zu verbringen.

Die ersten Ergebnisse und Rückmeldungen zu PensionGuru sind äußerst ermutigend, und Equiniti verfeinert und verbessert die Leistung der Anwendung durch kontinuierliche Experimente und Modelltraining weiter. Sie prüfen außerdem die Integration eines AI-Agenten-Frameworks das es ihnen ermöglichen würde, die Funktionen von PensionGuru weiter anzupassen und zu erweitern, sodass es noch reaktionsschneller und besser auf die spezifischen Anforderungen der Rentenverwaltung abgestimmt ist. Mit diesem Ansatz strebt Equiniti eine noch höhere Genauigkeit und Effizienz bei der Verarbeitung und dem Abruf wichtiger Renteninformationen an.

Fazit

Mit der Entscheidung für die Databricks Data Intelligence Platform hat Equiniti eine Lösung bereitgestellt, die modular, erweiterbar und in der Lage ist, alle aktuellen und zukünftigen Daten- und AI-Anforderungen zu erfüllen. Die Fähigkeit von Databricks, Data Engineering, Data Science, Machine Learning und GenAI in einer einzigen Lösung zu vereinen, ermöglicht es Equiniti, ein hohes Maß an Effizienz und Skalierbarkeit zu erreichen. Dieser umfassende Ansatz basiert auf der grundlegenden Data Governance mit Unity Catalog, die die Datenzugänglichkeit im gesamten Unternehmen fördert.

Darüber hinaus haben die fortschrittlichen Tools und Umgebungen der Databricks-Plattform für die Entwicklung und Bereitstellung von AI-Modellen neue Möglichkeiten eröffnet, die sowohl die Innovation als auch die betriebliche Effizienz steigern, ohne Kompromisse bei Datenintegration, Sicherheit und Governance einzugehen.

„Obwohl wir uns noch am Anfang unserer Reise im Bereich Generative AI befinden, sind wir zuversichtlich, mit der Databricks Data Intelligence Platform einen bedeutenden geschäftlichen Mehrwert zu erzielen.“—James West, Strategic Director of Data bei Equiniti

Equiniti ist nun dabei, alle Datenquellen in die Databricks-Umgebung zu migrieren, zu konsolidieren und zusammenzuführen sowie neue Benutzer zu schulen und einzuarbeiten, und hat eine Vielzahl von Anwendungsfällen für Advanced Analytics und AI in der Pipeline, die in naher Zukunft umgesetzt werden sollen.

Dieser Blogbeitrag wurde gemeinsam verfasst von James West (Equiniti) und Tomasz Kurzydym (Databricks).

(Dieser Blogbeitrag wurde mit KI-gestützten Tools übersetzt.) Originalbeitrag