Equiniti: de cero a la IA

Introducción

Equiniti (EQ), un líder global en servicios de accionistas, pensiones y remediación, aprovechó Databricks para revolucionar su enfoque basado en datos y mejorar la experiencia del cliente en 136 países. Al dar servicio a más de 6,000 empresas, EQ reconoció la necesidad de adaptarse a entornos cada vez más complejos y regulados mediante el aprovechamiento del poder de la analítica avanzada y la AI generativa.

Dado que el acceso oportuno a la información es fundamental para el éxito de los clientes de Equiniti, querían hacer de los datos (y de las perspectivas basadas en datos) la base de su enfoque operativo y estratégico. Equiniti buscaba implementar prácticas comerciales más informadas, eficientes y eficaces, y aprovechar los nuevos avances en analítica avanzada y GenAI para mejorar la experiencia del cliente e impulsar la innovación interna.

Para alcanzar estos objetivos, Equiniti necesitaba crear una plataforma de datos segura, de alto rendimiento y preparada para el futuro que pudiera admitir cualquier aplicación de datos y AI existente o nueva. Este blog describe cómo y por qué seleccionaron Databricks Data Intelligence Platform para respaldar su infraestructura y detalla los casos de uso avanzados que ya han explorado al aprovechar la plataforma de Databricks y las herramientas de Databricks, como el desarrollo de PensionGuru, su chatbot impulsado por GenAI.

Paso 1: Identificar el valor y construir bases de datos sólidas

En lugar de comenzar con la pregunta '¿Para qué podemos usar la AI?', Equiniti se preguntó '¿Cómo podemos ofrecer un nuevo valor a nuestros clientes utilizando datos confiables y de alta calidad, y herramientas y técnicas modernas?'

Surgieron algunos temas comunes: obtener acceso a datos confiables a escala, tener la agilidad para experimentar y avanzar de manera rápida y rentable, acelerar la capacitación de los expertos en la materia (SMEs) del dominio y los recursos existentes, y poder modernizar rápidamente sus ofertas para satisfacer las necesidades de los clientes.

A partir de ese trabajo inicial, Equiniti identificó los requisitos clave para una futura plataforma de AI y datos en la nube que les permitiera aprovechar al máximo el valor de sus datos:

● Gobernanza integrada de datos y AI: Sin gobernanza y control, no puede haber valor. Equiniti necesitaba funciones de seguridad sólidas, controles de acceso, linaje automático y auditoría que ayudaran a mantener el cumplimiento de los requisitos regulatorios mediante el seguimiento del flujo y la transformación de los datos en toda la plataforma, y a generar confianza con las partes interesadas y los clientes internos y externos.

● Una plataforma unificada y abierta: Otro requisito era una arquitectura simple que pudiera admitir ingeniería de datos, ciencia de datos, analítica avanzada y GenAI. Equiniti quería eliminar los silos y las duplicaciones de datos innecesarias, y evitar quedar atrapada en una solución patentada. Querían una plataforma construida sobre estándares y protocolos abiertos. Además, necesitaban soporte para fuentes de datos tanto por lotes como en streaming en cualquier formato para cargas de trabajo de GenAI. Con la naturaleza distribuida de sus datos y sistemas, una única plataforma que pudiera convertirse en una fuente analítica de verdad sería un gran paso adelante.

● Optimización de costos: Por último, Equiniti necesitaba un cómputo escalable y optimizado que mejorara el procesamiento de datos y redujera el TCO con un modelo real basado en el consumo. La capacidad de comenzar con una inversión inicial baja y luego escalar según fuera necesario era esencial.

Con estos requisitos en mente, Equiniti eligió Databricks Data Intelligence Platform como la columna vertebral de su moderna plataforma de AI y datos en la nube.

Paso 2: Avanzar rápido y aprovechar conjuntos de herramientas integrados

Tradicionalmente, se requiere la participación de muchos equipos diferentes para evaluar componentes separados y servicios distintos que forman una plataforma de datos, lo que exige navegar por prioridades y recursos en competencia para implementarla. Sin embargo, Equiniti pudo implementar de manera rápida y sencilla la plataforma de Databricks y explorar todas sus capacidades integradas. La opción de experimentar y escalar de forma rápida pero rentable significó que Equiniti pudiera tomar decisiones con confianza al realizar prototipos de conectividad, procesamiento de datos y capacidades analíticas sin una inversión inicial significativa en tiempo o costo. Una vez que Equiniti estableció los casos de uso principales para su implementación inicial de AI, colaboraron con el equipo de Databricks para crear una arquitectura inicial, como se muestra en la Figura 1 a continuación. A través de una serie de talleres, los arquitectos de soluciones de Databricks mostraron cómo utilizar mejor las capacidades integradas de la plataforma; Equiniti también utilizó recursos de aprendizaje integrales a su propio ritmo para capacitarse.

Una de las características más valiosas de la plataforma de Databricks es Unity Catalog, una solución de gobernanza unificada y abierta para datos y AI. La capacidad de rastrear el linaje capturado automáticamente de los datos ingeridos y cómo se transformaron y utilizaron en el modelo fue clave para generar confianza, comprensión y aprobación por parte de los equipos de InfoSec y Riesgo de Equiniti. Equiniti pudo demostrar qué datos se estaban utilizando y dónde, sin costos adicionales, sobrecarga de implementación ni tiempo en la gestión de un catálogo de datos independiente. Además, Delta Sharing y Databricks Marketplace han sido transformadores, ya que permitieron a Equiniti compartir datos externamente con socios por primera vez. Obtener la capacidad de visualizar datos de múltiples fuentes que antes eran inaccesibles o estaban aisladas, y utilizar datos de proveedores externos sin tener que almacenar y mantener conjuntos de datos a escala de petabytes, ha permitido a Equiniti desarrollar de manera rápida y sencilla perspectivas que antes estaban fuera de su alcance. La capacidad de los equipos comerciales para descubrir y utilizar fácilmente las mismas herramientas y activos de datos desde una fuente central y confiable seguirá impulsando la calidad y el valor en su plataforma de datos.

Para el pequeño equipo de ingeniería de Equiniti, una de las características que más tiempo ahorró de la plataforma de Databricks fue Lakeflow Connect. Databricks Lakeflow proporciona conectores integrados para ingerir datos de aplicaciones y bases de datos empresariales. La capacidad de crear sin problemas integraciones sin código con nuestras plataformas principales como Workday, Salesforce y SQL Server redujo enormemente el tiempo necesario para poner los datos a disposición en Databricks para que los consumieran los modelos. Redujo significativamente los costos de almacenamiento y cómputo, y le ahorró a Equiniti meses de trabajo de desarrollo en comparación con el método tradicional de crear integraciones de API y procesos ETL para almacenar y gestionar datos. El equipo de Equiniti pudo entonces enfocarse en áreas multiplicadoras de valor, como la creación de aplicaciones de GenAI que aportarían valor al negocio.

Finalmente, el desarrollo de estas nuevas aplicaciones de GenAI requiere un nuevo tipo de "desarrollador de conocimiento". Se trata de SMEs del dominio que comprenden profundamente el negocio (en el caso de Equiniti, el mercado de pensiones). Estos expertos deben tener un acceso fluido a las herramientas y plataformas para proporcionar comentarios cruciales y asegurarse de que las aplicaciones de GenAI ofrezcan resultados precisos y de alta calidad. La facilidad de uso y la accesibilidad de la plataforma de Databricks facilitaron que los SMEs colaboraran de manera efectiva con los equipos de desarrollo e ingeniería en la creación de aplicaciones de GenAI. Al aprovechar su experiencia y sus profundas perspectivas comerciales, Equiniti pudo establecer una verdad fundamental (ground truth) y recibir comentarios valiosos, lo que ayudó a ajustar las respuestas y el contenido generado para su uso en toda la organización.

Paso 3: Mostrar el valor, entregar resultados y seguir innovando

Uno de los primeros casos de uso de GenAI de Equiniti fue el desarrollo de su chatbot de GenAI, PensionGuru. Dado el papel de Equiniti en la administración de numerosos planes de pensiones, sus empleados a menudo necesitan navegar e interpretar un gran volumen de documentos, incluidos contratos de fideicomiso, políticas y directrices. PensionGuru aborda este desafío al ofrecer respuestas instantáneas y precisas, simplificando el acceso a información compleja y mejorando la productividad.

La aplicación aumenta significativamente la eficiencia empresarial al automatizar el análisis de documentos y minimizar el tiempo necesario para extraer detalles críticos, reduciendo así los gastos administrativos generales. Las tareas que antes llevaban muchas horas ahora se completan en minutos. PensionGuru permite a los empleados recuperar información de manera rápida y precisa, mejorando la prestación de servicios y los procesos de toma de decisiones. Al utilizar procesamiento de lenguaje natural avanzado, la aplicación comprende y procesa las consultas de los usuarios de forma inteligente, ofreciendo información contextualmente relevante a partir de grandes conjuntos de datos. Esta innovación no solo ahorra tiempo, sino que también mejora las perspectivas basadas en datos, lo que permite un enfoque más estratégico para la gestión de los planes de pensiones.

Para crear PensionGuru, Equiniti comenzó tomando miles de documentos de pensiones, originalmente almacenados como archivos PDF, y cargándolos en un volumen de Databricks, como se muestra en la Figura 2 anterior. Luego, Equiniti gestionó de manera eficiente estos archivos no estructurados a través de Unity Catalog, directamente desde el punto de ingesta. El siguiente paso fue extraer el texto de los documentos, dividirlo en fragmentos manejables y almacenar los datos en una tabla Delta. Utilizando Databricks AI Search con una configuración serverless, Equiniti construyó fácilmente una base de datos vectorial para admitir capacidades de búsqueda y recuperación.

Para potenciar la aplicación, Equiniti aprovechó Databricks Model Serving para establecer un endpoint de LLM basado en el potente y rentable modelo de código abierto Meta Llama 3.1 70B. Finalmente, Equiniti pudo implementar el chatbot de manera fluida y segura para los usuarios finales con Databricks Apps, una nueva solución simple y serverless para crear aplicaciones listas para producción con gobernanza integrada sobre la plataforma Databricks Data Intelligence Platform. La función integrada de Apps supuso un gran ahorro de tiempo y un cambio radical, ya que eliminó la necesidad de que el equipo de datos de Equiniti implementara, gestionara y mantuviera la infraestructura subyacente para dar soporte a la aplicación. En su lugar, el equipo pudo concentrarse en aportar valor empresarial en lugar de dedicar tiempo a tareas rutinarias como la integración de servicios aislados y la gestión de la infraestructura de IT.

Los resultados iniciales y los comentarios sobre PensionGuru han sido muy alentadores, y Equiniti continúa refinando y mejorando el rendimiento de la aplicación a través de la experimentación continua y el entrenamiento de modelos. También están explorando la incorporación de un framework de agentes de AI que les permitiría personalizar y ampliar aún más las capacidades de PensionGuru, haciéndolo aún más receptivo y adaptado a las necesidades específicas de la administración de planes de pensiones. Con este enfoque, Equiniti pretende ofrecer una precisión y eficiencia aún mayores en el procesamiento y la recuperación de información crítica sobre pensiones.

Conclusión

Al seleccionar la plataforma Databricks Data Intelligence Platform, Equiniti ha ofrecido una solución que es modular, extensible y capaz de satisfacer todas las necesidades actuales y futuras de datos y AI. La capacidad de Databricks para unificar la ingeniería de datos, la ciencia de datos, el machine learning y la GenAI en una única solución permite a Equiniti alcanzar altos niveles de eficiencia y escalabilidad. Este enfoque integral se basa en la gobernanza de datos fundamental con Unity Catalog, que promueve la accesibilidad de los datos en toda la organización.

Además, las herramientas y entornos avanzados de la plataforma de Databricks para el desarrollo e implementación de modelos de AI han abierto nuevas oportunidades, impulsando tanto la innovación como la eficiencia operativa sin sacrificar la integración, la seguridad y la gobernanza de los datos.

"Aunque estamos al principio de nuestro camino con la AI generativa, confiamos en nuestra capacidad para ofrecer un valor empresarial significativo con la plataforma Databricks Data Intelligence Platform."—James West, director estratégico de datos en Equiniti

Equiniti se encuentra ahora en proceso de migrar, consolidar e incorporar todas sus fuentes de datos al entorno de Databricks, así como de capacitar e incorporar a nuevos usuarios, y tiene una gran cantidad de casos de uso de analítica avanzada y AI en preparación para implementar en un futuro cercano.

Este artículo de blog fue escrito conjuntamente por James West (Equiniti) y Tomasz Kurzydym (Databricks).

(Esta entrada del blog ha sido traducida utilizando herramientas basadas en inteligencia artificial) Publicación original