Kraken es un sistema operativo para servicios públicos que licencia su plataforma a proveedores de energía, agua y telecomunicaciones en 13 países, y da soporte a aproximadamente 85 millones de cuentas contratadas a nivel global. A medida que la empresa crecía en mercados altamente regulados, necesitaba una gobernanza más sólida, conformidad normativa y un intercambio seguro de datos en una compleja arquitectura de múltiples cuentas. Con Databricks Unity Catalog y Delta Sharing, Kraken puede entregar datos a los clientes de manera segura, oportuna y de conformidad con las normativas, al tiempo que mantiene la visibilidad y el control en toda su plataforma.
Escalar los datos en un mundo regulado
Con los datos en el centro de todo lo que hace Kraken, la empresa los aborda desde dos ángulos: ayudar a los clientes a usar los datos para analítica e informes operativos, y usar los datos internamente para comprender el negocio y respaldar los procesos impulsados por IA. Un equipo de datos de aproximadamente 70 a 85 personas que abarca ingeniería de datos, ingeniería de analítica, infraestructura y entrega respalda estos esfuerzos.
A medida que Kraken crecía, operar en mercados fuertemente regulados introdujo desafíos de gobernanza cada vez más complejos. Al principio, con solo un puñado de ingenieros, rastrear quién tenía acceso a qué datos era manejable. Pero a medida que la empresa escalaba, ese enfoque informal ya no era suficiente. Kraken necesitaba aplicar controles de acceso estrictos, mantener la auditabilidad y demostrar la conformidad con normativas como GDPR y SOC 1 y 2, todo mientras gestionaba una arquitectura en la que cada cliente opera dentro de su propia cuenta dedicada de Databricks. "Somos extremadamente cuidadosos con los datos que residen en nuestra nube y cómo los protegemos", afirmó Javi Asensio, director de Ingeniería de Datos y Analítica de Kraken. "La gobernanza y la auditabilidad eran algo que nos interesaba mucho desde el principio".
Como sistema de registro para proveedores de servicios públicos, Kraken maneja datos personales y financieros confidenciales en nombre de los clientes, muchos de los cuales son empresas que cotizan en bolsa con estrictos requisitos de conformidad. La visibilidad de los costos añadió más presión. Durante la crisis energética, con el gasto en infraestructura bajo escrutinio, Kraken necesitaba justificar cada dólar gastado. "Cuando el CEO viene y me dice que estamos gastando mucho dinero, necesito poder justificar por qué", dijo Asensio. "Necesito la visibilidad para decir que gastamos esta cantidad de dinero para hacer crecer esta parte del negocio y este es el valor que creó".
Sin una capa de gobernanza unificada, era difícil monitorear de manera constante el acceso, el uso y la rendición de cuentas en docenas de cuentas.
Una capa de gobernanza unificada para un mundo complejo de múltiples cuentas
Para abordar estos desafíos, Kraken migró a Unity Catalog, adoptándolo de manera temprana y construyendo su marco de gobernanza en torno a sus capacidades principales. Las tablas del sistema le brindan a Kraken visibilidad sobre el acceso a los datos, el historial de consultas y los endpoints activos en todas las cuentas. Dado que Kraken mantiene una cuenta de Databricks independiente para cada cliente, las tablas del sistema y la API de Unity Catalog cubren en conjunto aproximadamente el 95% de sus necesidades de gobernanza sin requerir herramientas de terceros que serían difíciles de operar en docenas de entornos aislados. "La mayor parte de lo que necesitamos hacer proviene de las tablas del sistema, y el resto de la API", comentó Asensio. "Eso nos permite no depender de terceros, lo cual es muy difícil dada la arquitectura que tenemos".
La seguridad se organiza en torno a un principio claro: nadie debe tener acceso a datos que no necesita. Kraken aplica esto a través de tres pilares: aislamiento de datos de clientes mediante la separación de cuentas, controles de acceso a datos personales para la conformidad con GDPR y controles de datos financieros para la conformidad con SOC 1 y 2. Kraken implementa enmascaramiento de datos y controles de acceso detallados para respaldar un requisito confidencial de Essential Energy, un distribuidor de electricidad australiano. En ese caso de uso, Kraken protege los datos de consumo de energía de cualquier persona fuera de Australia, incluidos los ingenieros de Kraken, en tres tablas que contienen miles de millones de filas de lecturas de medidores inteligentes. "Ni siquiera nuestros empleados tienen permitido ver esos datos a menos que vivan en Australia", dijo Asensio. "Aunque yo dirijo la infraestructura y el equipo, no tengo permitido verlos".
Delta Sharing se ha convertido en otro componente crítico de cómo Kraken ofrece valor a los clientes. Para los clientes en plataformas menos maduras, configurar el intercambio de datos durante la incorporación puede llevar hasta una semana y media. Para los clientes en Databricks, Delta Sharing reduce ese tiempo a un solo día. Kraken estandariza internamente en tablas Delta, convirtiéndolas a Iceberg solo cuando los clientes en plataformas como Snowflake o Fabric lo requieren. De cara al futuro, Kraken planea expandir su uso de Unity Catalog, incluidos los controles de acceso basados en atributos y las etiquetas de gobernanza, para automatizar el etiquetado de datos personales en todo su patrimonio de datos, tanto para la conformidad interna como para ayudar a los clientes a aplicar una mejor gobernanza por su parte.
Entregar datos de forma segura en un sector de alto riesgo
Con Unity Catalog en el centro de su plataforma de datos, Kraken ha construido una base de gobernanza que escala con la complejidad del negocio. Kraken ahora puede aplicar controles de acceso detallados, realizar un seguimiento del uso de datos en todas las cuentas y demostrar la conformidad ante clientes y reguladores, todo desde una capa unificada que no requiere herramientas de terceros.
Al aprovechar Delta Sharing, Kraken redujo el tiempo para poner los datos a disposición de los nuevos clientes de Databricks de hasta una semana y media a un solo día, una mejora importante dado que la disponibilidad de los datos es el primer hito en un proceso de incorporación que puede durar de 12 a 18 meses. Las tablas del sistema, por su parte, brindan a los líderes de Kraken una visibilidad clara de cómo se consumen los recursos de Databricks en toda la organización, lo que les permite vincular el gasto en infraestructura directamente con los resultados del negocio.
En última instancia, Unity Catalog ha permitido a Kraken responder a la confianza depositada en ella por algunos de los proveedores de servicios públicos más supervisados del mundo, desde el enmascaramiento de miles de millones de filas de datos confidenciales de medidores inteligentes hasta la garantía de un manejo de datos personales de conformidad con GDPR en 13 países. "Unity Catalog nos permite entregar datos de la manera más segura y de conformidad con las normativas para nuestros clientes", afirmó Asensio. "Dada la responsabilidad que esto implica, no es algo que nos tomemos a la ligera".