Kraken est un système d'exploitation pour les services publics, qui concède sa plateforme sous licence à des fournisseurs d'énergie, d'eau et de télécommunications dans 13 pays et prend en charge environ 85 millions de comptes sous contrat dans le monde. À mesure que l'entreprise s'est développée sur des marchés hautement réglementés, elle a eu besoin d'une gouvernance renforcée, de conformité et d'un partage sécurisé des données au sein d'une architecture multi-comptes complexe. Avec Databricks Unity Catalog et Delta Sharing, Kraken peut fournir des données à ses clients de manière sûre, conforme et rapide, tout en maintenant la visibilité et le contrôle sur l'ensemble de sa plateforme.
Faire évoluer les données dans un monde réglementé
Les données étant au cœur de toutes les activités de Kraken, l'entreprise les aborde sous deux angles : aider les clients à utiliser les données pour l'analytique et les rapports opérationnels, et utiliser les données en interne pour comprendre l'activité et soutenir les processus basés sur l'IA. Une équipe de données d'environ 70 à 85 personnes, couvrant l'ingénierie des données, l'ingénierie analytique, l'infrastructure et la livraison, soutient ces efforts.
À mesure que Kraken grandissait, opérer sur des marchés fortement réglementés a introduit des défis de gouvernance de plus en plus complexes. À ses débuts, avec seulement une poignée d'ingénieurs, le suivi des accès aux données était gérable. Mais à mesure que l'entreprise s'est développée, cette approche informelle n'a plus suffi. Kraken devait appliquer des contrôles d'accès stricts, maintenir l'auditabilité et prouver sa conformité avec des réglementations telles que le GDPR et SOC 1 et 2, tout en gérant une architecture dans laquelle chaque client opère au sein de son propre compte Databricks dédié. « Nous sommes extrêmement prudents quant aux données qui résident dans notre cloud et à la manière dont nous les protégeons », a déclaré Javi Asensio, responsable de l'ingénierie des données et de l'analytique chez Kraken. « La gouvernance et l'auditabilité étaient des sujets qui nous intéressaient beaucoup dès le départ. »
En tant que système d'enregistrement pour les fournisseurs de services publics, Kraken gère des données personnelles et financières sensibles pour le compte de ses clients, dont beaucoup sont des entreprises cotées en bourse soumises à des exigences de conformité strictes. La visibilité des coûts a ajouté une pression supplémentaire. Pendant la crise énergétique, alors que les dépenses d'infrastructure étaient examinées de près, Kraken devait justifier chaque dollar dépensé. « Quand le CEO vient me voir pour me dire que nous dépensons beaucoup d'argent, je dois être capable de justifier pourquoi », a expliqué Javi Asensio. « J'ai besoin de visibilité pour pouvoir dire que nous avons dépensé tel montant pour développer cette partie de l'activité et voici la valeur que cela a créée. »
Sans couche de gouvernance unifiée, il était difficile de surveiller de manière cohérente les accès, l'utilisation et la responsabilité sur des dizaines de comptes.
Une couche de gouvernance unifiée pour un monde multi-comptes complexe
Pour relever ces défis, Kraken a migré vers Unity Catalog, en l'adoptant très tôt et en articulant son cadre de gouvernance autour de ses fonctionnalités clés. Les tables système offrent à Kraken une visibilité sur l'accès aux données, l'historique des requêtes et les points de terminaison actifs sur l'ensemble des comptes. Étant donné que Kraken gère un compte Databricks distinct pour chaque client, les tables système et l'API Unity Catalog couvrent ensemble environ 95 % de ses besoins de gouvernance, sans nécessiter d'outils tiers qui seraient difficiles à exploiter dans des dizaines d'environnements isolés. « La majeure partie de ce que nous devons faire provient des tables système, et le reste de l'API », a déclaré Javi Asensio. « Cela nous permet de ne pas dépendre de tiers, ce qui est très difficile compte tenu de notre architecture. »
La sécurité est organisée aura d'un principe clair : personne ne doit avoir accès à des données dont il n'a pas besoin. Kraken applique ce principe à travers trois piliers : l'isolation des données clients par la séparation des comptes, des contrôles d'accès aux données personnelles pour la conformité au GDPR et des contrôles sur les données financières pour la conformité SOC 1 et 2. Kraken met en œuvre le masquage des données et des contrôles d'accès granulaires pour répondre à une exigence sensible d'Essential Energy, un distributeur d'électricité australien. Dans ce cas d'usage, Kraken protège les données de consommation d'énergie pour toute personne située en dehors de l'Australie, y compris les ingénieurs de Kraken, sur trois tables contenant des milliards de lignes de relevés de compteurs intelligents. « Même nos employés ne sont pas autorisés à voir ces données s'ils ne vivent pas en Australie », a précisé Javi Asensio. « Bien que je gère l'infrastructure et l'équipe, je n'ai pas le droit de les voir. »
Delta Sharing est devenu un autre composant essentiel de la valeur que Kraken apporte à ses clients. Pour les clients utilisant des plateformes moins matures, la configuration du partage de données lors de l'intégration peut prendre jusqu'à une semaine et demie. Pour les clients sur Databricks, Delta Sharing réduit ce délai à une seule journée. Kraken standardise ses processus internes sur les tables Delta, ne les convertissant en Iceberg que lorsque des clients sur des plateformes comme Snowflake ou Fabric l'exigent. À l'avenir, Kraken prévoit d'étendre son utilisation de Unity Catalog, notamment avec des contrôles d'accès basés sur les attributs et des balises de gouvernance, afin d'automatiser le marquage des données personnelles sur l'ensemble de son patrimoine de données, tant pour la conformité interne que pour aider ses clients à appliquer une meilleure gouvernance de leur côté.
Fournir des données en toute sécurité dans un secteur à enjeux élevés
Avec Unity Catalog au centre de sa plateforme de données, Kraken a jeté les bases d'une gouvernance qui évolue au rythme de la complexité de l'entreprise. Kraken peut désormais appliquer des contrôles d'accès granulaires, suivre l'utilisation des données sur l'ensemble des comptes et prouver sa conformité aux clients et aux régulateurs, le tout à partir d'une couche unifiée qui ne nécessite aucun outil tiers.
En s'appuyant sur Delta Sharing, Kraken a réduit le délai de mise à disposition des données pour les nouveaux clients Databricks, passant de près d'une semaine et demie à un seul jour. Il s'agit d'une amélioration majeure, sachant que la disponibilité des données est la première étape d'un processus d'intégration qui peut durer de 12 à 18 mois. Les tables système, quant à elles, offrent à la direction de Kraken une visibilité claire sur la consommation des ressources Databricks au sein de l'organisation, ce qui lui permet de lier directement les dépenses d'infrastructure aux résultats de l'entreprise.
En fin de compte, Unity Catalog a permis à Kraken d'honorer la confiance que lui accordent certains des fournisseurs de services publics les plus surveillés au monde, qu'il s'agisse de masquer des milliards de lignes de données sensibles issues de compteurs intelligents ou de garantir un traitement des données personnelles conforme au GDPR dans 13 pays. « Unity Catalog nous permet de fournir des données de la manière la plus sûre et la plus conforme pour nos clients », a déclaré Javi Asensio. « Compte tenu des responsabilités engagées, ce n'est pas quelque chose que nous prenons à la légère. »