A Kraken é um sistema operacional para utilities, licenciando sua plataforma para provedores de energia, água e telecomunicações em 13 países e atendendo a aproximadamente 85 milhões de contas contratadas globalmente. À medida que a empresa crescia em mercados altamente regulamentados, ela precisava de uma governança mais forte, conformidade e compartilhamento seguro de dados em uma arquitetura complexa de várias contas. Com o Databricks Unity Catalog e o Delta Sharing, a Kraken pode fornecer dados aos clientes de maneira segura, em conformidade e no prazo, mantendo a visibilidade e o controle em toda a sua plataforma.
Escalando dados em um mundo regulamentado
Com os dados no centro de tudo o que a Kraken faz, a empresa os aborda sob dois ângulos: ajudar os clientes a usar dados para análises e relatórios operacionais, e usar dados internamente para entender o negócio e apoiar processos baseados em AI. Uma equipe de dados de cerca de 70 a 85 pessoas, abrangendo engenharia de dados, engenharia de analytics, infraestrutura e entrega, apoia esses esforços.
À medida que a Kraken crescia, operar em mercados altamente regulamentados trazia desafios de governança cada vez mais complexos. No início, com apenas alguns engenheiros, rastrear quem tinha acesso a quais dados era algo gerenciável. Mas, à medida que a empresa crescia, essa abordagem informal já não era suficiente. A Kraken precisava impor controles de acesso rígidos, manter a auditabilidade e demonstrar conformidade com regulamentações como GDPR e SOC 1 e 2 — tudo isso enquanto gerenciava uma arquitetura na qual cada cliente opera em sua própria conta Databricks dedicada. "Somos extremamente cuidadosos com os dados que residem em nossa nuvem e como os protegemos", disse Javi Asensio, Head de Engenharia de Dados e Analytics na Kraken. "Governança e auditabilidade eram algo em que estávamos muito interessados desde o início."
Como um sistema de registro para provedores de utilities, a Kraken lida com dados pessoais e financeiros confidenciais em nome dos clientes, muitos dos quais são empresas de capital aberto com requisitos de conformidade rígidos. A visibilidade dos custos trouxe ainda mais pressão. Durante a crise energética, com os gastos de infraestrutura sob escrutínio, a Kraken precisava justificar cada dólar gasto. "Quando o CEO vem até mim e diz que estamos gastando muito dinheiro, preciso ser capaz de justificar o porquê", disse Asensio. "Preciso de visibilidade para dizer que gastamos esse valor para expandir essa parte do negócio e aqui está o valor que isso gerou."
Sem uma camada de governança unificada, era difícil monitorar de forma consistente o acesso, o uso e a responsabilidade em dezenas de contas.
Uma camada de governança unificada para um mundo complexo de várias contas
Para enfrentar esses desafios, a Kraken migrou para o Unity Catalog, adotando-o desde o início e construindo sua estrutura de governança em torno de seus recursos principais. As tabelas de sistema dão à Kraken visibilidade sobre o acesso a dados, histórico de consultas e endpoints ativos em todas as contas. Como a Kraken mantém uma conta Databricks separada para cada cliente, as tabelas de sistema e a API do Unity Catalog cobrem juntas cerca de 95% de suas necessidades de governança, sem a necessidade de ferramentas de terceiros que seriam difíceis de operar em dezenas de ambientes isolados. "A maior parte do que precisamos fazer pode vir das tabelas de sistema, e o restante da API", disse Asensio. "Isso nos permite não depender de terceiros, o que é muito difícil dada a arquitetura que temos."
A segurança é organizada em torno de um princípio claro: ninguém deve ter acesso a dados de que não precisa. A Kraken impõe isso em três pilares: isolamento de dados do cliente por meio da separação de contas, controles de acesso a dados pessoais para conformidade com a GDPR e controles de dados financeiros para conformidade com SOC 1 e 2. A Kraken implementa mascaramento de dados e controles de acesso refinados para atender a um requisito confidencial da Essential Energy, uma distribuidora de eletricidade australiana. Nesse caso de uso, a Kraken protege os dados de consumo de energia para qualquer pessoa fora da Austrália, incluindo os engenheiros da Kraken, em três tabelas que contêm bilhões de linhas de leituras de medidores inteligentes. "Nem mesmo nossos funcionários têm permissão para ver esses dados, a menos que morem na Austrália", disse Asensio. "Even though I run the infrastructure and the team, I am not allowed to see it."
O Delta Sharing tornou-se outro componente crítico de como a Kraken entrega valor aos clientes. Para clientes em plataformas menos maduras, a configuração do compartilhamento de dados durante o onboarding pode levar até uma semana e meia. Para clientes no Databricks, o Delta Sharing reduz isso para apenas um dia. A Kraken padroniza em tabelas Delta internamente, convertendo para Iceberg apenas quando clientes em plataformas como Snowflake ou Fabric exigem. Olhando para o futuro, a Kraken planeja expandir o uso do Unity Catalog, incluindo controles de acesso baseados em atributos e tags de governança, para automatizar a marcação de dados pessoais em todo o seu patrimônio de dados, tanto para conformidade interna quanto para ajudar os clientes a aplicar uma melhor governança em suas pontas.
Entregando dados com segurança em um setor de alto risco
Com o Unity Catalog no centro de sua plataforma de dados, a Kraken construiu uma base de governança que escala com a complexidade do negócio. A Kraken agora pode impor controles de acesso refinados, rastrear o uso de dados em todas as contas e demonstrar conformidade para clientes e reguladores, tudo a partir de uma camada unificada que não requer ferramentas de terceiros.
Ao aproveitar o Delta Sharing, a Kraken reduziu o tempo para disponibilizar dados a novos clientes do Databricks de até uma semana e meia para apenas um dia, uma melhoria importante, dado que a disponibilidade de dados é o primeiro marco em um processo de onboarding que pode durar de 12 a 18 meses. Enquanto isso, as tabelas de sistema dão à liderança da Kraken uma visibilidade clara de como os recursos do Databricks são consumidos em toda a organização, permitindo-lhes vincular os gastos com infraestrutura diretamente aos resultados de negócios.
Por fim, o Unity Catalog permitiu que a Kraken correspondesse à confiança depositada nela por alguns dos provedores de utilities mais fiscalizados do mundo, desde o mascaramento de bilhões de linhas de dados confidenciais de medidores inteligentes até a garantia do tratamento de dados pessoais em conformidade com a GDPR em 13 países. "O Unity Catalog nos permite fornecer dados da maneira mais segura e em conformidade para nossos clientes", disse Asensio. "Diante da responsabilidade envolvida, isso não é algo que encaramos de forma leviana."