Kraken은 유틸리티용 운영체제로서 13개국의 에너지, 수도, 통신 제공업체에 플랫폼 라이선스를 제공하고 전 세계적으로 약 8,500만 개의 계약 계정을 지원하고 있습니다. 규제가 엄격한 시장에서 회사가 성장함에 따라, 복잡한 멀티 계정 아키텍처 전반에서 더 강력한 거버넌스, 규정 준수 및 안전한 데이터 공유가 필요했습니다. Databricks Unity Catalog 및 Delta Sharing을 통해 Kraken은 플랫폼 전반에서 가시성과 제어력을 유지하면서 고객에게 안전하고 규정을 준수하며 시의적절한 방식으로 데이터를 제공할 수 있게 되었습니다.
규제 환경에서의 데이터 확장
데이터는 Kraken이 수행하는 모든 작업의 핵심이며, 회사는 두 가지 관점에서 데이터에 접근합니다. 첫째는 고객이 분석 및 운영 보고에 데이터를 활용하도록 돕는 것이고, 둘째는 내부적으로 비즈니스를 이해하고 AI 기반 프로세스를 지원하기 위해 데이터를 사용하는 것입니다. 데이터 엔지니어링, 분석 엔지니어링, 인프라 및 딜리버리를 아우르는 약 70~85명 규모의 데이터 팀이 이러한 노력을 지원합니다.
Kraken이 성장하면서 규제가 엄격한 시장에서 운영을 지속함에 따라 점점 더 복잡한 거버넌스 과제에 직면하게 되었습니다. 소수의 엔지니어만 있던 초기에는 누가 어떤 데이터에 액세스할 수 있는지 추적하는 것이 관리 가능했습니다. 하지만 회사가 규모를 확장하면서 이러한 비공식적인 접근 방식은 더 이상 충분하지 않았습니다. Kraken은 각 고객이 자체 전용 Databricks 계정 내에서 운영되는 아키텍처를 관리하는 동시에, 엄격한 액세스 제어를 시행하고 감사 가능성을 유지하며 GDPR 및 SOC 1, 2와 같은 규정 준수를 입증해야 했습니다. Kraken의 데이터 및 분석 엔지니어링 부문 총괄인 Javi Asensio는 "우리는 클라우드에 어떤 데이터가 있고 이를 어떻게 보호하는지에 대해 극도로 주의를 기울입니다"라며, "거버넌스와 감사 가능성은 우리가 처음부터 매우 관심을 가졌던 부분이었습니다"라고 말했습니다.
유틸리티 제공업체의 원장 시스템(system of record)으로서 Kraken은 고객을 대신해 민감한 개인 정보 및 재무 데이터를 처리하며, 이들 고객 중 다수는 엄격한 규정 준수 요구사항을 가진 상장 기업입니다. 비용 가시성 또한 추가적인 부담이었습니다. 에너지 위기 동안 인프라 지출에 대한 정밀 조사가 이루어지면서 Kraken은 지출된 모든 비용을 정당화해야 했습니다. Asensio는 "CEO가 저에게 와서 비용이 너무 많이 든다고 말할 때, 저는 그 이유를 설명할 수 있어야 합니다"라며, "비즈니스의 이 부분을 성장시키기 위해 이만큼의 비용을 지출했고, 이를 통해 창출된 가치가 무엇인지 말할 수 있는 가시성이 필요합니다"라고 말했습니다.
통합된 거버넌스 레이어가 없었기 때문에 수십 개의 계정 전반에서 액세스, 사용량 및 책임 소재를 일관되게 모니터링하기가 어려웠습니다.
복잡한 멀티 계정 환경을 위한 통합 거버넌스 레이어
이러한 과제를 해결하기 위해 Kraken은 Unity Catalog로 마이그레이션하여 이를 조 기에 도입하고 핵심 기능을 중심으로 거버넌스 프레임워크를 구축했습니다. 시스템 테이블은 Kraken에 계정 전반의 데이터 액세스, 쿼리 기록 및 활성 엔드포인트에 대한 가시성을 제공합니다. Kraken은 각 고객마다 별도의 Databricks 계정을 유지하므로, 시스템 테이블과 Unity Catalog API를 함께 사용하여 수십 개의 격리된 환경에서 운영하기 까다로운 서드파티 도구 없이도 거버넌스 요구사항의 약 95%를 해결합니다. Asensio는 "필요한 작업의 대부분은 시스템 테이블에서 처리할 수 있고, 나머지는 API를 통해 해결할 수 있습니다"라며, "덕분에 우리의 아키텍처 특성상 매우 까다로울 수 있는 서드파티 솔루션에 의존하지 않을 수 있게 되었습니다"라고 말했습니다.
보안은 '필요하지 않은 데이터에는 누구도 액세스해서는 안 된다'는 명확한 원칙을 중심으로 구성됩니다. Kraken은 계정 분리를 통한 고객 데이터 격리, GDPR 준수를 위한 개인 데이터 관련 액세스 제어, SOC 1 및 2 준수를 위한 재무 데이터 관련 제어라는 세 가지 핵심 요소를 통해 이를 시행합니다. Kraken은 호주의 전력 배급업체인 Essential Energy의 민감한 요구사항을 지원하기 위해 데이터 마스킹 및 세분화된 액세스 제어를 구현했습니다. 이 사용 사례에서 Kraken은 수십억 행의 스마트 미터 측정값이 포함된 3개의 테이블에 걸쳐 Kraken 엔지니어를 포함하여 호주 외부에 있는 모든 사람으로부터 에너지 소비 데이터를 보호합니다. Asensio는 "호주에 거주하지 않는 한 당사 직원조차도 해당 데이터를 볼 수 없습니다"라며, "제가 인프라와 팀을 운영하고 있음에도 불구하고 저 역시 볼 수 없습니다"라고 말했습니다.
Delta Sharing은 Kraken이 고객에게 가치를 제공하는 방식에서 또 다른 중요한 구성 요소가 되었습니다. 성숙도가 낮은 플랫폼을 사용하는 고객의 경우 온보딩 중에 데이터 공유를 구성하는 데 최대 1주일 반이 걸릴 수 있습니다. 반면 Databricks를 사용하는 고객의 경우 Delta Sharing을 통해 이 기간을 단 하루로 단축할 수 있습니다. Kraken은 내부적으로 Delta 테이블을 표준으로 사용하며, Snowflake나 Fabric과 같은 플랫폼을 사용하는 고객이 요구할 때만 Iceberg로 변환합니다. 앞으로 Kraken은 속성 기반 액세스 제어 및 거버넌스 태그를 포함하여 Unity Catalog의 활용을 확장할 계획입니다. 이를 통해 내부 규정 준수뿐만 아니라 고객이 자체적으로 더 나은 거버넌스를 적용할 수 있도록 전체 데이터 자산에서 개인 데이터 태깅을 자동화할 예정입니다.
중요한 비즈니스 환경에서 안전하게 데이터 제공하기
데이터 플랫폼의 중심에 Unity Catalog를 배치함으로써 Kraken은 비즈니스의 복잡성에 맞춰 확장 가능한 거버넌스 기반을 구축했습니다. 이제 Kraken은 서드파티 도구 없이도 통합된 레이어에서 세분화된 액세스 제어를 시행하고, 계정 전반의 데이터 사용량을 추적하며, 고객과 규제 기관에 규정 준수 여부를 입증할 수 있습니다.
Delta Sharing을 활용함으로써 Kraken은 새로운 Databricks 고객에게 데이터를 제공하는 데 걸리는 시간을 최대 1주일 반에서 단 하루로 단축했습니다. 데이터 가용성이 12~18개월에 달하는 온보딩 프로세스의 첫 번째 마일스톤이라는 점을 감안할 때 이는 중요한 개선 사항입니다. 한편, 시스템 테이블은 Kraken의 리더십에 조직 전반에서 Databricks 리소스가 어떻게 소비되는지에 대한 명확한 가시성을 제공하여 인프라 지출을 비즈니스 성과와 직접 연결할 수 있도록 지원합니다.
궁극적으로 Unity Catalog 덕분에 Kraken은 수십억 행의 민감한 스마트 미터 데이터를 마스킹하는 것부터 13개국에 걸쳐 GDPR을 준수하며 개인 데이터를 처리하는 것에 이르기까지, 세계에서 가장 엄격한 검증을 받는 유틸리티 제공업체들의 신뢰를 충족할 수 있었습니다. Asensio는 "Unity Catalog 덕분에 고객에게 가장 안전하고 규정을 준수하는 방식으로 데이터를 제공할 수 있게 되었습니다"라며, "수반되는 법적 책임을 고려할 때, 이는 결코 가볍게 여길 일이 아닙니다"라고 말했습니다.