Krakenは公益事業向けのオペレーティングシステムであり、13カ国のエネルギー、水道、通信事業者にプラットフォームのライセンスを提供し、世界中で約8,500万の契約アカウントをサポートしています。厳しく規制された市場で同社が規模を拡大するにつれ、複雑なマルチアカウントアーキテクチャ全体で、より強力なガバナンス、コンプライアンス、安全なデータ共有が必要になりました。DatabricksのUnity CatalogとDelta Sharingを導入したことで、Krakenはプラッ トフォーム全体の可視性と制御を維持しながら、安全でコンプライアンスに準拠したタイムリーな方法でクライアントにデータを提供できるようになりました。
規制の厳しい世界でのデータ規模の拡大
データはKrakenのあらゆる活動の中心にあり、同社は2つの側面からデータに取り組んでいます。1つはクライアントが分析や業務レポートにデータを利用できるように支援すること、もう1つは社内でデータを活用してビジネスを理解し、AI主導のプロセスをサポートすることです。データエンジニアリング、アナリティクスエンジニアリング、インフラストラクチャ、デリバリーにまたがる約70〜85人のデータチームが、これらの取り組みを支えています。
Krakenが成長するにつれ、厳しく規制された市場での事業展開は、ますます複雑なガバナンスの課題をもたらしました。エンジニアがほんの一握りしかいなかった初期の頃は、誰がどのデータにアクセスできるかを追跡することは管理可能でした。しかし、会社が規模を拡大するにつれて、そのような非公式なアプローチでは不十分になりました。Krakenは、各クライアントが独自の専用Databricksアカウント内で運用されるアーキテクチャを管理しながら、厳格なアクセス制御を実施し、監査可能性を維持し、GDPRやSOC 1および2などの規制への準拠を証明する必要がありました。Krakenのデータ＆アナリティクスエンジニアリング責任者であるJavi Asensio氏は、「私たちはクラウドにどのようなデータが存在し、それをどのように保護す るかについて非常に注意を払っています。ガバナンスと監査可能性は、最初から非常に重視していたことでした」と語ります。
公益事業者の記録システムとして、Krakenはクライアントに代わって機密性の高い個人データや財務データを扱っています。クライアントの多くは、厳格なコンプライアンス要件を持つ上場企業です。コストの可視化もさらなるプレッシャーとなりました。エネルギー危機の際、インフラ支出が精査される中、Krakenは費やしたすべての費用を正当化する必要がありました。Asensio氏は、「CEOから『多額の費用を使っている』と言われたとき、私はその理由を説明できなければなりません。ビジネスのこの部分を成長させるためにこれだけの金額を費やし、それによってこれだけの価値が創出された、と言える可視性が必要なのです」と述べています。
統合されたガバナンスレイヤーがなければ、数十ものアカウントにわたってアクセス、使用状況、説明責任を一貫して監視することは困難でした。
複雑なマルチアカウント環境のための統合ガバナンスレイヤー
これらの課題に対処するため、KrakenはUnity Catalogに移行し、早期に導入してその中核機能を中心にガバナンスフレームワークを構築しました。システムテーブルにより、Krakenはアカウント全体のデータアクセス、クエリ履歴、アクティブなエンドポイントを可視化できます。Krakenはクライアントごとに個別のDatabricksアカウントを維持しているため、システムテーブルとUnity Catalog APIを 組み合わせることで、数十の隔離された環境で運用するのが困難なサードパーティ製ツールを必要とせずに、ガバナンスニーズの約95%をカバーできます。Asensio氏は、「必要な作業のほとんどはシステムテーブルから、残りはAPIから実行できます。これにより、当社のアーキテクチャを考えると非常に困難な、サードパーティへの依存を避けることができます」と語ります。
セキュリティは、「不要なデータには誰もアクセスすべきではない」という明確な原則に基づいて構成されています。Krakenは、アカウント分離によるクライアントデータの隔離、GDPR準拠のための個人データに関するアクセス制御、SOC 1および2準拠のための財務データに関する制御という3つの柱でこれを実施しています。Krakenは、オーストラリアの配電会社であるEssential Energyからの機密性の高い要件をサポートするために、データマスキングときめ細かなアクセス制御を導入しています。このユースケースでは、Krakenはオーストラリア国外のすべての人（Krakenのエンジニアを含む）に対して、数十億行のスマートメーターの測定値を含む3つのテーブルにわたるエネルギー消費データを保護しています。Asensio氏は、「オーストラリアに住んでいない限り、当社の従業員であってもそのデータを見ることは許可されていません。私がインフラとチームを運営していても、見ることは許されないのです」と述べています。
Delta Sharingも、Krakenがクライアントに価値を提供する上で重要な要素となっています。成熟度の低いプラットフォームを使用しているクライアントの場合、オンボーディング時のデータ共有の設定に最大1週間半かかることがあります。Databricksを使用しているクライアントの場合、Delta Sharingによってそれがわずか1日に短縮されます。Krakenは社内でDeltaテーブルを標準化しており、SnowflakeやFabricなどのプラットフォームを使用しているクライアントが要求した場合にのみIcebergに変換します。今後、Krakenは属性ベースのアクセス制御やガバナンスタグなど、Unity Catalogの利用を拡大し、社内のコンプライアンス維持と、クライアント側でのより優れたガバナンス適用の両方を目的として、データ資産全体で個人データのタグ付けを自動化することを計画しています。
極めて重要な業界でデータを安全に提供
データプラットフォームの中心にUnity Catalogを据えることで、Krakenはビジネスの複雑さに応じて拡張できるガバナンスの基盤を構築しました。Krakenは、サードパーティ製のツールを必要としない統合レイヤーから、きめ細かなアクセス制御の実施、アカウント間でのデータ使用状況の追跡、クライアントや規制当局へのコンプライアンスの証明を行えるようになりました。
Delta Sharingを活用することで、Krakenは新しいDatabricksクライアントにデータを提供するまでの時間を最大1週間半からわずか1日に短縮しました。データ提供は12〜18ヶ月に及ぶオンボーディングプロセスの最初のマイルストーンであるため、これは重要な改善です。一方、システムテーブルにより、Krakenのリーダーシップは組織全体でDatabricksリソースがどのように消費されているかを明確に把握でき、インフラ支出をビジネス成果に直 接結び付けることができます。
最終的に、Unity Catalogにより、Krakenは世界で最も厳しく監視されている公益事業者の一部から寄せられる信頼に応えることができました。これには、数十億行の機密性の高いスマートメーターデータのマスキングから、13カ国にわたる個人データのGDPR準拠の処理の確保までが含まれます。Asensio氏は、「Unity Catalogのおかげで、お客様にとって最も安全でコンプライアンスに準拠した方法でデータを提供できるようになりました。それに伴う責任を考えると、これは決して軽視できることではありません」と述べています。