Kythera Labsが、Databricks Built-Onパートナーとして、Delta Sharingを使用して年間2百万ドル以上を節約する方法

医療システムは膨大な量の機密データを生成しますが、そのデータを組織間で安全に移動、共有、分析することはまだ大きな課題となっています。この投稿では、Kythera LabsでDatabricksとDelta Sharingを使用して3億以上の患者記録を管理し、ヘルスケアとライフサイエンスの間での協力を支援する方法を見ていきます。このブログでは、古いデータ共有方法の実際の問題、なぜデルタ共有を採用したのか、そしてそれが私たちのストレージコスト、効率、リアルタイムのコラボレーションにどのような影響を与えたのかについて説明します。

ヘルスケアでのデータ活用：Kytheraのアプローチ

Kythera Labsは、統一された高精度のヘルスケアデータプラットフォームを用いて、ヘルスケアおよびライフサイエンスの組織を支援するデータテクノロジー企業です。Databricksパートナーとして、私たちはDatabricksとDelta Sharingを選びました。これは、内部のデータ共有だけでなく、外部パートナーとのシームレスなデータ交換をサポートするためです。今日、私たちの顧客の80％以上がプラットフォーム上で構築された製品を使用しています。また、Exact Sciencesのような組織を含む外部とのコラボレーションもサポートしており、50のアクティブな顧客ワークスペースでデルタ共有を使用しています。

なぜDelta Sharingなのか？

Kythera Labsは、ヘルスケアデータを安全に共有するための大きな課題を克服するためにDelta Sharingを選びました。10年間の臨床履歴を含む3億以上の患者記録を持つ当社では、伝統的な方法ではデータセットの複数の完全なコピーを作成し、移動する必要があり、ストレージコストが数十万ドルに上り、配信が遅くなります。

デルタ共有は、重複したコピーを作成せずにライブデータへの安全なリアルタイムアクセスを可能にすることでこれを変えます。各パートナーや環境ごとに別々のデータセットを保存し、維持するのではなく、直接一元管理された真実の源を共有することができます。このアプローチにより、私たちは内部チームと外部のコラボレーションを、それ以外に必要な20PB以上ではなく、わずか3.5PBのストレージで動かすことができました。

別の複雑さは、クラウド上でお客様のニーズに応えることです。ヘルスケアプロバイダーはしばしばAzureで運用され、多くの製薬会社はAWSまたはGCPで運用されます。デルタ共有のような技術がなければ、大規模なデータセットをクラウド間で配信することは、高額な転送費用、複雑なETL作業、そしてクラウド間に散らばる複数の古いコピーを意味します。Delta Sharingを使用すると、クラウドの種類に関係なく、同じライブデータセットへの安全なアクセスを即座に提供することができます。これにより、コンプライアンスを維持し、不必要なコピーを排除します。

これにより、内部のワークフロー（開発からテストへ、テストから本番環境へのデータの再コピーなし）が効率化されるだけでなく、新しいデータでがん治療モデルを即座に更新するなど、顧客がより迅速に行動するのが容易になります。

レガシーアプローチの置き換え

データ量と複雑さが指数関数的に増加する中で、SFTPサーバーのような伝統的なデータ共有方法は、現代のニーズにはもはや適していません。大規模なファイルを行き来させることは遅延を引き起こし、セキュリティリスクを増加させ、複数の冗長なデータセットのストレージを必要とします。

APIはリソースとなる可能性がありますが、Kytheraのような組織が管理する大量のデータを共有するには不十分です。私たちが管理する膨大な量のデータをAPIを通じて共有することは、ガーデンホースでプールを満たすようなものです。技術的には可能ですが、私たちのニーズには遅すぎて非効率的です。

運用面では、私たちはデルタ共有に基づいたカスタム「ヴォールトアーキテクチャ」を通じて、毎日700万～1000万のトランザクションを処理しながらコンプライアンスを確保しています。顧客は、手動介入なしでビュー共有を通じてリアルタイムの更新を受け取ることができます。

Delta Sharingを採用することで、私たちはこれらのレガシーメソッドから完全に移行し、クラウドや組織間でのシームレスなコラボレーションを可能にしながら、運用効率を向上させました。

Delta SharingのROI

デルタ共有により、私たちは旧来のデータ共有方法を排除し、ストレージニーズを80％以上削減し、過去2年間で200万ドル以上を節約することができました。— ジェフ・マクドナルド、CEO、キテララボ

デルタ共有は、Kytheraがストレージニーズを予想された24PBからわずか3.5PBに削減するのを助けました。3年間で、ストレージの需要は2024年の17PB/月から2023年の12PB/月、2022年の6PB/月に減少しました。これらの削減は、数百万の節約につながります。コンテキストとして、大手製薬会社は、ストレージだけで毎月最大14百万ドルを費やすことがあります。

ストレージは物語の一部に過ぎません。ETLコピーを実行するための計算コストは、使用ケースによりますが、ストレージの節約と同等から、それを大幅に上回る可能性があります。

主要なポイント

Delta Sharingは、コスト削減、効率向上、クラウドや組織間でのリアルタイムのコラボレーションを可能にすることで、私たちのデータ共有能力を変革しました。デルタ共有、Unity Catalog、そしてliquid clusteringの組み合わせは、ヘルスケアデータの標準に準拠しながらスケーラビリティを確保し、オープンで現代的なデータプラットフォームがヘルスケア分析を革新する例を示しています。