Veritas: Datavant on Databricks を通じて現実世界のデータを提供
この投稿は、Veritas Data Researchの最高経営責任者のジェイソン・ラボンテ氏との共同執筆によるものです。
ヘルスケアとライフサイエンスの領域では、データは医学のブレークスルーを推進し、患者の転帰を改善するための要となっています。 適切な実世界のデータソースを活用することで、医療、研究、製薬組織全体のイノベーションを促進することができます。 ガートナー社によると、外部データ共有に取り組んでいるデータとアナリティクスのリーダーは、そうでないリーダーに比べて、測定可能な経済的利益を3倍多く生み出すことができます。
死亡率データの重要な役割
死亡率データは、治療の有効性、公衆衛生政策、プロトコルの設計に関する深い洞察を提供する、健康分析における重要な基礎です。 しかし、保険請求や電子カルテのような従来の臨床データセットでは、このような重要なエンドポイントを捉えることは困難です。 このギャップから、患者の転帰を正確に理解するためには、臨床実データ（RWD）を死亡率データセットで補強する必要があります。
Veritas: 先進的な高品質の死亡率データソリューション
Veritasは、信頼できる死亡率データの不足を解消しています。 業界の専門家によって設立されたVeritasは、最先端のテクノロジーと合理化されたワークフローを採用し、基盤となるリファレンスデータセットの集約、キュレーション、普及を行っています。 このプロセスでは、多様な情報源からの綿密なデータ収集、サードパーティの参照データを使用した精緻化、包括的なFact of Deathインデックスの作成が行われます。
Datavant、Databricksによるインサイト生成を合理化
Datavantは、データセット間の患者健康記録のリンクを可能にするプライバシー重視の技術を通じて、ヘルスケアにおけるデータ共有のハードルを下げる重要なプレーヤーです。 Databricks社との協力は、医療業界におけるシームレスなデータ共有を推進する証です。 Veritasは、Datavantのテクノロジーを活用してデータをトークン化し、識別を解除して、患者の転帰をより深く理解しようとする研究、ライフサイエンス、保険、分析の各機関と共有しています。
DatabricksプラットフォームにおけるDatavantのイノベーション
Datavantは、Databricksプラットフォーム専用にカスタマイズされたトークン化エンジンを発表し、カスタムデプロイメントやメンテナンスの必要性を排除しました。 Databricksワークスペース用に設計されたこのライブラリは、Sparkテクノロジーのパワーを利用してパフォーマンスを向上させます。 特筆すべきは、レイクハウス内のロケーションへの直接読み込みと書き込みをサポートし、効率的なトークン生成のためのデータパイプラインを合理化することです。
効率性の加速：Veritas と Datavant の Databricks の旅
Veritasにとって、Datavant on Databricks との統合は、実装の簡素化、処理時間の短縮、コストの削減という変革をもたらしました。
DatabricksへのDatavantの実装は、python wheelの簡単なインストールでした。 このプロセスでは、データパイプラインのセットアップにかかる労力は少なく、1日以内に実行できるようになりました！
これまでVeritasは、3 億 6,000 万件の患者記録のダウンロード、トークン化、変換を約 20 時間で実行していました。 同社は、Datavant on Databricks と Databricks の Spark テクノロジーを活用することで、4 倍という驚異的な時間短縮を実現しました。 3億6,000万レコードのトークン化をわずか3時間、変換を2時間で完了し、ダウンロードも不要でした。 1年間で、人と処理の時間を600時間以上節約することができます！
さらに、Datavant on Databricks により、Veritasのエンジニアリングチームが費やす時間が短縮されました。 Datavantを導入する前は、製品のダウンロード、仮想マシンのサイズ変更、オンプレミス製品(CLI)を実際に実行するオペレーターなど、製品の適切な実行を保証するために何時間も従業員の時間を必要としていました。 同社は現在、このプロセスを単一のジョブで管理し、新しいレコードが存在する場合にのみ Datavant on Databricks 製品を実行します。 これにより、同社の死因データのトークン化と変換にかかる時間を 1 人当たりの労働時間の 45% 節約できます。
Datavant on Databricks 製品は、Vertias の Databricks Workspace 内で行われるトークン化によって、データの移動を制限します。 Datavant on Databricksのワークロードは、仮想マシンでDatavantを実行する場合の1/4のコストで済みました。
Veritasは、Datavant と Databricks のパートナーシップを活用することで、ライフサイエンスとヘルスケアの領域における革新と変革的な進歩を促進する、洞察までのスピードのシフトを意味します。
これらの先駆的なソリューションと、ライフサイエンスデータ共有に革命をもたらすその影響について詳しく知りたい方は、以下のリソースをご覧ください：
