Funkeのご紹介：DatabricksでのネイティブHL7v2パース

レイクハウスにおけるHL7v2の課題

HL7v2は、医療分野を密かに支えているメッセージング標準規格です。臨床システム間で患者の入院、検査の注文、または結果の受け取りなどを相互に通知するために使用されています。導入から数十年が経過した現在でも、業界で最も広く展開されている統合標準であり、医療機関の大部分は日常的な運用データのフローをこれに依存しています。

しかし、これは扱いが難しくもあります。HL7v2メッセージは、区切り文字でエンコードされたネスト構造になっています。フィールドからなるセグメント、コンポーネントと反復からなるフィールド、サブコンポーネントからなるコンポーネントで構成され、これらはすべてメッセージ自体のヘッダーで宣言された少数の特殊文字で区切られます。仕様に柔軟性があるため、実際のメッセージは送信元システムによって異なります。

チームがこのデータをモダンな形式で取得したい場合、通常は2つの回避策のいずれかを採用します。まずすべてをFHIRに変換する方法ですが、これには変換レイヤーが追加され、適切なFHIRと同等の項目がない詳細情報が脱落する可能性があります。あるいは、メッセージをサードパーティ製エンジンに渡して階層構造を平坦なワイドテーブルに変換する方法ですが、これは別のベンダーに費用を支払い、データをプラットフォーム外に移動させ、基盤となるきめ細やかな構造への直接アクセスを失うことを意味します。どちらの経路もコストとレイテンシを増加させ、自身の臨床データとの間に距離を生んでしまいます。

SmolderからFunkeへ

2021年、私たちはHL7v2メッセージをDataFrameにロードするSparkライブラリであるSmolderをオープンソース化しました。これにより、医療チームはパーサーを手作業でコーディングすることなく、リアルタイムのEHRフィードに対してアナリティクスを実行できるようになりました。Smolderは、メッセージの解析が導入の大きな障壁であった時代に、レイクハウスでHL7データを利用できるようにしました。

それ以来、プラットフォームは大きく進化しました。Unity Catalogがデータ、ボリューム、モデルをガバナンスします。Declarative Automation Bundlesはプロジェクトをコードとしてパッケージ化してデプロイします。Spark Declarative Pipelinesはストリーミング取り込みを宣言的に処理します。しかし、Smolderはこれらすべてより前に作られたものであり、モダンなDatabricksプラットフォームにスマートに適合するように設計されていませんでした。

Funkeは、現在のプラットフォームに合わせて再構築された後継プロジェクトです。この名前はその系統に対するちょっとした敬意を表しています。ドイツ語でFunkeはspark（火花）を意味します。SmolderがScalaデータソースであったのに対し、FunkeはPythonおよびPySparkライブラリと、すぐにデプロイ可能なパイプラインで構成されています。ネイティブなSpark型に解析し、DABとしてデプロイし、Declarative Pipelineを通じて取り込み、すべてをUnity Catalogに格納します。ユーザーは何もない状態からわずか数分で、拡張性の高いストリーミングHL7パイプラインを構築できます。

Smolderが始めた「HL7をファーストクラスのレイクハウスデータとして扱う」という考え方は共通しています。実装が新しいのです。

Funkeの特長

Funkeは、HL7v2メッセージをネイティブなSpark型に直接解析し、階層構造全体をそのまま保持します。この解析はロスレス（無損失）に設計されており、パイプラインの可能な限り奥くまで元の構造をすべて維持することを目的としています。

解析されたメッセージは、セグメント名からそのセグメントの反復へのマップとしてモデル化されます。各フィールド自体もマップであり、フィールド番号、反復、コンポーネント、サブコンポーネントの順で参照できます。Sparkの表現では以下のようになります。

解析されたメッセージは普通のSpark列であるため、すべての要素に通常のDataFrame式やSQL式でアクセスできます。また、パーサーがHL7エンコードルール（MSHヘッダーで宣言されたフィールド、コンポーネント、反復、サブコンポーネントの区切り文字、および標準のエスケープシーケンス）を自動処理します。FunkeはすべてのHL7メッセージタイプとバージョンをサポートしているため、医療システムが通常受信するさまざまなバージョンのメッセージを同じパイプラインで受け入れることができます。

その結果、生の臨床データは完全な再現性を保ったままレイクハウスに取り込まれ、Unity Catalogによって管理され、すぐにクエリ可能な状態になります。コンバーターやベンダーが選択した形式を受け入れるのではなく、特定のユースケースにおいてどのフィールドが重要であるかをユーザー自身が決定できます。

動作の仕組み：取り込みパイプライン

Funkeは、メダリオンアーキテクチャに従うDeclarative Pipelineとしてデプロイされます。2つのテーブルを定義し、その上に固有のユースケースに応じたゴールドテーブルを構築します。

図1：Databricks Lakehouse上でのFunkeデータフロー

ランディングからブロンズへ。新しいHL7ファイルがUnity Catalogのボリュームに到達します。Auto Loaderがこれらを検出してコンテンツをデコードし、パイプライン全体でメッセージを追跡するためのMD5ハッシュ、挿入タイムスタンプ、メッセージIDなどの取り込みメタデータとともにraw_messagesテーブルに書き込みます。

ブロンズからシルバーへ。parsed_messagesテーブルは生ストリームを読み取り、Funkeのパーサーを適用して、上に示したネイティブ型の単一のhl7列を追加します。ここで非構造化メッセージテキストが、構造化されたクエリ可能なデータへと変換されます。

生メッセージからゴールドテーブルへ

hl7列はネイティブなSparkデータであるため、セグメント、フィールド、反復、コンポーネント、サブコンポーネントによって任意の要素に直接アクセスできます。

同じ抽出がSpark SQLでも機能するため、Pythonに触れたことがないアナリストでも、ゴールドテーブルやビューを直接作成できます。

位置インデックスの連鎖は正確ですが、開発から数か月経つと理解するのが難しくなります。そのため、Funkeには開発者がコンテンツを明確に抽出できるようにアクセサーヘルパーが用意されています。get_valueは、セグメント、その反復、フィールド、フィールドの反復、コンポーネント、サブコンポーネントを受け取り、値を列として返します。

さらに、get_segment、get_field、get_component、get_subcomponent、およびMSHヘッダーからバージョンを直接読み取るparse_hl7_versionヘルパーなど、より上位レベルのヘルパーも含まれています。クエリに適した抽象化レベルを選択できます。

エンドツーエンドでの動作を確認

Funkeにはデモが付属しているため、実際のEHRフィードに接続しなくても全体のフローを確認できます。これには、一連の施設における入院、転院、退院をシミュレートする合成ADTイベントジェネレーターと、Databricks Apps上で構築され、イベントストリームを開始・停止して、生テキストから解析済み構造を経てゴールドデータに至るまでのメッセージを追跡するコントロールルームアプリが含まれています。

デモのゴールドレイヤーは、それ自体が実用的な例となっています。パースされたADTストリームをadt_events履歴テーブルに変換し、受診番号をキーとした変更データキャプチャ（CDC）を使用してリアルタイムのcurrent_censusテーブルを維持します。これにより、退院イベントによって患者がCensus（在院患者一覧）から削除され、病床が開放されます。bed_utilizationテーブルは、そのリアルタイムのCensusと施設容量を結合してユニットごとの使用中病床と空き病床を表示し、ダッシュボードにデータを供給します。これは、生（raw）のHL7メッセージから、病院が実際に監視する運用メトリクスに移行する具体的な例です。

はじめに

FunkeはDatabricks Industry Solutionsのアクセラレータであり、Asset Bundleとしてデプロイされます。

1. リポジトリをDatabricksワークスペースにクローンします。
2. DABエディタでディレクトリを開き、 Deploy をクリックします。デプロイによってfunkeライブラリがビルドされ、パイプライン、Unity Catalogスキーマ、ランディングボリュームがプロビジョニングされます。
3. 作成されたlandingボリュームにHL7メッセージをアップロードします。
4. HL7取り込みパイプラインの Run をクリックします。

コマンドラインを好む場合は、Databricks CLIを使用して同じデプロイメントを実行できます。

Funkeができること・できないこと

Funkeはパーサーであり、取り込みアクセラレータです。HL7v2メッセージをネイティブでガバナンスの効いたクエリ可能なレイクハウスデータとして提供し、ユースケースに必要なゴールドテーブルに変換するためのクリーンなパターンを提供します。インターフェースエンジンではないため、メッセージを正確に解釈するために必要な臨床知識やHL7の専門知識に代わるものではありません。セグメントやフィールドからビジネスコンセプトへのマッピングは、ご自身のドメイン知識に基づいて決定する事項です。Funkeの役割は、お客様がその決定を下す際に、データが完璧かつ容易にアクセス可能な状態にあることを確実にすることです。

試してみる

FunkeはDatabricksライセンスのもとでオープンソースとして公開されています。コードを確認し、デモを実行し、フィードバックやアイデアがあればIssueを作成してください。

https://github.com/databricks-industry-solutions/funke-hl7v2

デモで使用されているテストメッセージは、HL7 v2-to-FHIRプロジェクトから提供されています。

(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事