ASQ-PHI：臨床脱識別および検索ユーティリティのための敵対的合成データベンチマーク

科学分野:

• 医療情報学
• 自然言語処理
• データサイエンス

背景:

• 病院は、臨床タスクのためにHIPAA準拠の大規模言語モデル（LLM）を利用しており、保護保健情報（PHI）の入力を許可しています。
• LLMは、最新の臨床証拠のために外部データを必要とし、この移行中にPHIを処理するための安全な方法が必要です。
• 既存の脱識別データセットは、チャットベースの臨床LLMインターフェイスで使用される短くクエリスタイルのプロンプトには最適化されていません。

研究 の 目的:

• LLMの安全な引き継ぎの文脈における臨床クエリの脱識別のための、新しく完全に合成されたベンチマークデータセットであるASQ-PHIを紹介すること。
• 短く、臨床医スタイルの検索クエリの脱識別を評価するためのリソースを提供すること。
• HIPAA準拠のツールにPHIを含むクエリを移行するための堅牢なシステムの開発を促進すること。

主な方法:

• HIPAA準拠のLLMのための臨床医のプロンプトを模倣した、1051件の合成シングルターン臨床検索クエリを生成しました。
• 機械解析可能な区切り文字とJSONを使用して、PHI要素とその対応するHIPAAセーフハーバーカテゴリでクエリに注釈を付けました。
• Azure OpenAI GPT-4oを使用した敵対的少数ショットプロンプティングパイプラインを採用して、PHI陽性およびハードネガティブの例を含むクエリを生成しました。

主要な成果:

• ASQ-PHIデータセットには1051件のクエリが含まれており、そのうち79.2%がPHI陽性、20.8%がハードネガティブです。
• 2973件のPHI要素が13のHIPAAセーフハーバー識別子タイプにラベル付けされており、PHIの削除と過剰削除の測定に適しています。
• 商用PHI検出サービスのベースラインメトリックが、データセットのリポジトリ内で提供されています。

結論:

• ASQ-PHIは、LLMの安全な引き継ぎシナリオにおける臨床クエリの脱識別 উপযুক্তなデータセットの不足に対処します。
• このデータセットは、従来のEHRナラティブベンチマークとは異なる、短いクエリベースのプロンプトでの脱識別パフォーマンスの評価を可能にします。
• ASQ-PHIはMITライセンスでリリースされ、安全な臨床AIアプリケーションにおけるさらなる研究開発を促進します。