大規模な言語モデルによる放射線報告の簡素化:プライバシーに準拠したオープン対クローズド・ウェイトモデル

科学分野:

• 医療イメージングにおける人工知能
• 医療における自然言語処理について
• 放射線学報告書 簡略化

背景:

• 大型言語モデル (LLM) は,複雑な医療情報を簡素化する可能性を秘めています.
• 閉じた重量 LLM に関するプライバシーの懸念は,医療における直接的な臨床応用を制限しています.
• 患者に優しい放射線報告を作成するためのプライバシーに準拠した方法を開発することは極めて重要です.

研究 の 目的:

• 患者フレンドリーな放射線報告を作成する際に,閉重量および開重量LLMの有効性を比較する.
• LLMで生成されたレポートの読みやすさと理解性を評価するために,医療の非専門家のために.
• 病院内部署された,プライバシーに準拠したオープンウェイトのLLMの臨床的適用性を評価する.

主な方法:

• 60の放射線報告 (X線,超音波,CT,MRI) は,GPT-4o (閉じた重量) とLlama-3-70b,Mixtral-8x22B (開いた重量) を使用して翻訳されました.
• 読みやすさは,Fleschの読みやすさ,読書時間,および単語/文のカウントを使用して評価されました.
• 理解性は,21人の医療専門家によって,5ポイントのライカルトスケールで評価され,統計分析は,線形混合効果モデルとH・クルスカル・ワリステストを使用した.

主要な成果:

• LLMで生成されたレポートは,オリジナルのレポートと比較して,読みやすさが大幅に改善された (より高いFleschスコア) (p <0.001).
• すべてのLLMレポートのレイパー理解度評価は顕著に高かった (p <0.001),GPT-4oとLlama-3-70Bは比較可能なパフォーマンスを発揮した (p = 0.136).
• オープンウェイトモデル (Mixtral-8x22B,Llama-3-70B) は,GPT-4o (p=0.005,p=0.025) よりも潜在的な害の誤差が多かった.

結論:

• LLMは,無学者の放射線報告の理解を大幅に向上させます.
• プライバシーに準拠した,オープン・ウェイトのLLMは,臨床統合の有意な可能性を示しています.
• LLMを使用して,患者と向き合う医療報告書を生成する際には,依然として人間の監督が必要である.