Descemet膜内皮切除術に関するAIで作成された患者用用用紙の正確性,可読性および信頼性の評価
Bnar Massraf1, Ka Kiu Cheris Chan1, Nikhil Jain1
1North West Anglia NHS Foundation Trust, Peterborough, UK.
European journal of ophthalmology
|August 28, 2025
まとめ
大型言語モデル (LLM) は,デセメット膜内皮切除手術 (DMEK) の患者情報用チラシを生成することができます. クラウド3.7ソネットはLLMの中で最も良い結果を出しましたが,臨床医の監督は正確性と安全性にとって不可欠です.
科学分野:
- 眼科について
- 医療情報工学
- 医療における人工知能
背景:
- 患者情報用紙は,知的な同意と手術の準備に不可欠です.
- 人工知能によって生成された医療情報の質を評価することは,患者の安全のために不可欠です.
- デセメット膜内皮切開術 (DMEK) は,角膜移植の専門手術である.
研究 の 目的:
- LLMで作成されたDMEKの患者情報用紙の可読性,信頼性,および正確性を評価する.
- 臨床医が作成した標準とLLMで作成されたフリュートの品質を比較する.
- 患者フレンドリーなDMEK外科情報を作成するための最高性能のLLMを特定する.
主な方法:
- 7人のLLMは,DMEKの患者情報用チラシを作成するよう促されました.
- リーダビリティメトリック (FKG,FRE,ARI,Gunning Fog) を用いてリーダビリティメトリックを評価した.
- 信頼性 (DISCERN,PEMAT),誤った情報,参照が評価され,スコアシステムにより結果は標準化されました.
主要な成果:
- 臨床医が作成した用紙は最高得点 (92%) を獲得した.
- クラウド3.7ソネット (77.8%) は,読みやすさと参照が良好で,最高のパフォーマンスを示したLLMでした.
- ChatGPT-4o (70.9%) が続いており,参考文献は欠けていました.他のLLMは中等から低いスコアでした.
結論:
- LLMはDMEKに関する患者教育資料の作成の可能性を示しています.
- LLMで生成されたパンフレットの信頼性と正確性には大きな違いがあります.
- LLMで生成されたコンテンツの臨床的レビューは,臨床適用前に必須です.
