使用生成语言模型总结在线患者对话:实验和比较研究
Rakhi Asokkumar Subjagouri Nair1, Matthias Hartung2, Philipp Heinisch1
1Cognitive Interaction Technology Center, Faculty of Technology, Bielefeld University, Bielefeld, Germany.
JMIR medical informatics
|April 14, 2025
概括
像GPT-3.5这样的大型语言模型可以有效地从在线论坛中总结患者的经验,提供有价值的定性见解. 这项技术有助于了解患者需要改善医疗保健和药物开发.
科学领域:
- 自然语言处理自然语言处理.
- 医疗保健中的人工智能
- 患者报告的结果
背景情况:
- 社交媒体为监管机构提供了宝贵的患者体验数据.
- 目前分析患者数据的方法要么是手动的,不可扩展的,要么只提供定量洞察力.
- 需要采用能够自动总结患者文本并在规模上产生定性见解的方法.
研究的目的:
- 评估最先进的大型语言模型在从在线健康社区总结患者帖子时的有效性.
- 为了比较不同语言模型的性能和提示策略来总结个别患者的体验.
主要方法:
- 应用了三个语言模型 (Flan-T5,GPT-3和GPT-3.5) 与各种提示策略来总结患者的帖子.
- 评估生成的摘要与124个手动创建的参考摘要进行比较.
- 使用回忆导向的基底研究进行凝固评估 (ROUGE) 和BERTScore指标进行比较.
主要成果:
- 根据ROUGE和BERTScore.com,GPT-3.5与使用零射击提示的其他模型相比,表现出更高的性能.
- 最好的结果是GPT-3.5使用方向刺激提示在3射击设置中取得的.
- 手动审查表明,最佳表现方法生成的摘要是准确和可信的.
结论:
- 预训练的语言模型为提取定性患者体验见解,识别未满足的需求和优先事项提供了有价值的工具.
- 这些见解可以为改善医疗保健服务和以患者为中心的药物开发提供信息.
- 局限性包括一个小的数据样本和一个单一的注释器用于参考摘要;结果可能不适用于所有模型和策略.
