探索大型语言模型的机会,以总结息护理咨询:试点比较研究
Xiao Chen1, Wei Zhou2, Rashina Hoda2
1School of Information and Physical Sciences, University of Newcastle, Callaghan, NSW, Australia.
像GPT-4这样的大型语言模型对总结息护理远程咨询非常有希望. GPT-4为患者友好的医学摘要提供了良好的平衡.
科学领域:
- 人工智能的人工智能
- 自然语言处理自然语言处理.
- 医疗信息学 医疗信息学
背景情况:
- 大型语言模型 (LLM) 展示了先进的自然语言处理能力.
- 法律学为关键应用提供了机会,包括远程医疗.
- 息护理远程咨询会产生复杂的医生与患者对话,需要有效的总结.
研究的目的:
- 评估LLMs (GPT-3.5,GPT-4,LLaMA 2) 在息护理远程咨询上的零射击总结性能.
- 用自动指标和Flesch-Kincaid等级来评估LLM生成的摘要的质量和可读性.
- 确定LLM对于创建患者友好的医学摘要的适用性.
主要方法:
- 创建了一个定制的医生与患者对话数据集,来自于息护理远程咨询.
- 使用GPT-3.5,GPT-4和LLaMA 2模型进行了零射击总结.
- 总结质量使用BLEU,ROUGE-L,METEOR和BERTScore进行了评估.
- 使用弗莱什-金凯德等级水平来评估可读性.
主要成果:
- 在ROUGE-L,METEOR和BERTScore中,GPT-4表现出色,这表明了强大的语义准确性和序列匹配.
- LLaMA 70B生成的摘要最接近参考可读性水平 (10.7).
- GPT-4总结 (等级13.1) 比GPT-3.5 (15.2) 更容易获得,而LLaMA模型的范围从11.9到12.6.
结论:
- 所有评估的LLM在总结息护理咨询方面表现相似.
- 在平衡内容理解和结构相似性方面,GPT-4显示出轻微的优势.
- 在远程医疗环境中,GPT-4是生成患者友好的医疗摘要的有希望的候选人.
更多相关视频
06:28E-Patient Counseling Trial E-PACO: Computer Based Education versus Nurse Counseling for Patients to Prepare for Colonoscopy
Published on: August 1, 2019
06:16Involving Individuals with Developmental Language Disorder and Their Parents/Carers in Research Priority Setting
Published on: June 6, 2020
相关概念视频
Methods of Documentation VI: Case Management Model
For example, a patient with a chronic...
Continuing Care
Documentation in Long-Term and Home Healthcare Setting
Long-Term Care Facilities
Techniques of Therapeutic Communication II: Focusing, Paraphrasing, and Summarizing
This therapeutic technique can also be used when a patient brings up pertinent information during a health-related conversation. The...
Cancer Survival Analysis
Methods of Documentation II: POMR
