大型语言模型回答有关标准病理学报告的医学问题
Anqi Wang1, Jieli Zhou2, Peng Zhang1
1Division of Colorectal Surgery, Changzheng Hospital, Navy Medical University, Shanghai, China.
Frontiers in medicine
|October 3, 2024
概括
大型语言模型 (LLM) 在回答结直肠癌 (CRC) 报告中的病理学问题方面表现有前途. 虽然对一般查询有效,但对特定报告细节的表现有所不同,这表明改善医生与患者沟通的潜力.
科学领域:
- 医疗信息学 医疗信息学
- 人工智能在医学中的应用
- 病理学 病理学 病理学
背景情况:
- 病理学报告 (PRs) 对结直肠癌 (CRC) 的诊断和治疗至关重要.
- 解释复杂的病理信息对患者和有时临床医生来说可能是具有挑战性的.
- 大型语言模型 (LLM) 为信息检索和解释提供了一个潜在的工具.
研究的目的:
- 根据CRC病理报告,评估LLM在回答病理相关问题的可行性和准确性.
- 用关键指标评估LLM生成答案的质量与人类生成答案的质量.
- 探索LLMs在改善医生与患者之间关于病理学发现的沟通方面的潜力.
主要方法:
- 使用聊天生成预训练变压器 (ChatGPT) 与常见的病理问题 (CQ) 和来自CRC PRs的报告特定问题 (RQ).
- 开发了一个交互式系统来上传PRs (JPG图像),以生成ChatGPT对RQs的响应.
- 使用胃肠病学家,病理学家和门诊患者评估答案的质量 (理解,科学性,满意度).
主要成果:
- 在所有指标上,胃肠科医生对CQ的LLM答案的评分与非AI答案相似.
- 对于最初的RQs (RQ1-3),LLM答案得到了胃肠科医生和患者的更高评分.
- 对于后来的RQs (RQ4-6),胃肠病学家对LLM答案的理解和满意度较低,患者对理解和满意度较低,RQ4.4的科学性有显著差异.
结论:
- 法律学士可以为一般病理学问题和与PRs相关的概念问题提供可靠的答案.
- 在回答公关人员的具体,详细问题时,LLM的表现是可变的,需要进一步改进.
- 临床医学仪表显示出作为一种改善医生和患者之间关于病理学结果的沟通工具的重要潜力.
