通过多策略提示,评估大型语言模型,从胃镜和结肠镜报告中提取信息,通过多策略提示
Zhengqiu Yu1, Lexin Fang2, Yueping Ding2
1School of Medicine and the National Institute for Data Science in Health and Medicine, Xiamen University, Xiamen 361005, PR China.
大型语言模型对分析内镜报告有希望,但在复杂的数据提取和临床推理方面面临挑战. 对于专门的医疗应用,需要进一步开发.
科学领域:
- 医疗信息学 医疗信息学
- 人工智能在医学中的应用
- 自然语言处理自然语言处理.
背景情况:
- 对临床文本的自动分析对于提高医疗保健效率至关重要.
- 大型语言模型 (LLM) 提供了从非结构化医疗报告中提取信息的潜力.
- 内镜手术产生了广泛的报告,需要有效的总结和分析.
研究的目的:
- 系统地评估大型语言模型 (LLM),从胃镜和结肠镜报告中自动提取信息.
- 评估LLM在结构化数据提取,模式识别和使用快速工程的诊断支持方面的能力.
- 了解不同学习模式和提示策略下的各种LLM的表现.
主要方法:
- 开发了一个由三个任务组成的评估框架:实体提取,模式识别和诊断评估.
- 使用了162份专家注释的内镜报告的数据集.
- 评估了多个LLM (专有,新兴,开源) 使用直接和思维链 (CoT) 提示的零射击和少数射击学习.
主要成果:
- 更大,更专业的LLM在基本实体提取方面表现出色,但在空间关系和整合临床发现方面遇到了困难.
- 短暂学习的有效性有所不同,较大的模型显示出更一致的绩效增长.
- 快速工程策略,包括CoT变体,影响了跨任务的模型性能.
结论:
- LLM显示出分析内镜报告等专业医疗文本的潜力.
- 目前的LLM在捕捉复杂的临床细微差别和空间信息方面存在局限性.
- 这些发现有助于开发使用AI的先进临床文档分析系统.
更多相关视频
06:28E-Patient Counseling Trial E-PACO: Computer Based Education versus Nurse Counseling for Patients to Prepare for Colonoscopy
Published on: August 1, 2019
15:49Flexible Colonoscopy in Mice to Evaluate the Severity of Colitis and Colorectal Tumors Using a Validated Endoscopic Scoring System
Published on: October 16, 2013
相关概念视频
Imaging Studies III: Gastrointestinal Motility Studies and Virtual Colonoscopy
Radionuclide Testing
Radionuclide testing is a sophisticated medical technique for assessing gastrointestinal motility. It focuses on gastric emptying and colonic transit time. Radioactive markers track the movement of food through the digestive system, providing insights into gastrointestinal disorders.
In gastric emptying studies, a meal's liquid and...
Endoscopic Procedures II: Colonoscopy
Endoscopic Procedures IV: Sigmoidoscopy and Laproscopy
Sigmoidoscopy
Sigmoidoscopy is a diagnostic procedure that uses a flexible sigmoidoscope equipped with a light source and camera to examine the rectum and sigmoid colon. The procedure involves inserting the tube through the anus...
Endoscopic Procedures I: Esophagogastroduodenoscopy
During an EGD, the endoscope can be used to:
Endoscopic Procedures III: Video Capsule Endoscopy
