基于LLM的零射击视力敏度提取:一个试点研究

科学领域:

• 眼科医生 眼科 眼科
• 人工智能的人工智能
• 医疗信息学 医疗信息学

背景情况:

• 视敏度 (VA) 和眼内压力 (IOP) 是眼睛健康的关键指标.
• 临床笔记中的VA和IOP的标准化文档往往缺乏.
• 需要从非结构化的临床笔记中自动提取数据.

研究的目的:

• 评估使用大型语言模型 (LLM) 来自动提取VA和IOP数据的可行性.
• 为了评估与专家核实记录相比,LLM提取的数据的准确性.

主要方法:

• 分析了69个眼科门诊笔记,使用了7000亿参数LLaMA-3模型.
• 数据提取的零射击学习方法,针对每个眼睛的九个数据点.
• 将LLM提取的数据与经过专家验证的实地真相进行比较.

主要成果:

• 地方LLM部署用于临床笔记分析是可行的.
• 获得最佳校正的VA和IOP提取的高精度 (>90%).
• 对于未经纠正的VA来说,准确度较低 (67-75%),在模糊的文档中存在挑战.

结论:

• 可以在本地部署LLM来从自由文本眼科笔记中提取VA数据.
• 目前的LLM准确性在几个数据领域是不够的,特别是未经纠正的VA.
• 需要进一步的研究,以提高从临床记录中基于LLM的数据检索的精度.