精确结构的自由文本外科记录加强中风管理:大型语言模型的比较评估
Mengfei Wang1, Jianyong Wei2, Yao Zeng3
1School of Health Science and Engineering, University of Shanghai for Science and Technology, Shanghai, People's Republic of China.
Journal of multidisciplinary healthcare
|November 19, 2024
概括
大型语言模型 (LLMs) 准确地结构了急性缺血性中风 (AIS) 患者的机械血栓切除术 (MTB) 手术记录. 与手工方法相比,这种AI方法显著加快了数据提取速度.
科学领域:
- 神经科学是一个神经科学.
- 医疗信息学 医疗信息学
- 人工智能的人工智能
背景情况:
- 机械血栓切除术 (MTB) 对急性缺血性中风 (AIS) 患者至关重要.
- 自由文本手术记录阻碍了有效的术后管理和康复规划.
- 标准化MTB数据对于改善患者护理至关重要.
研究的目的:
- 为了比较各种大型语言模型 (LLM) 在从自由文本MTB手术记录中结构化数据的有效性.
- 评估医学专业人员对手工数据提取的LLM性能.
- 在AIS中确定最有效的临床数据管理LLM.
主要方法:
- 对382个MTB手术记录进行了回顾性研究.
- 六个LLM (ChatGPT,GPT-4,GeminiPro,ChatGLM4,Spark3,QwenMax) 被评估. 这是一个非常好的方法.
- 使用精度,灵敏度,特异性,AUC和MSE量化性能,将LLM提取与神经放射学家和医生提取进行比较.
主要成果:
- 在特征提取方面,LLM 实现了高性能,整体平均精度为 78.05 ± 4.2%.
- 聊天GLM4和GPT-4在提取高级特征方面表现出最高的准确性 (分别为84.03%和82.20%).
- LLM的处理时间平均为73.10±10.86秒,比手动提取 (427.88秒) 快得多.
结论:
- LLM,特别是ChatGLM4和GPT-4,可以高效准确地构建MTB记录中的一般和高级特征.
- 基于LLM的数据结构优于手动提取方法.
- 这项技术显示出提高AIS治疗中的临床数据管理的巨大潜力.
