探索非专有语言模型的潜力,以分析患者报告的经验

科学领域:

• 自然语言处理自然语言处理.
• 医疗信息学 医疗信息学
• 医疗保健中的人工智能

背景情况:

• 大型语言模型 (LLM) 在医学语言处理中越来越受欢迎.
• 数据隐私问题需要使用非专有,本地可运行的模型.
• 分析患者报告的经验对于改善医疗保健质量至关重要.

研究的目的:

• 评估非专有LLM在分析患者报告经验方面的能力.
• 评估Gemma 2,Llama 3.2和Llama 3在分类和从患者反中提取见解方面的表现.
• 根据对患者数据的LLM分析,确定医疗保健的潜在质量改善.

主要方法:

• 三个非专有的LLM (Gemma 2,Llama 3.2,Llama 3) 被应用于来自PatBox.ch.的155个患者报告的文本数据集.
• 这些模型在提取有关人的信息,对事件进行分类和对情绪进行分类方面的准确性得到了评估.
• 绩效指标包括精度,假阳性和提取和分类的不完整性.

主要成果:

• 与Llama 3.2和Llama 3相比,Gemma 2在所有评估任务中表现出更好的表现.
• 杰玛2在人提取方面达到67%的准确性,事件分类方面达到63%,情绪分类方面达到86%.
• 虽然分类是一般性的,但模型成功地确定了关键主题,提供了有价值的数据洞察力.

结论:

• 非专有的LLM,特别是Gemma 2,显示出分析患者报告的医疗保健经验的巨大潜力.
• 法学士分析可以为识别质量改进领域提供可操作的见解.
• 进一步的研究可以改进LLM应用程序,以进行更细致的患者体验分析.