用匿名,微调的语言模型简化眼科文档:可行性研究

科学领域:

• 人工智能在医学中的应用
• 临床信息学 临床信息学
• 自然语言处理自然语言处理.

背景情况:

• 临床医生的行政负担,特别是医疗文档,有助于倦怠和患者安全风险.
• 生成型人工智能 (AI) 为改善文档和减轻这些挑战提供了潜在的解决方案.

研究的目的:

• 评估使用微调的OpenAI Curie模型用于眼科中自动生成医疗报告摘要 (大危机) 的可行性.
• 通过对准确性,有用性和监管合规性的人类和自动化评估来评估AI模型的性能.
• 确定人工智能在减少临床医生的工作量方面的潜力.

主要方法:

• 根据通用数据保护条例 (GDPR) 的指导方针,创建了大约6万封匿名医疗信件的数据集.
• 在这个数据集上,OpenAI Curie模型进行了微调,以从医疗史,诊断和发现中产生危机.
• 从两个大型语言模型 (LLM) 中使用人类评估和自动评估来评估性能.

主要成果:

• 在临床上,近50%的人工智能产生的流行病被评为有帮助或优秀.
• 人类评价显示显著高的形式正确性 (平均3.59/4.0) 和显著减少的校正时间相比手工写作 (54.25s vs 109.52s).
• 人工智能生成的报告要短得多,自动化LLM评估显示与人类评级一致,支持概念验证.

结论:

• 精心调整的商业LLM在技术上和实际上是可行的,可以整合到临床实践中,证明了节省时间的潜力.
• 在许多情况下,人工智能产生的危机表现出了正式和临床的正确性,表明了显著的工作量减少的潜力.
• 该研究成功展示了人工智能处理患者数据的匿名化过程,并概述了将LLM整合到欧盟临床实践中的管道,强调安全性和效率.