手术编码中的人工智能:评估现有手术术术术术语准确性的大型语言模型
Emily L Isch1, Jamie Lee2, D Mitchell Self3
1Department of General Surgery, Thomas Jefferson University, Philadelphia, PA.
Journal of hand surgery global online
|April 4, 2025
概括
大型语言模型显示了外科手术现行程序术语 (CPT) 编码的前景. 困惑.AI和Bard在识别手术手术程序的CPT代码方面表现最好,这表明AI表现最好.
科学领域:
- 医疗保健中的人工智能
- 外科信息学外科信息学
- 医疗编码自动化 医疗编码自动化
背景情况:
- 大型语言模型 (LLM) 正在推进外科学科.
- 目前的程序术语 (CPT) 编码复杂且耗时.
- 由于编码器稀缺,需要高效准确的CPT编码解决方案.
研究的目的:
- 评估五个LLM在准确识别手术中CPT代码方面的有效性.
- 为了比较Perplexity.AI,Bard,BingAI,ChatGPT 3.5和ChatGPT 4.0在CPT编码中的性能.
主要方法:
- 一项观察性研究测试了五个公开可用的LLM.
- 使用一致的查询格式来评估手术手术程序的CPT代码识别.
- 答案被分类为正确,部分正确或不正确.
主要成果:
- 困惑.AI (15) 和Bard/BingAI (14) 在简单的程序中显示了最高的准确性.
- 聊天GPT模型对简单程序的准确性较低 (7-8正确).
- 对于复杂的程序,Perplexity.AI和Bard实现了三个正确的结果;ChatGPT模型没有. 在部分正确的结果中,Bing AI领先 (5).
结论:
- 在手术中,LLM证明了CPT编码的可行性.
- 需要进一步改进人工智能模型以提高准确性和实用性.
- 人工智能辅助编码可能成为手术工作流程的标准,支持医疗保健的数字化转型.
