评估人工智能辅助的血管外科手术当前程序术语编码:聊天GPT Plus和困惑Pro与财务部门的比较

科学领域:

• 医疗信息学 医疗信息学
• 医疗保健中的人工智能
• 临床文档 临床文档

背景情况:

• 在医疗编码中评估AI性能对于优化医疗管理至关重要.
• 当前程序术语 (CPT) 代码分配的准确性影响了计费和退款.
• 评估像ChatGPT Plus和Perplexity Pro这样的AI工具用于CPT编码,在血管外科等专业领域是新兴的研究领域.

研究的目的:

• 为了比较ChatGPT Plus和Perplexity Pro在为血管外科手术病例分配CPT代码时的准确性.
• 评估不同文档格式 (完整的操作说明与简要摘要) 对AI CPT编码性能的影响.
• 将人工智能生成的CPT代码与医院财务部门的既定编码实践进行比较.

主要方法:

• 从2024年4月起,分析了120例血管外科手术病例,使用完整的手术笔记和简要摘要.
• 测试了ChatGPT Plus和Perplexity Pro,用于从提供的案例文档中生成CPT代码.
• 使用CPT级 (个人代码) 和案例级 (整体案例) 准确度指标评估AI性能,与财务部门代码进行比较.
• 采用科恩的卡帕分析来测量AI模型与参考标准之间的评分者间一致性.

主要成果:

• 这两种AI模型都在简要的操作总结中表现得更好,而不是完整的笔记.
• 聊天GPT显示,CPT级匹配率提高了43%,案例级准确匹配率增加了77%,并附有简要说明.
• 困惑Pro显示了CPT级准确度的提高,但与简要注释的案例级准确匹配略有下降.
• 总体而言,一致性仍然相当到适度,这表明需要人类监督.

结论:

• 简洁,结构化的文档显著提高了CPT编码中的AI性能.
• 与Perplexity Pro.相比,ChatGPT在结构化输入方面表现出更大的改善.
• 人类监督对于精确的AI辅助CPT编码至关重要,特别是对于未经训练的模型.
• 未经训练的AI模型提供了大量机会,可以通过特定的训练数据来提高准确性.