在手术仪器识别中使用多模式人工智能
Syed Ali Haider1, Olivia A Ho1, Sahar Borna1
1Division of Plastic Surgery, Mayo Clinic, Jacksonville, FL 32224, USA.
Bioengineering (Basel, Switzerland)
|January 24, 2025
概括
人工智能 (AI) 可以识别手术仪器,ChatGPT-4o显示了最高的准确性. 虽然人工智能在类别识别方面表现出色,但精确的仪器命名仍然是所有测试模型的挑战,这会影响外科安全.
科学领域:
- 医疗技术 医疗技术 医学技术
- 医疗保健中的人工智能
- 外科手术的安全性
背景情况:
- 准确的手术仪器识别对于手术室的效率和患者的安全至关重要,特别是为了防止保留的手术器件.
- 人工智能 (AI) 为自动化手术仪器识别提供了潜在的解决方案.
研究的目的:
- 评估公开可用的大型语言模型 (LLM) 的准确性,以及从图像中识别手术仪器的商业应用.
- 为了比较ChatGPT-4,ChatGPT-4o,Gemini和手术仪器目录 (SID 2.0) 在手术仪器分类中的性能.
主要方法:
- 使用了92张高分辨率图像的数据集,其中包括从多个角度拍摄的25种类型的手术仪器 (拉伸器,子,剪刀,托卡).
- 模型性能使用包括精度,加权精度,回忆和F1分数在内的指标进行评估.
主要成果:
- 在分类仪器方面,ChatGPT-4o获得了最高的准确度 (89.1%),超过了SID 2.0 (77.2%),ChatGPT-4 (76.1%) 和Gemini (44.6%).
- 所有模型都在精确的亚型识别中表现出低准确度 (例如",Mayo剪刀"),SID 2.0为39.1%和ChatGPT-4o为33.69%.
- 聊天GPT-4和4o正确地识别了所有托卡,而双子座识别了所有手术剪刀.
结论:
- 公开可用的LLM,特别是ChatGPT-4o,显示出可靠的手术仪器分类的希望.
- 精确识别特定的手术仪器子类型仍然是当前AI模型面临的重大挑战.
- 需要进一步改进人工智能模型,以提高手术仪器管理的准确性和增强患者安全.
