动态自适应框架识别 (KAFR):通过框架相似性和手术工具跟踪进行视频细分的新框架
Huu Phong Nguyen1, Shekhar Madhav Khairnar1, Sofia Garces Palacios1
1Department of Surgery, University of Texas Southwestern Medical Center, Dallas, TX 75390, USA.
IEEE access : practical innovations, open solutions
|August 25, 2025
概括
本研究介绍了动力学自适应框架识别 (KAFR),这是一种新的AI技术,可以显著减少手术视频数据大小和计算时间. 通过智能选择分析的基本框架来提高AI模型的准确性.
科学领域:
- 在手术中使用人工智能
- 手术视频分析
- 医疗程序的机器学习
背景情况:
- 手术视频对于人工智能驱动的分析和绩效评估至关重要.
- 手术视频的长时间对人工智能模型的训练和效率构成重大挑战.
- 越来越多的手术视频数据需要先进的处理技术.
研究的目的:
- 提出和评估一种新技术,即动力学自适应框架识别 (KAFR),用于高效的手术视频缩.
- 减少数据集大小和计算时间,同时保持和增强人工智能模型的准确性.
- 调整KAFR用于手术阶段细分,并评估其适用于更广泛的手术数据集.
主要方法:
- 开发了动力学自适应框架识别 (KAFR),通过追踪外科工具动力学来消除多余的框架.
- 使用YOLOv8模型进行工具检测,然后进行相似阶段,以计算基于工具移动的变化.
- 训练了一种X3D卷积神经网络 (CNN) 进行分类,评估GAFR的胃结节 (GJ) 和胰腺结节 (PJ) 数据集.
主要成果:
- KAFR实现了GJ数据集的十倍缩短,精度提高了4.32%,F1得分提高了0.16%.
- 在PJ数据集中,KAFR导致数据减少了五倍,精度增加了2.05%,F1得分增加了2.54%.
- 与最先进的方法相比,该方法显示出具有竞争力的性能和效率.
结论:
- 动力学自适应框架识别 (KAFR) 有效地减少了手术视频数据大小和计算时间,同时提高了人工智能模型的准确性.
- KAFR是一种适用于各种手术数据集和阶段细分任务的多功能技术.
- 通过优化数据输入,KAFR可以增强现有的AI模型,使其成为外科数据分析的宝贵补充.
