智能手术内触觉AR导航用于COVID-19肺部活检使用深度混合模型
Yonghang Tai1, Kai Qian2, Xiaoqiao Huang1
1Yunnan Key Laboratory of Opto-Electronic Information TechnologyYunnan Normal University Kunming 650500 China.
IEEE transactions on industrial informatics
|November 20, 2023
概括
一个新的增强现实 (AR) 和深度学习 (DL) 导航系统改善了COVID-19肺部活检. 这种智能技术提高了手术的准确性和患者的结果.
科学领域:
- 医学成像和图像指导干预
- 外科机器人和导航手术机器人
- 人工智能在医学中的应用
背景情况:
- 准确的图像指导肺活检对于诊断COVID-19至关重要.
- 现有的导航技术可能缺乏精度和用户沉浸感.
- 整合先进技术可以提高外科手术的性能.
研究的目的:
- 开发和评估一种新型智能导航技术,用于准确的图像引导的COVID-19肺活检.
- 将增强现实 (AR),触觉反和深度学习 (DL) 结合起来,实现定制的外科导航.
- 改进用户体验和干预手术过程中的外科精度.
主要方法:
- 开发了一个新的系统,集成AR,触觉启用手术工具和DL.
- 来自341名COVID-19阳性患者和1598名对照患者的临床数据被用于模型培训和评估.
- 一个WPD-CNN-LSTM (WCL) 模型被用于患者特定的手术建模,和ResNet用于手术内力量分类.
- 有实时响应的3D用户界面 (3DUI) 与触觉AR导航视图集成.
主要成果:
- 拟议的WCL模型实现了0.0128.8的平方根平均误差.
- 在手术过程中,部队分类的准确率达到97%.
- 与DL智能模型相结合的AR与现有的感知导航技术相比,表现明显更高.
结论:
- 这种基于AR和DL的智能导航技术显著提高了COVID-19肺部活检的准确性和性能.
- 这一框架代表了COVID-19干预外科整合的突破.
- 这项研究为整合AR,触觉染和DL在外科导航中开辟了新的研究途径.
