融合工具细分预测从内镜图像的姿势信息型形态极性转变的预测
Xiaoyi Wu1, Dina Sehnawi1, Yicheng Zhu2
1Smith College, Picker Engineering Program, 100 Green Street Northampton, MA 01063 USA.
IEEE International Conference on Automation Science and Engineering (CASE) : [proceedings]. IEEE Conference on Automation Science and Engineering
|December 29, 2025
概括
这项研究使用新的低级特征方法融合了外科工具细分预测. 拉普拉斯金字塔和空间频率方法提高了机器人辅助手术的细分精度.
科学领域:
- 医学图像分析 医学图像分析
- 计算机视觉 计算机视觉
- 手术机器人手术机器人手术机器人手术机器人
背景情况:
- 精确的外科工具细分对于机器人辅助的微创手术 (RMIS) 至关重要.
- 现有的深度学习融合方法需要大量的数据集,并且可能缺乏解释性.
- 在RMIS中,缺乏可靠的力和触觉反仍然是一个挑战.
研究的目的:
- 开发和评估用于融合语义图像细分预测的新方法.
- 结合空间频率和边缘特征,以改善外科工具细分.
- 为了提高RMIS应用的细分融合的可解释性.
主要方法:
- 使用U-Net架构对工具标记的鼻外科内镜图像进行细分.
- 采用形态极变换进行预处理,生成两个预测 (工具尖和消失点).
- 提出了三种基于低级特征的融合方法:梯度估计,拉普拉斯金字塔和修改空间频率.
主要成果:
- 与个人预测相比,拉普拉斯金字塔和修改的空间频率方法显示了增强的细分.
- 使用无监督聚类和ResNet-18模型探索可解释性,以确定融合的最佳预测对.
- 在外科手术工具细分之外的领域研究了融合预测的潜力.
结论:
- 低级特征融合方法为细分融合提供了对深度学习方法的可行替代方案.
- 增强的细分精度可能会改善RMIS中的基于视觉的力估计.
- 拟议的融合技术显示出对图像分析中的更广泛应用的前景.
