使用合成数据增强卷积神经网络的单眼针姿势检测
Yifan Wang1, Saul Alexis Heredia Perez2, Kanako Harada3,2
1Graduate School of Engineering, The University of Tokyo, 7-chōme-3-1 Hongō, Bunkyo, Tokyo, 113-8656, Japan. wang-yifan971125@g.ecc.u-tokyo.ac.jp.
概括
这项研究引入了一个卷积神经网络 (CNN) 来从单眼图像中估计针姿势,这对于机器人微手术至关重要. 该方法在合成和现实世界的数据中实现了高精度,有望提高外科手术精度.
科学领域:
- 机器人和自动化 机器人和自动化
- 计算机视觉 计算机视觉
- 手术技术 手术技术
背景情况:
- 机器人微手术需要高精度的精细程序.
- 精确的针头姿势估计对于机器人微观定位和自主控制至关重要.
- 单眼视觉对精确的针头位置估计提出了挑战.
研究的目的:
- 提出一种基于卷积神经网络 (CNN) 的方法,用于使用单眼图像进行针姿势估计.
- 通过优化插入轨迹和实现自主控制,提高机器人微观定位的准确性.
主要方法:
- 一个CNN经过训练,可以从二维图像中检测针上的关键点 (尖端,中间,末端).
- 现实世界和合成图像的混合数据集被用于模型训练.
- 开发了一种算法来估计3D关键点位置和针方向.
主要成果:
- 对合成数据的实验产生了较低的翻译误差 (0.0980.118毫米) 和定向误差 (12.75°15.55°).
- 对真实数据的评估显示,平均2D翻译误差为0.0470.052毫米.
- 在真实数据中,超过93%的检测到的关键点的误差低于4像素.
结论:
- 这种基于CNN的方法有效地估计了针在单眼视觉中的姿势,利用合成数据增强.
- 该方法在用于机器人微手术应用的真实世界数据上显示出有前途的性能.
- 这种技术有可能用于自动化手术系统的实时姿势估计.
