在HoloLens2上对深度学习模型的设备执行,用于实时增强现实医疗应用
Silvia Zaccardi1,2,3, Taylor Frantz1,3, David Beckwée2
1Department of Electronics and Informatics (ETRO), Vrije Universiteit Brussel, 1050 Brussel, Belgium.
Sensors (Basel, Switzerland)
|November 14, 2023
概括
在HoloLens2上运行深度学习模型时,Unity Barracuda显著优于Windows机器学习,从而实现更快的实时增强现实医疗应用. 这项研究为便携式AR医疗系统提供了关键的基准.
科学领域:
- 计算机科学 计算机科学
- 医疗技术 医疗技术 医学技术
- 增强现实是一种增强现实.
背景情况:
- 实时增强现实 (AR) 医疗应用需要高效的深度学习 (DL) 模型执行.
- 目前的客户端-服务器架构用于HoloLens2 AR耳机上的DL引入了延迟和可靠性问题.
- 在HoloLens2上直接执行DL模型是具有挑战性的,因为它的计算能力有限.
研究的目的:
- 系统地评估Unity Barracuda和Windows机器学习 (WinML) 在HoloLens2.上执行DL模型.
- 在HoloLens2平台上测量各种DL模型 (如Yolo,Unet) 的推理时间.
- 为开发便携式实时AR医疗系统提供基准数据.
主要方法:
- 在HoloLens2上使用Unity Barracuda和Windows机器学习 (WinML) 执行各种复杂度的深度学习模型.
- 推断时间是评估框架性能的主要指标.
- 对与医疗应用相关的最新DL模型的基准值的分析.
主要成果:
- 与Windows机器学习相比,Unity Barracuda的推断时间明显更快 (p < 0.005).
- 推理时间从毫秒到秒不等,取决于模型的复杂性.
- 建立了将DL模型集成到AR医疗应用中的基准值.
结论:
- Unity Barracuda是用于实时AR医疗应用的HoloLens2上设备上DL模型执行的首选框架.
- 该研究为未来开发集成AR医疗系统提供了必要的指导和参考值.
- 这些发现支持创建更可靠,更有效的便携式AR解决方案,用于医疗援助.
