扩展现实远程医疗协作系统使用基于3D身体姿势估计的患者化身
Matko Šarić1, Mladen Russo1, Luka Kraljević1
1Faculty of Electrical Engineering, Mechanical Engineering and Naval Architecture, University of Split, Ruđera Boškovića 32, 21000 Split, Croatia.
Sensors (Basel, Switzerland)
|January 11, 2024
概括
这项研究引入了一个扩展现实 (XR) 远程医疗系统,使用通过身体姿势估计创建的3D患者化身. 这增强了远程和本地临床医生之间的合作,并减少了复杂性.
科学领域:
- 医疗信息学 医疗信息学
- 计算机科学 计算机科学
- 人与计算机的交互
背景情况:
- 扩展现实 (XR) 技术为增强远程医疗提供了潜力.
- 传输3D患者数据可以实现更具身临其境的虚拟现实 (VR) 和增强现实 (AR) 体验.
研究的目的:
- 提出一个基于XR的远程医疗协作系统,利用3D患者化身.
- 通过创建共享XR空间来改善远程临床合作.
主要方法:
- 开发了一个XR系统与AR (Microsoft HoloLens 2) 和VR (HTC Vive Pro) 客户端.
- 实现了使用摄像头输入的3D身体姿势估计来创建3D患者形象.
- 使用WebRTC进行音频和视频流.
主要成果:
- 该系统成功地在没有复杂的3D身体重建的情况下创建了一个3D患者的化身.
- 临床医生可以与化身互动,并执行3D注释.
- 性能评估显示高率和可接受的处理延迟.
结论:
- 拟议的XR远程医疗系统有效地使用3D身体姿势估计来创建化身,简化了技术.
- 新的架构减少了系统的复杂性和资源需求.
- 该系统促进了当地和远程临床医生之间的加强合作.
