家庭伤病患者转诊的多式人工智能从图像中做出决定,带有专家注释

科学领域:

• 人工智能的人工智能
• 医疗信息学 医疗信息学
• 计算机视觉 计算机视觉

背景情况:

• 慢性伤害影响数以百万计的人,特别是老年人和糖尿病患者.
• 慢性伤口的家庭护理涉及具有不同专业知识的护士,导致不一致的转诊决定.
• 对于无法愈合的伤口进行不准确或延迟的转诊可能会导致严重的不良后果,包括肢体截肢.

研究的目的:

• 开发和评估一种新的机器学习框架,即深度多模式伤口评估工具 (DM-WAT),以协助访问护士做出伤口转诊决定.
• 为了利用智能手机捕获的伤口图像和临床笔记进行自动伤口评估.
• 提高慢性伤口管理转诊的准确性和及时性.

主要方法:

• DM-WAT使用视觉转换器 (ViT) 架构 (DeiT-Base-Distilled) 来从伤口图像中提取视觉特征.
• 使用DeBERTa-base从临床笔记中提取文本特征,捕获上下文信息.
• 视觉和文本功能通过中间方法融合在一起,通过数据增强和转移学习来增强,以解决小的,不平衡的数据集.

主要成果:

• 在严格的评估中,DM-WAT实现了77%的准确性和70%的F1得分.
• 拟议的框架优于现有的最先进的,单模式和多模式的方法.
• 解释算法 (Score-CAM,Captum) 提供了对模型决策过程的见解,突出了关键的图像和文本特征.

结论:

• 深度多式伤口评估工具 (DM-WAT) 显示出在支持访问护士提供客观伤口转诊建议方面的巨大潜力.
• 这种由人工智能驱动的工具可以增强慢性伤口的管理,潜在地减少不良事件并改善患者的治疗结果.
• 多模式方法与先进的深度学习技术相结合,为非临床环境中的伤口评估提供了强大的解决方案.