相关实验视频
Updated: Jul 26, 2025
04:48
Swin-PSAxialNet: An Efficient Multi-Organ Segmentation Technique
Published on: July 5, 2024
446
一个基于变压器的表示-学习模型,用于临床诊断的多模式输入的统一处理
Hong-Yu Zhou1, Yizhou Yu2, Chengdi Wang3
1Department of Computer Science, The University of Hong Kong, Pokfulam, China.
Nature biomedical engineering
|June 12, 2023
概括
一个新的变压器模型统一了各种临床数据,包括图像和文本,以提高诊断准确度. 这种多式联络方法提高了医疗保健机构的疾病识别和结果预测.
科学领域:
- 人工智能在医学中的应用
- 为医疗保健提供深度学习.
- 临床决策支持系统 临床决策支持系统
背景情况:
- 临床医生整合多式联络数据 (首席投诉,图像,实验室结果) 进行诊断.
- 当前的深度学习诊断辅助工具往往无法有效利用这些多式联络信息.
研究的目的:
- 开发一个统一的,基于变压器的代表性学习模型,用于临床诊断辅助.
- 为了使一个单一的模型能够处理和整合各种数据类型,以实现整体的患者代表性.
主要方法:
- 利用嵌入层将图像,非结构化文本和结构化数据转换为统一的视觉和文本令牌.
- 采用了双向变压器块,对整体表示学习进行了模体内和模体间关注.
- 处理的放射图,主要的投诉,临床史,实验室结果和人口统计信息.
主要成果:
- 统一的多式模式显著优于仅图像和非统一的多式模式.
- 与仅使用图像模型相比,肺部疾病识别的准确性提高了12%.
- 与仅使用图像模型相比,在预测不良COVID-19结果方面表现出29%的改进.
结论:
- 统一的多模式变压器模型为临床诊断辅助提供了强大的方法.
- 这些模型可以简化患者选和增强临床决策过程.
- 未来的应用可能包括更广泛地整合各种临床数据,以改善患者护理.
