基于3D图像和放射学报告的多式脑疾病诊断的解剖学引导的切片描述相互作用
Xin Gao1, Meihui Zhang1, Junjie Li2
1School of Computer Science, Beijing Institute of Technology, 5 South Zhongguancun Street, Haidian District, Beijing, 100081, China.
概括
这项研究引入了一种新的多式联络人工智能模型,用于使用3D放射图像和报告来诊断大脑疾病. 该模型通过将图像数据与文本信息和解剖学知识相结合,显著提高了诊断准确性.
科学领域:
- 医学成像分析 医学成像分析
- 医疗保健中的人工智能
- 神经科学是一个神经科学.
背景情况:
- 准确的脑疾病诊断对于早期干预和尽量减少损害至关重要.
- 现有的单模模型与高维的3D脑成像数据扎.
- 使用视觉语言模型的多模式方法显示出希望,但通常处理2D图像,限制其应用到3D脑部扫描.
研究的目的:
- 开发一个多式人工智能模型用于脑疾病诊断,使用3D脑图像和放射学报告.
- 为了使图像切片和报告描述之间能够进行细粒度交互.
- 通过结合脑部解剖学的先前知识来提高诊断准确性.
主要方法:
- 开发了一种多式模式模型,可以接受3D脑图像和放射学报告.
- 为详细的数据集成提出了一个切片描述跨模式交互机制.
- 综合大脑解剖学先前知识,以报告描述为指导,通过专注于相关区域和切片来完善图像分析.
主要成果:
- 拟议的模型在两个大脑疾病诊断任务中表现优异,与单模和现有的多模方法相比.
- 与基于图像的方法相比,平均准确度提高了15.87%.
- 与竞争的多式联络方式相比,平均准确度提高了7.39%.
结论:
- 开发的多式联络方法有效地利用3D脑图像和放射学报告来改善疾病诊断.
- 跨模式交互和解剖学先验知识的整合增强了诊断能力.
- 这种方法为临床脑疾病诊断提供了显著的进步.
