HiCur-NPC:在鼻癌中使用多模式基础模型学习的层次特征融合课程

科学领域:

• 人工智能的人工智能
• 医疗成像医学成像
• 在瘤学瘤学.

背景情况:

• 准确的鼻癌 (NPC) 诊断对于患者的治疗结果至关重要.
• 多模式基础模型为增强临床决策支持提供了潜力.
• 现有的模型面临NPC数据稀缺性,层次特征提取和多模式集成的挑战.

研究的目的:

• 开发一个先进的多模式基础模型,以改善鼻癌诊断和临床任务.
• 解决当前模型在数据集成和层次特征学习方面的局限性.

主要方法:

• 提出了一种分层特征融合课程学习方法,有三个阶段:视觉知识学习,粗粒度对齐和细粒度融合.
• 在755K多模态NPC图像 (CT,MRI,内镜) 上进行预训练时使用混合对比面具自编码器.
• 构建了一个65K数据集用于视觉指令微调,并使用专家混合交叉注意力用于多模式融合.

主要成果:

• 拟议的模型在所有评估的鼻癌临床任务中表现出卓越的性能.
• 在诊断,报告生成,瘤细分和预后预测方面取得了显著改进.
• 在综合性鼻癌管理方面表现优于以前的专业模型.

结论:

• 层次特征融合课程学习方法有效地增强了鼻癌的多模式基础模型.
• 这种方法代表了人工智能驱动的NPC临床援助的重大进步.
• 该模型对改善鼻癌护理的诊断准确性和患者预后有希望.