一个标签信息融合医疗图像报告生成框架
Shuifa Sun1, Zhoujunsen Mei2, Xiaolong Li3
1School of Information Science and Technology, Hangzhou Normal University, Hangzhou, 311121, Zhejiang, China; Yichang Key Laboratory of Intelligent Medicine, Yichang Key Laboratory of Intelligent Medicine, Yichang, 443002, Hubei, China.
Artificial intelligence in medicine
|March 29, 2024
概括
本研究引入了一个自动化医学成像报告生成框架,以克服准确性和效率方面的挑战. 与现有方法相比,拟议的模型显著提高了诊断报告的质量.
科学领域:
- 人工智能的人工智能
- 医学成像分析 医学成像分析
- 自然语言处理自然语言处理.
背景情况:
- 医学成像诊断报告至关重要,但对医生来说耗时且容易出错.
- 自动化报告生成对于提高效率和减少诊断错误至关重要.
- 目前的方法在微妙的图像差异和准确的异常描述方面扎.
研究的目的:
- 开发用于自动化医学成像报告生成的先进框架.
- 为了应对图像相似性和准确的关键词识别在报告中的挑战.
- 提高生成的诊断报告的准确性和临床实用性.
主要方法:
- 一个新的框架,集成了一个变压器编码器,MIX-MLP多标签分类,共同注意力机制 (CAM) 功能融合,和一个层次的LSTM解码器.
- 使用变压器编码器来学习远程依赖关系并提取强大的视觉语义特征.
- 采用CAM和分层LSTM来准确识别异常并对视觉文本进行对齐.
主要成果:
- 拟议的框架在IU X-RAY和MIMIC-CXR数据集上表现出比现有模型更好的性能.
- 在自然语言生成指标和临床疗效评估方面取得了改进.
- 成功解决了区分微妙的图像变化和生成准确的诊断关键字的挑战.
结论:
- 开发的框架在自动化医学成像报告生成方面取得了重大进展.
- 它有效地提高了诊断报告的准确性和可靠性,帮助临床决策.
- 该模型有望在临床放射学工作流程中得到广泛采用.
