多模式多标签眼部异常检测与基于变压器的语义字典学习
Anneke Annassia Putri Siswadi1,2, Stéphanie Bricq3, Fabrice Meriaudeau4
1Laboratoire Imagerie et Vision Artificielle, ImViA, UR 7535, Université de Bourgogne, Dijon, France. nekkeps@gmail.com.
Medical & biological engineering & computing
|June 11, 2024
概括
这项研究引入了一种新的AI模型,用于从视网膜图像中检测28个眼部异常. 基于变压器的方法通过结合语言特征来改善罕见异常检测.
科学领域:
- 眼科医生 眼科 眼科
- 人工智能的人工智能
- 医疗成像医学成像
背景情况:
- 早期发现眼部异常对于预防失明至关重要.
- 计算机辅助诊断 (CAD) 系统分析视网膜图像,如色底摄影 (CFP),以检测异常.
- 由于特征有限,检测罕见的眼部异常仍然具有挑战性.
研究的目的:
- 提出一个多标签检测模型,用于28个眼部异常,使用基于变压器的语义词典学习CFP.
- 通过整合语言特征来应对检测罕见异常的挑战.
- 通过强调语义词典的作用来提高眼部异常检测的性能.
主要方法:
- 开发了一种基于变压器的语义字典学习模型,用于多标签的眼部异常检测.
- 纳入了标签语言特征的同时发生依赖因素,以改善罕见标签检测.
- 将语义词典作为主要组件,作为对空间特征 (键/值) 的查询.
主要成果:
- 拟议的方法在RFMiD数据集挑战评估集中达到前30%的最高性能.
- 证明优先考虑语义词典显著提高了检测性能.
- 在意义词典被认为是较弱的因素时,表现优于方法.
结论:
- 基于变压器的语义字典学习为CFP的多标签眼部异常检测提供了一个强大的方法.
- 整合语言特征有效地解决了检测罕见眼部疾病的挑战.
- 该模型的架构强调语义词典,显著提高了眼科诊断的准确性.
