DTG:基于双变压器的生成对抗网络用于视网膜 2D/3D OCT 图像分类.
Badr Ait Hammou1, Renaud Duval1, Marie-Carole Boucher1
1Department of Ophthalmology, Université de Montréal, Montreal, Québec, Canada; Centre Universitaire d'Ophtalmologie (CUO), Hôpital Maisonneuve-Rosemont, CIUSSS de l'Est-de-l'Île-de-Montréal, Montréal, Québec, Canada.
Medical image analysis
|January 10, 2026
概括
本研究介绍了基于双变压器的生成对抗网络 (DTG),用于从光学一致性断层扫描 (OCT) 改进视网膜疾病分类. 通过利用先进的AI和数据增强技术,DTG提高了诊断准确度.
科学领域:
- 眼科医生 眼科 眼科
- 医疗成像医学成像
- 人工智能的人工智能
背景情况:
- 自动识别视网膜疾病是眼科的一个关键应用.
- 变压器模型在图像分类方面表现有前途,但在医疗应用中需要更多的数据.
- 目前用于视网膜数据分类的方法需要提高性能.
研究的目的:
- 提出一种新的深度学习架构,基于双变压器的生成对抗网络 (DTG),用于增强视网膜疾病分类.
- 解决医疗成像中的变压器模型数据饥饿问题.
- 用光学一致性断层扫描 (OCT) 数据提高自动诊断的准确性和可靠性.
主要方法:
- 使用视觉转换器和多尺度视觉转换器用于编码二维和三维OCT图像.
- 采用生成对抗网络 (GAN) 架构,以提供高质量的语义数据表示.
- 实施了基于患者实例的数据增强技术,以增加训练数据.
- 在最终的视网膜疾病分类任务中应用了加权分类器.
主要成果:
- 拟议的DTG架构在多个指标上实现了卓越的性能,包括准确性,精度,回忆,f1分数和AUC.
- 在分类2D和3D OCT图像方面,DTG的表现优于流行的卷积神经网络和变压器模型.
- 该方法显示了与现有视网膜数据分类方法相比的显著改进.
结论:
- DTG架构提供了一种强大的解决方案,用于自动地从OCT数据中对视网膜疾病进行分类.
- 变压器,GAN和数据增强的结合有效地解决了医疗AI中的数据限制.
- 这项工作推进了眼科人工智能领域的发展,承诺更准确,更有效的疾病诊断.
