发现模型初始化对深度模型概括的影响:一项针对成人和儿童胸部X射线图像的研究

科学领域:

• 医学计算机视觉 医学计算机视觉
• 医疗保健中的深度学习
• 放射学成像分析分析

背景情况:

• 深度学习模型初始化对于医疗计算机视觉至关重要,但它对胸部X射线 (CXRs) 的影响还未得到充分研究.
• 现有的研究主要集中在非医疗图像上,在了解初始化对医疗数据集的影响方面存在差距.
• 现实世界中的医学成像通常涉及持续的数据流入,需要能够适应定期更新的模型.

研究的目的:

• 调查不同深度模型初始化技术对胸部X射线分析的影响.
• 用定期到达的数据评估成人和儿科人口的模型通用性.
• 开发和评估新型组合方法,以提高CXR解释中的深度学习模型性能.

主要方法:

• 探索三个初始化技术:冷启动,热启动和缩小和扰乱启动.
• 使用外部成人和儿科CXR数据集对模型通用性的评估.
• 组合方法的建议和实施:F分数加权的顺序最小平方二次编程 (F-SLSQP) 和带有可学习的 Fuzzy Softmax 的注意力引导组合.
• 使用95%置信区间和p值进行统计显著性测试.

主要成果:

• 与 ImageNet 预训练重量初始化模型相比,与随机初始化模型相比,初始化模型显示出更高的概括性,与非医疗成像中的一些发现相反.
• 在各种培训场景下,ImageNet预训练的模型在内部和外部测试中保持一致的性能.
• ImageNet预训练模型的重量级合集比单个模型实现了显著更高的回忆 (p<0.05).

结论:

• ImageNet预训练的重量初始化有利于开发强大的和可泛化的深度学习模型,用于胸部X射线分析.
• 重量级合集进一步提高了这些初始化模型的性能,特别是回忆.
• 这些发现支持使用ImageNet预训练和组合技术来实现可靠的医学成像AI,特别是在动态数据环境中.