训练一个高性能视网膜基础模型,使用一半的数据和400倍少的计算能力

科学领域:

• 医疗人工智能 医疗人工智能
• 计算机视觉 计算机视觉
• 机器学习 机器学习

背景情况:

• 医疗人工智能开发受到大型培训数据集的限制.
• 像RETFound-MEH这样的基础模型提供了适应性,但需要大量的数据和计算.
• 现有的数据效率模型仍然需要大量的计算资源.

研究的目的:

• 开发一个高效和环保的医疗人工智能基础模型.
• 减少在医疗保健中训练先进的人工智能模型的数据和计算要求.
• 改善医疗AI的可访问性和可持续性.

主要方法:

• 提出了RETFound-Green,这是一个在显著较小的数据集 (75,000张图像) 上训练的新型基础模型.
• 在训练中使用了一个新的代币重建目标.
• 通过使用地理上不同的数据集,对各种下游任务的评估绩效.

主要成果:

• RETFound-Green使用400倍少的计算实现了与现有模型可比的性能.
• 培训费用大幅降低至100美元以下,而之前的模型的培训费用为1万至14000美元.
• 证明了更快的下载,嵌入式计算和更少的存储需求.
• 与下一个最佳模型相比,在下游任务中取得的统计学意义上的胜利超过了两倍.

结论:

• RETFound-Green为医疗AI基础模型提供了一个可持续且具有成本效益的解决方案.
• 这种新的培训方法显著降低了开发和部署医疗AI的进入壁垒.
• 这一进步有可能加速全球在医疗保健中采用人工智能.