从代码共享到实现共享:通过联合测试推进医疗成像的可复制AI开发

科学领域:

• 医疗成像中的人工智能
• 人工智能研究中的可复制性
• 联合测试方法 联合测试方法

背景情况:

• 人工智能研究界面临着严重的可重现性危机,阻碍了科学进步.
• 目前的代码共享等解决方案不足以确保一致的AI模型性能.
• 联合测试提供了一种新的方法,用于在不同的环境中评估AI模型.

研究的目的:

• 系统地评估医疗成像共享AI模型执行中的差异来源.
• 评估联合测试在确保可重复的人工智能研究方面的有效性.
• 在分布式环境中确定影响AI模型性能的关键因素.

主要方法:

• 探索性研究,将相同的AI模型代码分发给多个独立中心.
• 在各种运行时环境和计算资源 (GPU与CPU) 中监控模型执行.
• 对人工智能驱动的正电子发射断层扫描 (PET) 成像对象在不同中心进行比较评估,具有不同的前/后处理步骤.

主要成果:

• 仅仅是开源代码共享并不能保证由于执行和环境变化而导致可重复的AI结果.
• 数据准备和前/后处理技术的变化显著影响PET成像细分的准确性.
• 计算资源 (GPU/CPU) 和容器化 (Docker) 对可重复性没有明显的影响.

结论:

• 联合测试中的可重复性需要全面的管道共享,包括处理前和后的步骤.
• 标准化协议和共享完整的人工智能模型管道对于强大可靠的结果至关重要.
• 基于云的平台可以自动化流程,简化AI模型测试并提高可重现性.