通过早期调整与人类眼睛凝视信息来改善自我监督的医疗图像预训

科学领域:

• 人工智能的人工智能
• 机器学习 机器学习
• 计算机视觉 计算机视觉

背景情况:

• 将人类知识与机器学习模型对齐对于高效和可解释的AI至关重要.
• 目前的自主监督预培训方法缺乏早期的人类知识整合,依赖于后期调整.
• 这导致人工智能系统的效率和解释性不足.

研究的目的:

• 引入凝视预训练 (GzPT),这是一个新的方法,用于早期调整自我监督模型与人类知识.
• 通过结合人类眼睛的目光数据来提高自我监督模型的学习效率和性能.
• 调查人类眼睛的潜力,作为一个被动的知识来源,以弥合人类和人工智能的差距.

主要方法:

• 在预训练期间,GzPT利用对比学习来根据类似的人类眼睛凝视模式对齐图像.
• 该方法在自我监督的预训练过程的早期整合了人类眼睛的目光信息.
• 在三个不同的医学图像数据集上验证了有效性.

主要成果:

• 在学习效率和表现方面,GzPT的表现始终优于基线方法.
• 这种方法使得自我监督的模型能够学习更有意义和可解释的表示.
• 早期与人类眼睛凝视的对齐显著改善了模型与人类注意力的对齐.

结论:

• 凝视预训练 (GzPT) 提供了一种有效的策略,通过早期整合人类眼睛凝视来增强自我监督学习.
• 整合人类眼睛的目光数据提供了一种有价值的被动知识形式,提高了AI模型的解释性和效率.
• 这种方法表明了开发更符合人类并易于理解的人工智能系统的有希望的方向.