舌头图像表示学习中的对比学习方法及其在智能诊断中的意义

科学领域:

• 人工智能的人工智能
• 医疗成像医学成像
• 传统中国医药 传统中国医药

背景情况:

• 舌头诊断是中国传统医学 (TCM) 的关键组成部分,但缺乏标准化的诊断标准,导致当前方法的主观偏见.
• 对TCM舌头图像的表示学习受到达成共识的困难和手动偏差的引入的挑战.
• 需要自动特征提取来克服TCM诊断中主观标签的局限性.

研究的目的:

• 探索对比学习 (CL) 在TCM中从舌头图像中自动提取语义特征的应用.
• 减少对手工标签的依赖,并减轻TCM综合征表示学习中的主观偏见.
• 开发一种自我监督的方法来客观量化TCM表型.

主要方法:

• 集群对比学习 (CCL) 应用于语言图像的表示学习.
• 整合了一个精细的数据增强策略,以TCM理论为指导.
• 基于CCL的模型的有效性是使用下游任务和损失下降曲线和精度等指标来评估的.

主要成果:

• 与监督模型相比,基于CCL的模型在下游任务中的大多数评估指标中表现优越.
• 定性实验表明,CCL模型可以在没有人类监督的信息的情况下识别舌头颜色和纹理.
• 验证了模型感知微妙视觉特征的能力.

结论:

• 对比式学习 (CL) 有效地自动化了舌头图像特征提取,规避了主观标签偏见.
• 这种方法可以客观量化与TCM Zheng (综合征) 相关的症状,征兆和表型.
• 提出的方法解决了TCM诊断中长期存在的标准化问题.