基于知识蒸和交叉关注的中国草药认可网络
Qinggang Hou1,2, Wanshuai Yang3, Guizhuang Liu3,4
1School of Information Engineering, Shandong Huayu University of Technology, Dezhou, 253000, China. 2030080975@tiangong.edu.cn.
Scientific reports
|January 11, 2025
概括
这项研究介绍了ShuffleCANet,一种轻量级的中国草药识别模型. 它通过使用知识蒸和交叉注意力实现了高精度 (98.8%),使用较少的参数,使人工智能更有效地用于传统医学.
科学领域:
- 计算机科学 计算机科学
- 人工智能的人工智能
- 药理学 药理学是指药理学的学科.
背景情况:
- 对中国草药的准确认可对于质量控制和研究至关重要.
- 现有的深度学习模型通常具有很高的参数数量,限制了它们的实际应用.
- 开发轻量级但准确的模型对于有效部署至关重要.
研究的目的:
- 开发一个轻量级的中医草药识别网络,参数减少,准确性保持.
- 研究模型压缩中的知识蒸和交叉注意力机制的有效性.
- 提高人工智能模型对传统中医应用的效率.
主要方法:
- 在20个经典网络上利用转移学习,选择DenseNet和RegNet作为双教师模型.
- 采用了ShuffleNet作为学生模型,结合了一个新的交叉注意力机制来取代Conv5.5.
- 实施知识蒸,将知识从教师模型转移到学生模型.
主要成果:
- 提出的ShuffleCANet模型在NB-TCM-CHM数据集上实现了98.8%的准确性 (ACC) 和F1_score.
- 该模型只有128.66M个参数,与基线ShuffleNet.Net相比减少了近50%.
- 与基线ShuffleNet模型相比,准确性提高了约1.3%.
结论:
- ShuffleCANet有效地减少模型参数,同时保持甚至提高识别准确性.
- 知识蒸和交叉注意力的整合是传统中医中轻量级深度学习模型的可行策略.
- 这种方法为人工智能驱动的高效准确的中药草药识别提供了有希望的解决方案.
