基于对比学习的NIR光谱学和视觉线索的融合,用于分子歧视中国草本物种
Yu Yang1, Miao Li2, Xuehai Zhang3
1Key Laboratory of Grain Information Processing and Control, Ministry of Education, Henan University of Technology, Zhengzhou 450001, China; Henan Key Laboratory of Grain Photoelectric Detection and Control, Henan University of Technology, Zhengzhou 450001, China; College of Information Science and Engineering, Henan University of Technology, Zhengzhou 450001, China; Institute for Complexity Science, Henan University of Technology, Zhengzhou 450001, China.
准确识别中国药用草药至关重要. 一个新的跨模态神经框架 (CNRP) 集成了RGB成像和近红外 (NIR) 光谱,显著提高了细粒度草本分类的准确性.
科学领域:
- 计算生物学是一种计算生物学.
- 化学信息学 化学信息学
- 药理学是指药理学,即药理学是指药理学.
背景情况:
- 准确识别中国药草对于质量控制和患者安全至关重要.
- 传统方法和标准机器视觉与形态上相似的草药作斗争.
- 开发用于可靠的草药认证的先进技术是一个重大挑战.
研究的目的:
- 提出一种新型的跨模式神经框架 (CNRP),以加强中国药草的细粒度分类.
- 整合RGB成像和近红外 (NIR) 光谱,使用对比学习提高精度.
- 为智能草药认证提供可扩展和具有成本效益的解决方案.
主要方法:
- 开发了一种带有图像和光谱编码器的双流神经架构 (CNRP).
- 采用多头注意力模块来增强特征表示和语义对齐.
- 利用对比式学习与RGB和NIR数据进行同时训练,创建一个NIR特征集用于推断.
主要成果:
- 在 8 个类别的视觉上令人困惑的草药上获得了 97.32% 的整体准确性.
- 与传统视力基线相比,表现出至少16.11%的性能改善.
- 成功验证了草本分类的综合RGB和NIR方法的有效性.
结论:
- 拟议的CNRP框架通过整合多模式数据,有效地增强了细粒草药的分类.
- 这种方法比现有的方法有了显著的改进,解决了区分相似的草药的挑战.
- CNRP提出了一个有希望的,具有成本效益的,可扩展的解决方案,用于智能认证中国药草的真实性.
更多相关视频
07:29HPLC Coupled with Chemical Fingerprinting for Multi-Pattern Recognition for Identifying the Authenticity of Clematidis Armandii Caulis
Published on: November 11, 2022
07:50Author Spotlight: Integrating 2D-HPLC-MS and Molecular Networking in Natural Medicine Analysis
Published on: December 8, 2023
相关概念视频
NMR Spectroscopy of Aromatic Compounds
IR Frequency Region: Fingerprint Region
IR and UV–Vis Spectroscopy of Aldehydes and Ketones
Ultraviolet and Visible (UV–Vis) Spectroscopy: Overview
¹H NMR: Interpreting Distorted and Overlapping Signals
As Δν decreases and the signals move closer, the doublets appear increasingly distorted. The intensities of the inner lines increase at the cost of those of the outer lines as the signals are...
Applications of IR Spectroscopy: Overview
