参考图像细分与多模特特征交互和对齐基于卷积非线性尖端神经膜系统
Siyan Sun1, Peng Wang1, Hong Peng1
1School of Computer and Software Engineering, Xihua University, 999 Jinzhou Road, Chengdu, Sichuan, P. R. China.
International journal of neural systems
|September 23, 2024
概括
这项研究介绍了NSNPRIS,这是一个用于引用图像细分的新模型,该模型将视觉和文本功能对齐. 通过增强特征交互和对齐,NSNPRIS提高了细分的准确性.
科学领域:
- 计算机视觉 计算机视觉
- 人工智能的人工智能
- 计算神经科学是一种神经科学.
背景情况:
- 引用图像细分需要精确对准图像像素与对象识别的文本描述.
- 现有的方法在有效整合多模式特征以实现准确的细分方面面临挑战.
研究的目的:
- 引入NSNPRIS (用于引用图像分割的卷积非线性尖端神经P系统),这是一个用于增强引用图像分割的新型模型.
- 为了提高像素和文本特征之间的对齐,以获得更高的细分精度.
主要方法:
- NSNPRIS使用卷积非线性尖端神经P系统.
- 关键组件包括NSNPFusion和Language Gate模块,用于在编码过程中改进功能交互.
- 一个NSNP解码器方便功能对齐和解码.
主要成果:
- 与主流方法相比,NSNPRIS在RefCOCO,RefCOCO[公式:见文本]和G-Ref数据集上表现出优异的性能.
- 该模型有效地提高了像素和文本特征的对齐.
- 在细分精度方面取得了显著的改进.
结论:
- NSNPRIS提供了一种新且有效的方法来引用图像细分.
- 拟议的模型推进了对视觉和语言信息进行对齐的最先进技术,用于对象细分.
- 架构增强了功能交互和对齐,从而改善了细分结果.


