MAHE:一个基于专家的多尺度和混合模型,用于在社交媒体上增强图像-文本命名实体识别
Song Yang1, Baolin Mo2, Dayang Liu1
1College of Computer and Control Engineering, Northeast Forestry University, Harbin, 150028, China.
Scientific reports
|May 21, 2025
概括
本研究引入了一种新的多式联名实体识别 (MNER) 模型,通过准确验证用户身份来提高网络安全. 先进的MNER框架增强了在线身份验证,有效地区分真实用户与机器人和假账户.
科学领域:
- 网络安全 网络安全
- 人工智能的人工智能
- 机器学习 机器学习
背景情况:
- 用户身份验证在网络安全中至关重要,以防止虚假帐户和恶意活动.
- 现有的多模式命名实体识别 (MNER) 方法在复杂的在线环境中,在将文本与图像语义对齐方面面临挑战.
研究的目的:
- 开发一种新的MNER框架,以提高在线身份验证的准确性和效率.
- 为了更好地区分真实用户和自动化或虚假帐户.
主要方法:
- 提出了一个新的MNER模型,整合了多尺度的Mamba和一种混合专家机制,以增强模式.
- 利用混合专家机制来提高文本识别能力.
- 采用了Mamba的频道注意力和局部增强,用于生成高分辨率,多尺度图像功能.
主要成果:
- 在Twitter-2015数据集上获得了75.34的F1分,在Twitter-2017数据集上获得了87.41的F1分.
- 与现有的最先进的模型相比,在在线身份验证任务中表现出优异的性能.
结论:
- 拟议的MNER框架为网络安全中的强大在线身份验证提供了具有竞争力和有效的解决方案.
- 多种规模的Mamba和混合专家机制的联合效应显著提高了多式联运用户数据的分析.


