神经架构搜索基于二分位图来进行文本分类

科学领域:

• 人工智能的人工智能
• 自然语言处理自然语言处理.
• 机器学习 机器学习

背景情况:

• 神经架构搜索 (NAS) 对于NLP中的文本表示至关重要,但比计算机视觉更少探索.
• 现有的NAS方法用于文本分类通常使用定向环形图 (DAG),限制概括和增加计算成本.
• DAG 很难准确地表示NAS 运营商对文本分类的基本拓顺序.

研究的目的:

• 为文本分类提出一个新的基于二分位图的NAS (BGNAS) 框架.
• 解决DAG基于搜索空间在捕获拓顺序和增强泛化的局限性.
• 开发一个计算效率高的NAS方法来进行文本分类.

主要方法:

• 通过双重图形将转换的定向环形图 (DAG) 转换为双重图形.
• 利用多个大图匹配来准确捕捉拓秩序.
• 制定NAS作为一个子模块函数下限识别问题.
• 实施了削减策略,通过消除无效的匹配规则来减少搜索空间.

主要成果:

• 与最先进的NAS算法相比,BGNAS在公共基准上表现出更高的性能.
• 提出的方法实现了更高的计算效率.
• 双部分图表搜索空间有效地捕获了上下文语义,从而提高了概括能力.

结论:

• BGNAS提供了一个更有效和高效的方法来神经架构搜索文本分类.
• 两部分图表的表示准确地模拟了拓秩序,提高了概括性.
• 这种框架减少了NLP任务中的搜索空间复杂性和计算开销.