神经网络特征选择方法的定量基准,用于检测非线性信号

科学领域:

• 机器学习 机器学习
• 数据科学数据科学数据科学
• 计算统计学 计算统计学

背景情况:

• 特性选择 (FS) 对于处理杂的数据集至关重要,尤其是在有限的样本的情况下.
• 传统的FS方法通常假定线性或增量特征关系.
• 深度学习 (DL) 模型为同时FS和非线性预测提供了潜力.

研究的目的:

• 在不同复杂度的合成数据集上系统评估基于DL的FS方法.
• 为了对DL方法在发现非线性特征关系方面的有效性进行基准测试.
• 评估基于梯度的特征归属技术的可靠性,例如神经网络 (NN) 的突出地图 (SM).

主要方法:

• 使用复杂度可控的合成数据集来测试FS和特征归因方法.
• 基于DL的各种FS技术与传统方法 (随机森林,树形,mRMR,LassoNet) 的性能比较.
• 对于使用相同合成数据设置的神经网络 (NN) 的基准突出性地图 (SM).

主要成果:

• 大多数基于DL的FS和SM方法甚至被简单的合成数据集所挑战.
• 随机森林,TreeShap,mRMR和LassoNet作为FS方法表现出优越的性能.
• 基于DL的FS和SM对非线性特征的解释方法的可靠性被发现是有限的.

结论:

• 基于DL的FS和SM解释方法目前对于在杂的高维数据集中识别非线性特征是不可靠的.
• 传统的FS方法,特别是随机森林和LassoNet,对于这些具有挑战性的场景来说更强大.
• 需要进一步的研究来提高DL方法对复杂的特征选择和解释任务的可靠性.