k-折交叉验证可显著高估真实分类准确性在常见的EEG-基于被动BCI实验设计:一个实证调查

科学领域:

• 神经科学是一个神经科学.
• 机器学习 机器学习
• 生物医学工程 生物医学工程

背景情况:

• 被动脑电脑接口 (BCI) 研究经常将长期试验分成时代进行分类.
• 尽管已知来自同一试验的样本自相关性问题,但K折交叉验证 (CV) 是常用的.
• 自相关性对被动BCI中k倍CV估计的确切影响尚不清楚.

研究的目的:

• 调查类内的样本相关性如何影响基于EEG的精神状态分类准确度,估计由k-fold CV.
• 为了将k-fold CV结果与基准 (GT) 准确性和区块智能的CV进行比较.
• 探索类可分离性,特征集和分类器对这些估计的影响.

主要方法:

• 设计了一个新奇的实验来操纵一个类内的样本之间的相关性程度.
• 员工的k-fold CV和区块wise CV用于准确度估计.
• 将估计的准确度与基准准确度 (GT) 的准确度进行比较.
• 研究了不同程度的真实类别可分离性,特征集和分类器.

主要成果:

• 在某些条件下,K-fold CV表现出夸张的分类准确性,高估了地面真相高达25%.
• 区块智能的CV虽然旨在减轻自相关性,但低估了基准准确率高达11%.
• 自相关度的程度显著影响了k倍CV估计的可靠性.

结论:

• 由于自相关性,K折CV可以在被动BCI中提供误导性的高准确性.
• 区块智能的CV也呈现出不准确性,可能低估了真正的性能.
• 建议包括减少每个试验的样本,并报告k-fold和block-wise CV,以便对被动BCI结果进行可靠的解释.