翻译EEG深度学习研究中的数据泄露
Geoffrey Brookshire1, Jake Kasper1, Nicholas M Blauch1,2
1SPARK Neuro Inc., New York, NY, United States.
Frontiers in neuroscience
|May 20, 2024
概括
应用于脑电图 (EEG) 的深度神经网络 (DNN) 可能会高估疾病检测的准确性. 使用基于主体的数据分割,而不是基于细分的数据分割,揭示了识别阿尔茨海默病和等疾病的真实表现.
科学领域:
- 神经科学是一个神经科学.
- 机器学习 机器学习
- 生物医学工程 生物医学工程
背景情况:
- 深度神经网络 (DNN) 越来越多地与脑电图 (EEG) 一起用于疾病识别.
- 常见的做法包括基于细分的数据分割,允许来自同一主体的数据在培训和测试集中.
研究的目的:
- 调查DNN-EEG研究中的基于细分的坚持是否导致过高估计的分类性能.
- 为了比较基于细分的保留与基于主题的保留,用于评估DNN概括.
主要方法:
- 实施了DNN分类器,使用基于细分和基于主题的持久策略.
- 在两个数据集上评估分类器性能:阿尔茨海默病和发作.
- 对DNN-EEG研究的现有文献进行了调查,以确定常见的数据分割实践.
主要成果:
- 基于主体的持久表现显示,与基于细分的持久表现相比,表现明显较低.
- 使用基于细分的持有结果,对以前未见过的主题的表现被大大高估了.
- 大多数翻译性DNN-EEG研究采用基于细分的持久性,这表明普遍存在高估.
结论:
- 在DNN-EEG研究中基于细分的数据分割可能会导致对真正的分类性能的戏剧性高估.
- 基于对象的坚持是评估DNN模型在临床EEG应用中的概括性的更可靠方法.
- 未来的DNN-EEG研究应该采用基于主体的坚持,以确保对诊断能力的准确报告.
