评估ICU EEG注释的众包:与专家绩效的比较
Wan-Yee Kong1,2, Fábio A Nascimento3, Aaron Struck4
1Beth Israel Deaconess Medical Center, Boston, Massachusetts, USA.
Epilepsia
|August 6, 2025
概括
使用移动应用程序进行众包EEG注释表明,非专家的权重多数投票与专家在识别发作和节奏模式方面的表现相当. 这种方法可以加速为自动检测算法创建大型数据集.
科学领域:
- 神经科学是一个神经科学.
- 医疗信息学 医疗信息学
- 计算生物学 计算生物学
背景情况:
- 在脑电图 (EEG) 上精确检测和节律或周期性模式 (SRPPs) 对于管理重症神经病患者至关重要.
- 自动化EEG分析方法需要大量的,专家注释的数据集,但神经生理学家的可用性限制了专家的注释.
- 众包提供了一个潜在的解决方案,以扩大EEG数据注释的规模.
研究的目的:
- 评估使用众包来注释EEG记录的可行性.
- 为了比较非专家众包注释与专家神经生理学家在识别六种类型的SRPP的表现.
主要方法:
- 通过移动应用程序进行了EEG评分比赛,吸引了1542名参与者 (8名专家,1534名非专家).
- 参与者在6个SRPP中注释了478,834个简短的EEG时代:发作,一般化和横向化的周期性放电 (GPD,LPD) 和一般化和横向化的节律三角形活动 (GRDA,LRDA),加上"其他".
- 通过对对协议,专家的Fleiss' kappa和专家和人群之间的准确性比较通过个人和权重多数投票来评估表现.
主要成果:
- 群众的个人,未加权的选票在整体和特定的SRPP识别方面低于专家.
- 使用权重多数投票,与专家相比,人群实现了与专家 (.68,95%CI: .68-.70) 相比,SRPP的整体识别准确率 (.70,95%CI: .69-.70) 不逊色.
- 大众与大多数SRPP相匹配或超过了专家的表现,不包括LPD和"其他";没有一个专家在整体上超过了人群.
结论:
- 群众审查者在实现专家级别的EEG注释方面表现出有希望,这可能使自动检测算法能够开发更大,更多样化的数据集.
- 这项概念验证研究表明,众包是EEG注释的可行方法.
- 需要进一步的研究来解决诸如参与者校准和现实应用中缺少黄金标准标签等挑战.
