评估机器学习的验证和偏差的实用方法应用于移动健康研究
Johannes Allgaier1, Rüdiger Pryss2
1Institute of Clinical Epidemiology and Biometry, Julius-Maximilians-University Würzburg, Josef-Schneider-Straße 2, Würzburg, Germany. johannes.allgaier@uni-wuerzburg.de.
机器学习 (ML) 数据集中的隐藏组可以高估性能. 简单的启发式,比如用户的最后一个响应,在mHealth场景中可能会超过复杂的ML模型,特别是在纵向数据中.
科学领域:
- 机器学习 机器学习
- 数字健康数字健康
- 数据科学数据科学数据科学
背景情况:
- 机器学习 (ML) 模型性能使用测试集进行估计,这对于部署后的准确性至关重要.
- 在训练和部署之间不匹配的数据分布可能会降低ML模型的性能.
- 移动健康数据集通常包含未被检测到的组 (例如,每个用户的多个评估) 影响模型概括.
研究的目的:
- 在各种交叉验证策略中评估ML模型性能,包括那些忽视群体结构的交叉验证策略.
- 模拟概念漂移场景,使用纵向mHealth数据来评估外部有效性.
- 将ML模型的性能与基线启发式进行比较,并质疑复杂模型的必要性.
主要方法:
- 使用了7个纵向的mHealth数据集与生态瞬间评估 (EMA).
- 应用交叉验证列车测试分割方法,有时不考虑用户群.
- 通过时间排序的用户群体模拟概念漂移,并将ML模型与启发式基线进行比较.
主要成果:
- 数据集中的未被检测到的组导致ML模型在部署后的性能被高估.
- 用户最近的问卷答复作为一个强大的启发式预测下一个,潜在的超越复杂的ML模型.
- 低方差是研究的7个mHealth数据集中观察到的基本特征.
结论:
- 通过EMA生成mHealth数据需要仔细考虑用户和评估水平,以进行强大的ML模型验证.
- 需要进一步的研究来开发可靠的ML模型用于mHealth应用.
- 简单的启发式学习可以成为复杂的ML模型的可行替代品,并且领域专家应该识别隐藏的数据组.
更多相关视频
15:00Setup of Consumer Wearable Devices for Exposure and Health Monitoring in Population Studies
Published on: February 3, 2023
11:21Methodology for Establishing a Community-Wide Life Laboratory for Capturing Unobtrusive and Continuous Remote Activity and Health Data
Published on: July 27, 2018
相关概念视频
Bias in Epidemiological Studies
Data Validation
Nursing assessment guides are generally based on holistic models rather than medical...
Types of Biopharmaceutical Studies: Controlled and Non-Controlled Approaches
Non-controlled studies, commonly employed for initial exploration, lack a control group, rendering them susceptible to biases and external influences. In contrast,...
Errors occurring during blood pressure monitoring
Several factors...
Regression Toward the Mean
