旋转和破解机器学习预测模型 牙科研究:系统性审查
Liandi Cheng1, Yixuan Pan1, Po-Kam Wo1
1State Key Laboratory of Oral Diseases & National Center for Stomatology & National Clinical Research Center for Oral Diseases, West China Hospital of Stomatology, Sichuan University, Chengdu, Sichuan, China.
Oral diseases
|July 8, 2025
概括
研究人员可能会通过旋转或破解来夸大机器学习 (ML) 模型在牙科中的价值. 这项研究发现了普遍的旋转和一些黑客攻击的证据,推透明的ML研究的TRIAL原则.
科学领域:
- 生物统计学 生物统计学
- 牙科研究 牙科研究
- 机器学习 机器学习
背景情况:
- 机器学习 (ML) 和预测模型在牙科领域越来越受欢迎.
- 在ML研究中存在关于误导性报告 (旋转) 和统计操纵 (黑客攻击) 的担忧.
研究的目的:
- 评估牙科内基于ML的预测模型研究中旋转和潜在黑客的流行情况.
- 在牙科ML研究中确定常见的旋转实践和促进者.
主要方法:
- 一个系统的搜索确定了符合条件的研究,直到2024年10月12日.
- 1206曲线下的面积 (AUC) 值被分析为潜在的黑客攻击.
- 使用SPIN-PM框架对209项研究进行了旋转评估.
主要成果:
- 接近常见值的波动表明了潜在的AUC破解的证据.
- 在37.3%的研究中发现了回旋实践,通常涉及乐观的语言或没有证据的临床适用性声明.
- 在39.2%的研究中,旋转的促进因素,例如报告没有置信区间的绩效指标,存在于39.2%.
结论:
- 旋转及其促进者在牙科ML预测模型研究中很常见.
- 检测到一些黑客攻击的证据.
- 建议采用TRIAL (透明度,报告,诚信,调整和学习) 原则,以提高研究诚信.
