机器学习中的质量保证:我们是否在整关节整形模型中达到了目标? 一个系统的审查
Jordan Helbing1, Caleb Oh2, Aditya S Joshi1
1Department of Orthopaedic Surgery, Johns Hopkins University School of Medicine, Bethesda, MD, USA.
Journal of clinical orthopaedics and trauma
|September 2, 2025
概括
机器学习对关节和膝关节置换的质量保证不一致. 在全关节整形 (THA) 和全膝关节整形 (TKA) 中,标准化指导方针对于可靠的人工智能 (AI) 至关重要,以确保模型的有效性.
科学领域:
- 整形外科手术
- 医疗人工智能
- 卫生信息学
背景情况:
- 机器学习 (ML) 模型越来越多地用于关节整形术 (THA) 和膝关节整形术 (TKA),以改善患者的治疗结果和临床决策.
- 然而,这些ML模型的质量保证 (QA) 措施是不一致的,而且经常没有充分的记录.
- 本研究概述了THA和TKA的ML应用中的当前质量保证实践.
研究的目的:
- 在机器学习 (ML) 模型中对全关节整形术 (THA) 和全膝关节整形术 (TKA) 进行高层次的质量保证 (QA) 实践概述.
- 在这些骨科领域公布的ML研究中确定各种QA指标的报告范围和一致性.
- 根据已确定的指南,评估THA和TKA中使用的ML模型的透明度和偏差风险.
主要方法:
- 对2013年至2024年期间发表的文章进行系统审查,重点是THA或TKA,ML和QA.
- 两位独立审稿人对文章进行了选,并提取了31个与质量保证业绩相关的特征.
- 使用TRIPOD-AI和PROBAST准则来评估报告的透明度和潜在的偏见.
主要成果:
- 在包括的137项研究中,76. 64%是临床结果模型,22. 63%是成像模型.
- 虽然验证方法 (98. 54%) 和AUC-ROC得分 (68. 61%) 经常被报告,但回忆 (94. 89%) 和精度 (85. 85%) 的指标显著不足.
- 尽管TRIPOD-AI的符合性很高 (平均值为0.84),但PROBAST-AI显示出偏差的高风险,特别是在参与者选择和分析方面.
结论:
- 在THA和TKA的ML研究中报告质量保证指标存在显著的异质性.
- 人工智能在骨科领域的快速增长需要标准化质量保证指导方针来确保ML模型的可靠性和有效性.
- 实施强有力的质量保证协议对于关节置换手术中的可靠人工智能应用至关重要.
