人工智能在定性健康研究中的评估:比较研究
1Physiotherapy Department, Healthscience Faculty, Mälardalen University, Avdelningen för Fysioterapi Akademin för Hälsa, Vård Och Välfärd Mälardalens Universitet, Västerås, 721 21, Sweden, 46 702129863.
人工智能 (AI) 模型对评估定性研究质量充满希望,但在细微的解释方面扎,突出了对人类监督的需求. 混合人工智能-人类框架对于高效可靠的研究评估至关重要.
科学领域:
- 健康研究方法的方法论.
- 在研究中的人工智能.
- 定性研究评价 定性研究评价
背景情况:
- 定性研究评估对于可信的发现至关重要,但受到人类变异性的挑战.
- 人工智能 (AI) 具有提高定性研究评估效率和一致性的潜力.
研究的目的:
- 评估五种人工智能模型 (GPT-3.5,Claude 3.5,Sonar Huge,GPT-4,Claude 3 Opus) 在评估定性研究质量的表现.
- 使用三个标准化的评估工具来比较AI模型的性能:批判性评估技能计划 (CASP),乔安娜·布里格斯研究所 (JBI) 检查清单和定性研究评估工具 (ETQS).
主要方法:
- 人工智能模型产生了对三篇同行评审的定性健康和体育活动论文的质量评估.
- 在AI模型中评估了系统的肯定偏见,评分器间的可靠性和依赖工具的分歧.
- 进行了敏感性分析,以评估排除特定人工智能模型对协议水平的影响.
主要成果:
- 所有的人工智能模型都表现出肯定偏差; GPT-4显示一致性较低,不确定性更高.
- 专有模型 (GPT-3.5,Claude 3.5) 显示出高度对齐,而开源模型则有所不同.
- 评分器之间的可靠性因工具而异:CASP (α=0.653) > JBI (α=0.477) > ETQS (α=0.376);不包括GPT-4,显著改善了CASP协议.
结论:
- 人工智能模型在定性研究评估中提高了效率,但在微妙的上下文解释方面面临局限性.
- 结合人工智能可扩展性和人类监督的混合框架对于可靠的定性研究评估至关重要.
- 未来的研究应该侧重于人工智能培训,对专家小组进行基准测试,并在系统审查中为人工智能制定道德准则.
更多相关视频
06:05The Participant-Reported Implementation Update and Score PRIUS: A Novel Method for Capturing Implementation-Related Data Over Time
Published on: February 19, 2021
14:43A Novel Method for Involving Women of Color at High Risk for Preterm Birth in Research Priority Setting
Published on: January 12, 2018
相关概念视频
Types of Biopharmaceutical Studies: Controlled and Non-Controlled Approaches
Non-controlled studies, commonly employed for initial exploration, lack a control group, rendering them susceptible to biases and external influences. In contrast,...
Comparing the Survival Analysis of Two or More Groups
Cochran's Q Test
Observational Studies
There are three types of observational studies – Prospective, retrospective, and cross-sectional.
Prospective Study
Prospective studies, also known as longitudinal or cohort studies, are carried out by collecting future data from groups sharing similar characteristics. One...
Study Designs in Epidemiology
Observational studies are those where the researcher does not intervene but rather observes natural variations. They include cross-sectional, cohort, and...
Hazard Ratio
For example, in a clinical trial...
