与手动数据提取相比,人工智能作为数据提取工具并不完全可靠

科学领域:

• 矯正牙科 矯正牙科是一種矯正牙科.
• 生物医学信息学 生物医学信息学
• 数据科学数据科学数据科学

背景情况:

• 系统性审查对于以证据为基础的实践至关重要,但涉及耗时且容易出错的数据提取.
• 自动化数据提取可能会提高效率,减少系统审查中的错误.

研究的目的:

• 评估基于人工智能 (AI) 和人类数据提取方法在正牙系统性审查中的一致性.
• 评估AI工具用于从科学文献中提取各种数据点的可靠性.

主要方法:

• 一项系统的搜索确定了在2019年至2024年之间发表的300项正义牙科研究.
• 两个独立的审稿人手动提取数据,并使用微软Bing AI.
• 使用类间相关性和卡帕统计数据评估了协议,比较AI和人类提取.

主要成果:

• 人工智能在出版年份和研究设计之间显示了轻微的差异,这些差异在统计学上并不显著.
• 人工智能在提取研究设计细节 (P = 0.017) 和中心数量 (P < 0.001) 等复杂变量方面效率较低.
• 协议范围从轻微 (0.16对于研究设计类型) 到实质性/完美 (0.65-1.00对于大多数其他变量).

结论:

• 基于AI的数据提取对于简单的变量是有效的,但对于复杂的数据不是完全可靠的.
• 人类投入对于确保系统审查的准确性和完整性至关重要.
• 人工智能工具可以提高效率,但人类监督对于保持临床证据完整性至关重要.