AIによる系統的レビューのペースと精度の加速：検証研究

科学分野:

• 医療情報学; ヘルスケアにおける人工知能; 系統的レビュー方法論

背景:

• 人工知能（AI）は、系統的文献レビューおよびメタアナリシスにおいて潜在的な効率向上をもたらします。タイトル/抄録および全文記事のスクリーニングにおけるAIツールの精度は依然として不確かです。

研究 の 目的:

• GPT-4 AIプログラムであるReview Copilotのパフォーマンスメトリクスを評価すること。AIのパフォーマンスを人間の決定（ゴールドスタンダード）と比較して、系統的レビュー記事のスクリーニングを行うこと。

主な方法:

• 4つの公開された系統的レビュー/メタアナリシスの参加者データを利用しました。Review Copilotの感度と特異度を、タイトル/抄録および全文記事の人間のスクリーニングと比較しました。スクリーニング時間、実行間の合意率、およびカッパ統計量を分析しました。

主要な成果:

• Review Copilotは、タイトル/抄録スクリーニングにおいて99.2%の感度と83.6%の特異度を達成しました。全文スクリーニングの感度は97.6%、特異度は47.4%でした。AIスクリーニングは人間によるスクリーニングの4倍高速で、実行間の合意率は95.4%でした。

結論:

• AIは系統的レビューおよびメタアナリシスにますます不可欠になっています。AIの能力と限界を理解することは、倫理的な研究およびエビデンスに基づいたヘルスケアの意思決定にとって極めて重要です。