EPPI-ReviewerとCopilot 365によるシステマティックレビュープロセスの自動化評価のための研究プロトコルで,白内障のエビデンスギャップマップの更新を行う

科学分野:

• システマティック・レビューと証拠合成
• 研究における人工知能

背景:

• 証拠ギャップマップ (EGM) の開発は,体系的なレビュープロセスを反映した資源密集型です.
• EPPI-Reviewer (ER) やCopilot 365のような人工知能 (AI) ツールは,体系的なレビューで潜在的効率の向上を提供します.
• ERの優先順位スクリーニング (PS) の正確性と,Copilot 365の有効性は,体系的なレビューでは十分に確立されていません.

研究 の 目的:

• エビデンス・ギャップ・マップ (EGM) のアップデート中に,Copilot 365とERの優先順位スクリーニング (PS) の正確性と効率性を評価する.
• 人工知能ツールのパフォーマンスを,エビデンス・シンセシスの様々な段階において,人間審査員と比較する.

主な方法:

• 参考文献および全文記事の手動および自動スクリーニング.
• 2人の審査員による独立したデータ抽出と批判的評価,紛争解決.
• コヘンのカッパのようなメトリックを使用してAIツールの精度を評価し,手作業プロセスに対する時間効率の比較.

主要な成果:

• この研究では,ERの優先順位スクリーニング (PS) の正確さを,手動スクリーニングの異なる値 (20% と 40%) で定量化します.
• コピロット365のフルテキストスクリーニングの精度は,人間の審査員による決定と比較されます.
• 自動データ抽出と評価のためのCopilot 365の効率と一貫性が評価されます.

結論:

• この調査結果は,引用スクリーニングにおけるERの精度に関する洞察を提供し,将来の使用の指針となります.
• コピロット365の評価は,AIツールの適用性とエビデンス合成の限界の理解を高めるでしょう.
• 結果は,エビデンス・シンセシスおよびシステマティック・レビュープロセスにおけるより広範なAIアプリケーションに関連することが期待されます.