エビデンス合成における生成的人工知能の使用：システマティックレビュー

科学分野:

• 医療情報学; 研究における人工知能; エビデンス合成方法論

背景:

• 生成的人工知能（GenAI）ツールは研究でますます利用可能になっています。GenAIはエビデンス合成を加速するツールとして提案されています。本研究では、従来のメソッドと比較してエビデンス合成におけるGenAIのパフォーマンスを評価します。

研究 の 目的:

• エビデンス合成におけるGenAIの精度、エラー率、および時間節約の可能性を評価すること。専門家主導のエビデンス合成アプローチと比較してGenAIのパフォーマンスを評価すること。

主な方法:

• 2025年1月17日に5つのデータベースを検索するシステマティックレビューを実施しました。結果には、エビデンス合成におけるGenAIの精度、エラー率、および所要時間が含まれます。バイアスリスクは、修正されたQUADAS-2ツールを使用して評価されました。

主要な成果:

• GenAIは検索中に68%-96%の研究を見逃しました。不正確なスクリーニング決定は、包含で0%-29%、除外で1%-83%の範囲でした。データ抽出エラー（4%-31%）およびバイアスリスク評価エラー（10%-56%）も観察されました。

結論:

• 現在のエビデンスでは、エビデンス合成における監視されていないGenAIの使用はサポートされていません。GenAIは、初期検索以外のタスクのエビデンス合成において人間を支援する可能性があります。信頼性の高いGenAI支援エビデンス合成には、人間の監視が不可欠です。