GPT-4oとo3を用いたシステマティックレビューのデータ抽出プロセスの自動化

科学分野:

• 人工知能
• バイオメディカルインフォマティクス
• 健康科学

背景:

• システマティックレビュー（SR）におけるデータ抽出（DE）の自動化は、効率化のために不可欠です。
• 既存の自動DE手法は、多くの場合、かなりの手動入力を必要とします。
• 大規模言語モデル（LLM）は、DE自動化の改善の可能性を示しています。

研究 の 目的:

• SR用のオープンソースで完全に自動化されたDEシステムをGPT-4oを使用して開発および評価すること。
• 文字列変数と数値変数を含む多様なデータセットでシステムのパフォーマンスを評価すること。
• 自動化されたシステムと手動抽出の精度を比較すること。

主な方法:

• 抽出中に人間の介入なしにGPT-4oを活用したオープンソースDEシステムを開発しました。
• 290のランダム化比較試験（RCT）のデータセットでシステムをトレーニングおよび最適化しました。
• 更新された検索と個別の公開された研究を含む2つの独立したデータセットでシステムを検証しました。

主要な成果:

• システムは高い変数検出網羅率（93.5%）を達成しましたが、変数精度は文字列（より高い）と数値（より低い）データで異なりました。
• 初期の外部検証では、GPT-4oの平均精度は84.4%でした。
• 調整されたDE手法により、外部データセットの精度は96.3%に向上し、手動抽出と同等になりました。

結論:

• GPT-4oベースのシステムは、SRにおける文字列変数のDEを支援する可能性を示しています。
• 現在のところ、数値データ抽出において人間のレビュー担当者を完全に置き換えることはできません。
• この自動DEシステムのより広範な適用性をさまざまなレビューコンテキストで確立するためには、さらなる研究が必要です。