システムレビューにおけるスクリーニングのための共同大規模言語モデル（LLM）はすべて必要です

科学分野:

• 医療研究における人工知能
• エビデンス合成のための自然言語処理

背景:

• システムレビュー（SR）には厳密な研究スクリーニングが必要ですが、このプロセスはしばしば手作業によってボトルネックになります。
• SRスクリーニングの自動化と強化における大規模言語モデル（LLM）の可能性は、ほとんど探求されていません。

研究 の 目的:

• システムレビューのスクリーニングプロセスを自動化する上でのLLMの有効性を評価すること。
• 個々のLLMと共同LLMアプローチのパフォーマンスを比較すること。

主な方法:

• 5つのSRからのラベル付きデータ（タイトルと抄録）を使用した観察研究。
• 個々のLLM（GPT-4、Claude-3-Sonnet、Gemini-Pro-1.0）および共同LLM戦略が採用されました。
• パフォーマンス指標には、精度、除外の精度、包含のリコール、およびサンプル全体で節約された作業量（WSS）が含まれていました。

主要な成果:

• 個々のLLMは、除外（最大99.7%）で高い精度を示し、包含（最大96.6%）で高いリコールを示しました。
• 共同LLMアプローチ、特にGPT-4とClaude-3Sを使用したものは、優れた平均精度（99.9%）とリコール（98.5%）を達成しました。
• 共同LLMは、個々のモデル（45.2%）よりも大幅に高い平均WSS（63.5%）をもたらしました。

結論:

• 共同LLMは、システムレビューのスクリーニングに効率的で高性能なソリューションを提供します。
• この自動化は、エビデンス合成のタイムリーで継続的な更新をサポートします。
• 将来の研究では、多様なデータセットとプロプライエタリモデル全体でのLLMの機能を探求する必要があります。