人間によるゴールドスタンダードを超えて：自動抽象分類と情報抽出のためのマルチモデルフレームワーク

科学分野:

• 医療における人工知能
• エビデンス合成
• メタ研究

背景:

• メタ研究とエビデンス合成はリソース集約的です。
• 大規模言語モデル（LLM）は有望ですが、パフォーマンスにはばらつきがあります。
• LLM支援エビデンス合成における信頼性の問題は、導入を妨げています。

研究 の 目的:

• メタ研究タスクのための小規模でオープンソースのLLMを使用した合意ベースのフレームワークを開発および評価すること。
• フレームワークのパフォーマンスを人間のゴールドスタンダードおよび大規模LLMと比較評価すること。
• LLMの合意が系統的レビューにおける精度向上と手作業のワークロード削減に貢献できるかどうかを判断すること。

主な方法:

• 複数の小規模LLM（10Bパラメータ未満）を使用した合意ベースのフレームワークを実装しました。
• 分類と患者数抽出のために、1020件のリウマチ学のランダム化比較試験の抄録でテストしました。
• LLMと人間の意見の不一致があった抄録を再検討することにより、改良されたゴールドスタンダードを開発しました。

主要な成果:

• 合意フレームワークは95%を超える精度を達成し、85%の抄録で人間のゴールドスタンダードを上回りました。
• モデルの組み合わせ（例：5個中3個、6個中4個、7個中5個のLLM）は堅牢なパフォーマンスを示しました。
• パフォーマンスの低いモデルは、受け入れられた決定への寄与が少なく、パフォーマンスのばらつきの問題を軽減しました。

結論:

• 合意ベースのフレームワークは、系統的レビューにおける抄録スクリーニングのスケーラブルなソリューションを提供します。
• このアプローチは、高い精度と再現性を維持しながら、手作業によるレビューの負担を大幅に削減できます。
• 人間の専門知識は複雑なケースのために予約でき、エビデンス合成におけるリソース配分を最適化できます。