腹膜直腸固定術エキスパートコンセンサスグループの経験：大規模言語モデルはコンセンサス作業グループの実行可能なツールとなり得るか？

科学分野:

• 医療情報学
• 医用人工知能
• 外科文献合成

背景:

• 最近の腹膜直腸固定術に関するコンセンサスの更新が、腹膜直腸固定術国際エキスパートパネルによって発表された。
• この研究では、コンセンサス出版前に、腹膜直腸固定術の文献を合成する大規模言語モデル（LLM）の能力を評価した。

研究 の 目的:

• 腹膜直腸固定術に関連する応答および引用の生成における、ChatGPT-4o、Gemini 1.5 Pro、OpenEvidenceを含むさまざまなLLMのパフォーマンスを比較すること。
• LLMのパフォーマンス評価のベンチマークとして専門家パネルのコンセンサスを使用すること。

主な方法:

• LLMの内容の適切性、可読性、応答の長さ、引用の捏造、引用の質について評価した。
• 大腸直腸外科医のパネルが、LLMによって生成されたテキストの適切性を評価し、専門家コンセンサスと区別しようと試みた。

主要な成果:

• OpenEvidenceは、内容の適切性において最も高い評価（5点満点中3.5点）を獲得し、Gemini（3.0/5）およびChatGPT（2.8/5）を上回った。
• ChatGPTは最も高い冗長性と可読性を示したが、引用の53％を捏造した。Geminiでは12％、OpenEvidenceでは0％であった。
• 大腸直腸外科医は、チャットボットが生成したテキストを55％の精度で特定できた。

結論:

• OpenEvidenceは、GeminiおよびChatGPTと比較して、内容の適切性と引用の質において優れていた。
• LLMによって生成されたテキストは、専門家コンセンサスと専門家には区別がつかなかった。
• LLMは、適切な開示と監督があれば、将来のコンセンサスグループにとって貴重な研究ツールとなり得る。