肝がんの総合的な治療に対する5つの大きな言語モデルの比較研究

科学分野:

• 医療における人工知能
• 腫瘍学
• 肝臓・胆道疾患

背景:

• 大規模言語モデル (LLM) は,医療においてますます採用されています.
• 肝がんのような専門的な臨床領域での信頼性は不確実です
• 肝臓がんは複雑さにより AI アプリケーションに独特の課題を提示しています

研究 の 目的:

• 5つの主流のLLMの理解性と臨床的適用性を評価する.
• 肝がんに関連する臨床問題に関するLLMのパフォーマンスを評価する.
• 腫瘍学における現在のLLMの長所と短所を特定する.

主な方法:

• 肝臓がん管理に関する 90の標準的な質問を開発しました.
• 5つのLLM (GPT-4,Gemini,Copilot,Kimi,Ernie Bot) を肝胆専門家に盲目的に評価した.
• 予め定義された基準を用いて理解性と臨床適用性についてスコア付けした回答.

主要な成果:

• Kimi (68%) とGPT-4 (62%) は,完全に適用可能な反応が最も高かった.
• 理解性は高い (Kimi, Ernie Bot>98%),しかしガイドラインの一致性は不一致であった.
• LLMは,常識的な質問と比べて, 複雑なプロフェッショナルレベルの質問で苦労しました.

結論:

• LLMは,肝がんの臨床クエリにおいて,異なるパフォーマンスを示しています.
• GPT-4とKimiは臨床適用の可能性を示しています.
• ドメイン特有の最適化は,LLMを肝臓がん治療に統合するために,特に複雑な決定のために不可欠です.