伝統中国医学試験問題のための大規模および軽量大規模言語モデルの評価：比較研究

科学分野:

• 人工知能
• 自然言語処理
• 伝統中国医学

背景:

• 伝統中国医学（TCM）は、その知識集約的な性質により、大規模言語モデル（LLM）にとって特有の課題を提示します。
• TCM固有のベンチマークは存在するものの、この領域における軽量LLMのパフォーマンスは十分に調査されていません。
• この研究では、展開のトレードオフを考慮して、TCMアプリケーションのための大規模および軽量LLMを体系的に評価および比較します。

主な方法:

• 教科書から801件のTCM関連の質問のデータセットが開発されました。
• 11のLLMが、英語と中国語の両方でゼロショットおよび少数ショットプロンプティングを使用して評価されました。
• パフォーマンスは主に精度によって測定され、さまざまな質問タイプと推論カテゴリに焦点を当てました。

結論:

• 大規模LLMはTCMにおいて強力な知識想起能力を示しますが、多肢選択タスクにおける限界と高い計算コストは、臨床応用の妨げとなる可能性があります。
• Qwen3-1.7Bに代表される最適化された軽量LLMは、モデルの最適化とドメイン固有のトレーニングが、単にモデルサイズを増やすよりも有利であることを示唆しています。
• この調査結果は、リソースが制約されたヘルスケア環境での最適化されたLLMの展開に関する洞察を提供しますが、実際の臨床意思決定におけるさらなる評価が保証されます。