眼科質問応答における人間のような思考を持つ推論大規模言語モデルの評価

科学分野:

• 医療における人工知能
• 眼科学
• 自然言語処理

背景:

• 眼科のような専門的な医療分野における大規模言語モデル（LLM）の能力を評価することは非常に重要です。
• 信頼性の高いAIアプリケーションのためには、LLMの推論プロセスだけでなく、精度を評価することが不可欠です。
• 現在のLLMは、複雑な医療上の質問に必要な微妙な思考を完全に再現していない可能性があります。

主な方法:

• 2つの推論LLM（DeepSeek-R1、QwQ-32B）と1つの非推論LLM（LLaMA-3.3-70B-Instruct）を評価しました。
• 10の専門分野と3つの言語にわたる967の眼科質問のカスタムデータセットであるMedQA-Eyeを使用しました。
• 人間の医療推論をシミュレートするLLMの思考パターンを評価するための新しいフレームワークを開発しました。

結論:

• 推論LLM、特にDeepSeek-R1は、非推論モデルと比較して眼科質問応答において優れたパフォーマンスを示します。
• この調査結果は、推論LLMが医療コンテキストにおいて人間のような思考プロセスをより良く模倣できることを示唆しています。
• この進歩は、眼科におけるより信頼性が高く洗練されたAIシステムの開発に有望です。