ルーマニア語で回答する医療質問に関する大規模な言語モデルを評価するための大規模なベンチマークです

科学分野:

• 自然言語処理 (Natural Language Processing) とは,自然言語処理で処理された言語を処理する.
• 医療情報工学 医療情報工学
• 医療における人工知能

背景:

• 医学的質問と回答 (QA) の強力なシステムを開発することは,臨床的意思決定のサポートに不可欠です.
• 既存のベンチマークには,多くの場合,多言語機能とドメイン固有のデータが欠けている.
• ルーマニア語の医療データは,現在のAIモデルにとってユニークな課題を提示しています.

研究 の 目的:

• ルーマニア語で最初の大規模な医療QAベンチマークであるMedQARoを導入する.
• このベンチマークにおける最先端の大型言語モデル (LLM) のパフォーマンスを包括的に評価する.
• 異なる医療領域とセンターにおけるLLMの汎用化能力を評価する.

主な方法:

• 1242人のがん患者の症例概要から105,880のQAペアを含む高品質のデータセットの構築.
• ゼロショットプロンプトと監督された微調整を使用した4つのオープンソースのLLMの評価.
• 2つのAPIベースのLLM (GPT-5.2,Gemini 3 Flash) をMedQARoのベンチマークで評価しました.

主要な成果:

• 精密調整されたLLMは,すべてのテストコレクションでゼロショットモデルを大幅に上回りました.
• 前もって訓練されたモデルは,MedQARoのベンチマークで限られた一般化能力を示した.
• 性能は,異なるLLMファミリーと微調整戦略によって異なる.

結論:

• ルーマニア語の信頼性の高い臨床QAには,ドメイン特異的および言語特異的な微調整が不可欠です.
• MedQARoは,医療におけるNLP研究を,過小評価されている言語で進めるための貴重なリソースを提供します.
• 将来の作業は,複雑な臨床推論のタスクのためのLLM一般化の改善に焦点を当てるべきです.