サイズは重要ではない: 医学的な文脈で大規模な言語モデルの信頼性を評価する: epidural情報検索に焦点を当てた

科学分野:

• 医療情報工学 医療情報工学
• 医療における人工知能
• 産婦人科と産婦人科を担当しています.

背景:

• 大型言語モデル (LLM) は,アクセス可能な情報を提供しますが, epidural analgesia の使用など,重要な健康上の決定に影響を与えることができます.
• 専門家に限られたアクセスと知識のギャップは,個人をAIを含む信頼できない情報源に導く可能性があります.
• 人工知能によって生成された医療情報の正確性を保証することは,誤った情報を防止するために不可欠です.

研究 の 目的:

• エピデュラル鎮痛に関するLLMによって生成された情報の信頼性と信頼性を評価する.
• 正確な医療情報を提供する様々なLLMのパフォーマンスを比較する.

主な方法:

• 12人のLLMは, epidural analgesiaに関する10の標準化された質問で,それぞれスペイン語と英語に翻訳され (合計2400件の回答).
• 応答は,拡張された SERVQUAL フレームワークを使用して2人の独立した麻酔医によって評価されました.
• パフォーマンスメトリックには,正確性,信頼性,応答の一貫性が含まれていました.

主要な成果:

• ChatGPTは最高パフォーマンスを示し,次にGemini 2が続いた.
• Phi-3のような中型モデルは,より大きなモデル (Llama-2など) を上回り,サイズが常に品質を示すものではないことを示しています.
• 英語の回答は一般的にスペイン語よりも信頼性が高く,スペイン語のいくつかの出力では顕著な不一致があった.

結論:

• LLMは有望だが,医学的な応用には限界がある.
• 標準化された,エビデンスベースのリソースの開発は,LLMの訓練とAIによって生成された健康情報の信頼性を高めるために不可欠です.
• 医療におけるAIの信頼性を高めるために,医学会間の協力が推奨されます.