4つの大規模な言語モデルによって生成された項目の適合性の比較が,病理学の継続的な認定のための4つの言語モデルによって生成された項目の適合性の比較である

科学分野:

• 医療情報工学 医療情報工学
• 教育における人工知能
• 病理学継続認定の認定を受けています.

背景:

• 継続的な認証には,質の高い評価項目が必要です.
• 人工知能の大型言語モデル (LLM) は,アイテム生成の可能性を秘めています.
• 確立された基準に対してLLMのパフォーマンスを評価することは極めて重要です.

研究 の 目的:

• アメリカ病理学会 (ABPath) の基準に準拠した評価項目を生成する4つのLLMの能力を評価する.
• 異なるLLMが書面および実務試験の項目を作成する際のパフォーマンスを比較する.

主な方法:

• ある情報科学アプリケーションは,ABPathのアイテム書き込み標準に基づいたプロンプトを使用した.
• テーマ専門家 (中小企業) は,LLMで生成された項目 (書面および実践) を,構造,正確性,関連性,および難易度について評価しました.
• SMEsは,各項目のLLMソースに盲目でした.

主要な成果:

• クラウドは,書面 (86.1%) と実践 (92.9%) の両方の項目で最高得点を達成しました.
• 続いてChatGPTが書き込み項目で79.7%,実践項目で81.2%の得点を獲得しました.
• ラーマ (65.8% 書き込み, 65.8% 実践) とタイタン (60.9% 書き込み, 56.8% 実践) は著しく低いスコアでした.

結論:

• ABPath-コンプライアントの評価項目を生成するためのLLMのパフォーマンスには,大きな違いがあります.
• ユーザーは,特定のLLMを評価して,タスクの要件を満たしていることを確認する必要があります.
• LLMの同等性を仮定することは,専門的な項目生成には推奨されません.