大規模言語モデル人工知能を用いた臨床能力委員会の洞察強化

科学分野:

• 医療教育
• ヘルスケアにおける人工知能
• 臨床能力評価

背景:

• 大規模言語モデル（LLM）は、居住者評価の強化に可能性をもたらします。
• 臨床評価のAIと人間の分析を比較した研究は限られています。
• この研究では、居住者のフィードバック分析のためにLLM AIを評価します。

研究 の 目的:

• LLM AIが居住者のフィードバックを評価する効果を評価すること。
• AI生成の居住者評価と人間の生成評価を比較すること。
• 教育者のレビュープロセスを合理化する上でのAIの役割を探求すること。

主な方法:

• LLM Llama-3.1 70Bを使用して、31人のEM居住者のための緊急医療（EM）教育者のフィードバックを分析しました。
• AIは、居住者の強み、弱み、およびマイルストーンのパフォーマンスの要約を生成しました。
• 臨床能力委員会（CCC）のメンバーは、AI生成コンテンツの質、精度、具体性、および有用性について調査されました。

主要な成果:

• AI生成評価は、人間の評価（79語）よりも大幅に長かった（391語）。
• CCCメンバーは、AIコンテンツを質、精度、具体性においてより高く評価しました。
• 有用性の評価では人間の生成コンテンツが好まれましたが、AIは54.1％で許容できると評価されました。

結論:

• AIは、人間の評価と同等またはそれ以上の質、精度、具体性を持つEM居住者評価を生成できます。
• AI主導の評価は、教育者のレビューを合理化し、ワークロードを削減する可能性があります。
• AI生成フィードバックの有用性に関するさらなる調査が保証されます。