抗菌薬分類における大規模言語モデルの評価：抗菌薬管理プログラムへの示唆

科学分野:

• ヘルスケアにおける人工知能
• 薬理学と薬剤分類
• 抗菌薬管理

背景:

• 効果的な抗菌薬管理には、抗菌薬の正確な同定が不可欠です。
• 大量の薬剤データセットの手動分類は時間がかかり、エラーが発生しやすいです。
• 大規模言語モデル（LLM）は、複雑な分類タスクの自動化の可能性を提供します。

研究 の 目的:

• 抗菌薬または非抗菌薬として薬剤を分類するLLMの有効性を評価すること。
• LLMの分類精度に対する的を絞ったフィードバックの影響を評価すること。
• LLMの抗菌薬管理プログラム支援における有用性を判断すること。

主な方法:

• 7,239件のユニークな薬剤エントリのデータセットが、4つのLLM（ChatGPT-3.5、Copilot GPT-4o、Claude Sonnet 4、Gemini 2.5 Flash）によって分類されました。
• モデルは2段階の評価を受けました：最初のガイドなし分類と、誤分類されたケースに対するフィードバックに基づく再分類。
• パフォーマンス指標には、精度、マクロF1スコア、処理時間、エラー削減率（ERR）が含まれました。

主要な成果:

• フィードバック後、Geminiは99.6%、Claude Sonnet 4は99.4%の精度を達成しました。
• Geminiは最も高いマクロF1スコア（98.9%）とERR（69.2%）を示しました。
• 処理時間は大きく異なり、CopilotとChatGPT-3.5が最も高速でした。

結論:

• 高性能LLMは、管理ワークフロー内での初期抗菌薬分類の自動化に適した精度レベルを達成できます。
• LLMのパフォーマンスのばらつきは、臨床アプリケーションにおける慎重なモデル選択と継続的な人間の監視を必要とします。
• LLM、特にGeminiとClaudeは、抗菌薬管理の効率と精度を向上させる大きな可能性を示しています。