大規模言語モデルの眼科紹介トリアージにおける比較性能

科学分野:

• 眼科学
• 人工知能
• 自然言語処理

背景:

• 医療紹介の自動分類は、効率を向上させることができます。
• 大規模言語モデル（LLM）は、臨床テキストの分析に可能性を提供します。

研究 の 目的:

• ポルトガル語の眼科紹介症例の分類における5つの高度なLLMの分類精度と一貫性を評価すること。
• これらの紹介に対するLLMのパフォーマンスに対する教師ありコンテキスト内学習の影響を評価すること。

主な方法:

• 3,831件のポルトガル語の眼科紹介症例が、5つのLLM（ChatGPT 4o、ChatGPT 5.1、Perplexity Pro、Claude Sonnet 4.5、Claude Opus 4.1）によって分類されました。
• ゼロショットプロンプティング戦略が最初に採用され、その後、コンテキスト内学習（957のラベル付き例）のフェーズが続きました。
• 分類精度、一貫性、およびFleissのκ係数が計算されました。

主要な成果:

• ベースライン精度は平均68.7%で、コンテキスト内学習後は73.4%に向上しました。
• ChatGPT 5.1は最高の精度（79.5%）を達成しました。
• ChatGPT 4oは最大の整合性向上（66.8%から93.8%）を示しました。
• 一般的なカテゴリ（例：糖尿病スクリーニング）では90%を超えましたが、まれまたは曖昧な苦情ではパフォーマンスは低下しました。
• 実行間の合意は、中程度から実質的（κ = 0.462-0.801）でした。

結論:

• 高度なLLMは、眼科紹介の解釈において significant な可能性を示しており、コンテキスト内学習による顕著な精度と一貫性の向上が見られます。
• LLMのパフォーマンスは、まれまたは曖昧な紹介タイプでは低いため、慎重な実装の必要性が強調されています。
• LLMは、人間の監視とさらなる臨床的検証を条件として、眼科におけるスケーラブルで低コストのトリアージ補助として機能する可能性があります。