大規模言語モデルによる医療コーディング：一次ケア国際分類を用いたベンチマーク

科学分野:

• ヘルスインフォマティクス
• 医療における人工知能
• 自然言語処理

背景:

• 医療コーディングは、ヘルスケアデータ管理、研究、およびポリシーにとって重要です。
• 一次ケア国際分類第2版（ICPC-2）のようなコードの割り当てを自動化することで、効率を向上させることができます。
• 大規模言語モデル（LLM）は、ヘルスケアにおける複雑な自然言語理解タスクに新たな可能性を提供します。

研究 の 目的:

• さまざまなLLMがICPC-2コードを自動的に割り当てる可能性を評価すること。
• ドメイン固有の検索エンジンの出力を使用してLLMのパフォーマンスを評価すること。
• 医療コーディングタスクにおけるLLMの能力をベンチマークすること。

主な方法:

• ICPC-2コードが付与された437のブラジルポルトガル語の臨床表現のデータセットが利用されました。
• セマンティック検索エンジンが、大規模な概念データベースから候補コードを検索しました。
• 33のLLMに、取得された結果から最良のICPC-2コードを選択するようにプロンプトが与えられました。
• パフォーマンスは、F1スコア、トークン使用量、コスト、応答時間、およびフォーマット遵守によって測定されました。

主要な成果:

• 28のLLMがF1スコア0.8を超え、10は0.85を超えました。GPT-4.5-preview、o3、Gemini-2.5-proがトップパフォーマーに含まれていました。リトリーバーの最適化により、パフォーマンスは最大4 F1スコアポイント向上しました。ほとんどのモデルは、幻覚を減らし、期待される形式を遵守して、有効なコードを生成しました。小さいモデル（<3Bパラメータ）は、フォーマットと入力長に課題を抱えていました。

結論:

• LLMは、ファインチューニングを必要とせずにICPC-2コーディングを自動化する強力な可能性を示しています。
• この研究は、ベンチマークを提供し、LLMベースの医療コーディングにおける課題を特定します。
• 臨床的検証のためには、より広範で多言語、エンドツーエンドの評価によるさらなる研究が必要です。