医療アプリケーションにおける入力変数による大型言語モデルの性能:データセット開発と実験的評価

科学分野:

• 医療における人工知能
• 自然言語処理 (Natural Language Processing) とは,自然言語処理で処理される言語のことです.
• クリニカル・インフォマティックス

背景:

• 大型言語モデル (LLM) は,医療において,患者のケアと意思決定のためにますます使用されています.
• 不完全な臨床データを持つLLMの信頼性は十分に理解されていません.
• データの不完全性は,臨床文書および患者によって生成された情報において一般的です.

研究 の 目的:

• 医療アプリケーションにおけるLLMパフォーマンスに対する入力混乱の影響を調査する.
• 異なる種類の波動とレベルの波動の影響を比較する.
• 健康関連と健康関連でない用語に対する影響の違いを分析する.

主な方法:

• 3つの健康関連タスクにおける3つのLLMの体系的な評価.
• 編集,ホモフォーン,タイポグラフィカルエラーなど,人間のような変異を伴う新しいデータセットを利用した.
• 各種の perturbation レベルでの評価された性能.

主要な成果:

• LLMは,一般的な入力変数に対する顕著な強度を示し,パフォーマンスは55%以上のケースで安定または改善しました.
• 低レベルの干渉は,時にはパフォーマンスの向上 (14.07%) をもたらしました.
• 編集は,他のバリエーションよりもLLMのパフォーマンスに有害であることが判明しました.

結論:

• LLMを使用するヘルスケアアプリケーションは,入力変動性とデータ品質を考慮する必要があります.
• 不完全な入力に対する堅固さは,臨床環境におけるLLMの信頼性にとって極めて重要です.
• 発見は,回復力のあるAIツールを開発し,医療におけるLLMのパフォーマンスを改善するための洞察を提供します.