臨床のフリーテキストから機械学習モデルを一般化

科学分野:

• 医療における人工知能
• 医療情報学
• 機械学習の汎用性

背景:

• 医療における人工知能 (AI) モデルは,多くの場合,異なる機関で一般化できることに苦労します.
• 多様な臨床環境で信頼性の高いAIを開発することは,普及に不可欠です.
• 医療データで訓練されたAIモデルの 堅実性を向上させる戦略は 徹底的な調査を必要とする.

研究 の 目的:

• 医療におけるAIモデルの汎用性を高める方法を評価する.
• テキスト・プリプロセッシング技術がモデルの性能に与える影響を評価する.
• 単一の機関と複数の機関のデータモデルを比較し,データ差のメトリクスを探す.

主な方法:

• ディープニューラルネットワークモデルは,医学的なフリーテキストから麻酔学Current Procedural Terminologyのコードを分類するために開発されました.
• テキストの前処理の3つのレベルが分析された:最小,自動化 (cSpell),および医師によるレビュー.
• クールバック-ライブラー分岐とk-メドイドクラスタリングは,モデルの性能とデータ分岐を評価するために使用されました.

主要な成果:

• 単一機関モデルでは,高い内部精度を達成したが,外部の一般化能力は低い.
• テキストの事前処理はモデルの性能に最小限の影響を及ぼしました.
• 多機関モデルでは外部の一般化が改善されたが,単一機関モデルと比較して内部精度は低下した.
• Kullback-Leibler Divergenceは,他のメトリクスを上回るモデルパフォーマンス (R2=0.41) との強い相関を示した.

結論:

• 医学的なフリーテキスト・プリプロセッシングは AI モデルの汎用性を向上させるのに限られた有用性がある.
• 単一の機関モデルが内部的に優れている一方で,複数の機関モデルがより一般化できます.
• クールバック-ライブラー分散は,医療におけるAIモデルの一般化性を評価するための貴重なヒューリスティックとして機能します.