テストセット組成のAIパフォーマンスに対するテストセット組成の影響は,小児放射線写真の尾骨折検知のための人工知能の性能です

科学分野:

• メディカルイマージング (医学イメージング)
• 人工知能 (AI) とは,人工知能 (AI) のことです.
• 小児放射線科の放射線学

背景:

• AIのパフォーマンスの評価は,現実世界のシナリオを反映していないテストセットをしばしば使用し,潜在的に精度を過大評価します.
• これは,骨折検知のためのAIツールの臨床的可用性を制限する可能性があります.

研究 の 目的:

• 放射線検査における小児骨折検出のためのAIモデルの性能に,異なるテストセットの組成がどのように影響するかを評価する.
• AIの診断能力に対するX線写真の複雑性の影響を調査する.

主な方法:

• 小児アペンディキュラートラウマのX線写真の遡及的分析.
• 2つの内部テストセットが作成されました:評価の不一致がある"難しい"セットと"マッチした"セットです.
• AIモデル (EfficientNet, YOLOv8) は,これらのテストセットで独立した放射線科医によって評価されました.

主要な成果:

• "難しい"テストセットは",マッチング"セットと比較して,EfficientNetの正しい分類確率の40%低下とYOLOv8の80%低下を示しました.
• "難しい"セットのX線写真は,より難しいと評価され,より複雑な画像が含まれていました.
• AIの性能は,より複雑なX線写真 (P < .001) を含むテストセットで著しく低下した.

結論:

• 小児骨折検出におけるAIの性能は,テストセットの構成と画像の複雑さに敏感です.
• 現実世界の複雑さを反映したテストセットを使用することは,正確なAIパフォーマンス評価と臨床採用に不可欠です.