臨床人工知能システムにおける運用安全性の定義

Young-Tak Kim¹, Hyunji Kim¹, Manisha Bahl¹

¹Department of Radiology, Massachusetts General Hospital, Harvard Medical School, Boston, MA, USA.

NPJ digital medicine

|February 20, 2026

まとめ

新しいAI安全枠組み (SA-ROC) は,医療における人工知能をいつ信頼すべきかを決定しています. 自動化のための安全なゾーンと,人間のレビューを必要とするグレーゾーンを特定し,臨床AIの採用を改善します.

科学分野:

医療における人工知能
臨床的意思決定支援システム
医療情報工学医療情報工学

背景:

現在,臨床での人工知能 (AI) の採用は,主に自動化に焦点を当てています.
伝統的な精度メトリックは,AIシステムの信頼性と運用の安全性に関する重要な問題を十分に解決していません.
AIの安全性を評価するには,単なる統計的精度を超えた指標が必要です.

研究の目的:

AIシステムの運用安全性を定義し評価するために,安全意識の受信機操作特性 (SA-ROC) フレームワークを導入する.
臨床ワークフローでAIを信頼することが安全であるときの明確な基準を確立します.
人工知能の無決断性に関連した作業負荷の定量的な測定を策定する.

主な方法:

Safety-Aware Receiver Operating Characteristic (SA-ROC) フレームワークを開発し,事前に指定された信頼性レベルに基づいて運用安全性を定義しました.
SA-ROC曲線をルールイン・セーフ・ゾーン,ルールアウト・セーフ・ゾーン (自律的なAIアクション),グレー・ゾーン (人間による審査が義務付けられている) に切り分けました.
AIの決断不全と非自動化されたワークロードの運用コストを定量化するためにグレーゾーンエリア (ΓArea) メトリックを導入しました.

主要な成果:

SA-ROCフレームワークは,FDAが承認した2つのがんスクリーニングアルゴリズムのケーススタディで重要な逆転を示した.
曲線下の面積 (AUC) が統計的に優れているAIモデルは,高信頼性スクリーニングタスクでは操作的に安全性が低いことが判明しました.
グレーゾーンエリア (ΓArea) メトリックは,AIの決断不全によるワークロードの影響を定量化しました.

結論:

SA-ROCのフレームワークは,臨床方針を最適化された運用ワークフローに変換することによって,医療におけるAIの積極的なガバナンスを実現します.
このアプローチは,運用安全性と信頼性に焦点を当てることで,既存の規制上の安全性評価を補完します.
SA-ROCは,人工知能の安全で効果的な臨床採用を確保するための重要なツールを提供します.

関連する概念動画