医生的判断可以提高模型的可信度吗? 一个关于预测直肠癌病理淋巴结的案例研究
Kazuma Kobayashi1, Yasuyuki Takamizawa2, Mototaka Miyake3
1Division of Medical AI Research and Development, National Cancer Center Research Institute, 5-1-1 Tsukiji, Chuo-ku, Tokyo 104-0045, Japan; Cancer Translational Research Team, RIKEN Center for Advanced Intelligence Project, 1-4-1 Nihonbashi, Chuo-ku, Tokyo 103-0027, Japan.
Artificial intelligence in medicine
|July 12, 2024
概括
医学人工智能 (AI) 的注意力图并没有提高医生的信任或模型可靠性. 肤浅的解释可能会误导临床医生,强调需要谨慎使用当前的AI可解释性方法.
科学领域:
- 人工智能在医学中的应用
- 医学成像分析 医学成像分析
- 临床决策支持 临床决策支持
背景情况:
- 可解释性对于医疗保健中值得信赖的AI至关重要,但医生期望和AI模型行为之间存在差距.
- 缺乏以医生为中心的评估框架来量化AI可解释性的实际好处.
- 注意地图被提议作为人工智能解释机制,以与医生重点保持一致,可能减少预测不确定性.
研究的目的:
- 调查注意力地图,一种人工智能可解释性的形式,是否与医生在直肠癌转移预测中的重点一致.
- 为了比较独立的不确定性估计与包含注意力图协议的人在循环方法.
- 评估可解释性对人工智能模型可靠性和医生信任的影响.
主要方法:
- 开发了一种多式变压器模型,利用临床数据和MRI预测直肠癌中淋巴结转移.
- 注意地图被生成和可视化,以评估与医生注意力模式的一致性.
- 两种不确定性估计方法进行了比较:独立差异和包含注意力图协议的人在循环中.
主要成果:
- 对于人类在循环中的不确定性估计,与独立方法相比,没有发现显著的优势.
- 该研究没有证实注意力图增强了模型可靠性或医生信任.
- 注意地图在这个直肠癌转移预测病例中并不总是与医生的重点保持一致.
结论:
- 该案例研究表明,目前的注意力机制可能无法有效地提高AI模型在临床实践中的可靠性.
- 表面的AI解释可能会误导医生,增加对不确定的预测的依赖.
- 需要进一步的研究来开发强大的,以医生为中心的AI在医学中的解释性评估框架.


