探索精细调整的BERT模型的性能和可解释性,用于神经放射学协议分配

科学领域:

• 人工智能的人工智能
• 医疗成像医学成像
• 自然语言处理自然语言处理.

背景情况:

• 深度学习模型有希望,但在高风险的医疗应用中需要仔细验证.
• 了解模型决策对于安全可靠的临床实施至关重要.
• 本研究重点是用于医疗图像协议分配的变压器 (BERT) 的双向编码器表示.

研究的目的:

• 在医学图像协议分类中评估各种预训练的BERT模型的性能.
• 在这种医疗背景下解释BERT模型的决策过程.
• 将模型推理与专家人类判断进行比较.

主要方法:

• 微调四个预训练的BERT模型 (BERT,BioBERT,ClinicalBERT,RoBERTa) 用于协议分类.
• 使用基于梯度的方法来确定分类输出的单词重要性.
• 让放射科医生审查单词重要性得分,以评估模型推理与人类逻辑的对比.

主要成果:

• 标准BERT模型在测试数据集上表现出与人类专家可比的性能.
• 伯特模型准确地识别了与正确的医学成像协议相关的关键词.
• 对错误分类实例的分析突出了模型决策中的潜在系统错误.

结论:

• 伯特模型显示了医学图像协议分配的巨大潜力,实现了接近人类的准确性.
• 该模型识别关键术语和检测系统错误的能力为临床改进提供了途径.
• 进一步开发可以提高BERT在医学成像工作流程中的安全性和临床实用性.