利用时间趋势培训语境词嵌入来解决生物医学应用中的偏见:发展研究研究
Shunit Agmon1, Uriel Singer1, Kira Radinsky1
1Department of Computer Science, Technion-Israel Institute of Technology, Haifa, Israel.
JMIR AI
|October 2, 2024
概括
时间分布与BERT嵌入 (TeDi-BERT) 相匹配,改善了两性临床预测. 该方法解决了临床试验数据中的历史性别偏见,提高了所有患者的模型性能.
科学领域:
- 自然语言处理自然语言处理.
- 机器学习 机器学习
- 临床信息学 临床信息学
背景情况:
- 从历史上看,女性在临床试验中代表性不足,这导致了在试验数据上训练的机器学习模型中的潜在偏见.
- 词嵌入,对NLP至关重要,如果训练有偏见的临床试验摘要,可能会无意中放大基于性别的绩效差异.
研究的目的:
- 在临床试验中捕捉时间趋势,使用时间分布对应于上下文词嵌入 (BERT).
- 探索这些时间趋势对下游临床预测任务偏差的影响.
主要方法:
- 引入TeDi-BERT,一种利用临床试验中女性参与度增加的趋势来训练语境词嵌入的方法.
- 采用对抗分类来进行时间分布匹配,将模型从较旧的临床试验数据调整为较新的临床试验数据.
- 评估了TeDi-BERT对预测重症监护室再入院和住院时间的预测.
主要成果:
- TeDi-BERT改善了女性患者的预测准确度,预测了再入院 (AUC 0.64 与 0.62) 和停留时间 (MAE 4.56 与 4.62).
- 男性患者在再入院预测 (AUC 0.66 与 0.64) 和停留时间 (MAE 4.54 与 4.60) 中的表现也得到改善.
结论:
- TeDi-BERT提高了女性和男性患者的临床预测性能,表明提高一个性别的准确性不一定会影响另一个性别.
- 在时间趋势上训练上下文词嵌入模型有效地减轻了历史临床试验数据中存在的偏见,从而为所有患者带来更好的结果.
