RoBIn:基于变压器的模型,用于与机器阅读理解的偏差推断风险
Abel Corrêa Dias1, Viviane Pereira Moreira1, João Luiz Dihl Comba1
1Instituto de Informatica, Av. Bento Goncalves 9500 - Caixa Postal 15064, Porto Alegre, 91501-970, Rio Grande do Sul, Brazil.
临床试验中自动化偏差风险 (RoB) 评估现在可以使用RoBIn,这是一种基于变压器的新型模型. RoBIn的性能优于现有的方法,包括大型语言模型 (LLM),用于高效和可扩展的临床研究评估.
科学领域:
- 临床研究 临床研究
- 生物医学信息学 生物医学信息学
- 人工智能的人工智能
背景情况:
- 评估科学出版物质量,特别是偏见风险 (RoB),对于药物测试和医疗保健政策至关重要.
- 人类对RoB的审查是耗时和资源密集的.
- 在临床试验中自动化RoB评估是一个重大未满足的需求.
研究的目的:
- 在临床试验中开发自动化模型进行偏差风险 (RoB) 评估.
- 创建一个公开可用的,自动注释的数据集,用于ROB推理研究.
- 提高临床研究评估的效率和可扩展性.
主要方法:
- 使用了系统审查 (CDSR) 的Cochrane数据库数据来标记基本真相.
- 开发了用于机器阅读理解和RoB推断的培训和测试数据集.
- 创建了基于 RoBIn (RoB推断) 的模型,包括提取式 (RoBInExt) 和生成式 (RoBInGen) 基于变压器的模型.
主要成果:
- 与传统的机器学习和大型语言模型 (LLM) 相比,RoBIn模型显示出更高的性能.
- 性能最好的RoBIn变种实现了接收器操作特征曲线 (AUROC) 下的面积为0.83.
- 在各种环境中评估RoBIn,与最先进的方法进行基准测试.
结论:
- 在临床试验中,RoBIn为自动化RoB评估提供了有效的解决方案.
- 开发的基于变压器的模型提高了研究评估的效率和可扩展性.
- 公开的数据集有助于未来在自动化ROB评估方面的进步.
更多相关视频
06:33Decomposing the Variance in Reading Comprehension to Reveal the Unique and Common Effects of Language and Decoding
Published on: October 11, 2018
05:54Eye-tracking to Distinguish Comprehension-based and Oculomotor-based Regressive Eye Movements During Reading
Published on: October 18, 2018
相关概念视频
Stereotype Content Model
Transformers with Off-Nominal Turns Ratios
Mechanistic Models: Compartment Models in Individual and Population Analysis
Stereotypes, Prejudice, and Discrimination
Bias
In statistics, a sampling bias is created when a sample is collected from a population, and some members of the population are not as likely to be chosen as others (remember, each member...
Types of Biopharmaceutical Studies: Controlled and Non-Controlled Approaches
Non-controlled studies, commonly employed for initial exploration, lack a control group, rendering them susceptible to biases and external influences. In contrast,...
