变压器与封闭的残余网络相遇,以增强PICU的PPG文物检测,通过相互信息的神经估计进行信息

科学领域:

• 人工智能的人工智能
• 生物医学信息学 生物医学信息学
• 机器学习 机器学习

背景情况:

• 变压器模型在数据稀缺的环境中扎,例如儿科重症监护室 (PICU).
• 只有监督学习是不够的优化变压器在这些设置.
• 门式剩余网络 (GRNs) 为提高变压器性能提供了一个潜在的解决方案.

研究的目的:

• 评估各种学习方法,以改善数据有限的PICU设置中的变压器模型.
• 分析不同激活函数在GRNs的门式线性单元 (GLU) 内的影响.
• 为了比较GRN在注意力机制中的整合与作为中间层的整合.

主要方法:

• 对变压器培训的监督,无监督和自我监督学习 (SSL) 的比较分析.
• 在GRNs中,研究了Gated Linear Unit (GLU) 的不同激活函数 (例如,sigmoid).
• 使用相互信息神经估计 (MINE) 来评估GRN对模型性能的贡献.

主要成果:

• 在PICU数据中,GRN变压器在标准变压器,MLP,CNN和LSTM网络中表现明显优于PICU数据.
• 通过微调后的SSL提高了变压器的性能,但不如GRN变压器那么多.
• 在GLU中,西格体激活实现了高精度 (0.98),精度 (0.91),回忆 (0.96) 和F1得分 (0.94).
• 作为中间波器层的GRN集成比在注意力机制中更有效.
• MINE的分析证实GRN增强了表示和输出之间的相互信息.

结论:

• 格兰变压器,特别是用西格激活的GLU和作为中间层的GRN变压器,为数据受限环境提供了强大的解决方案.
• 这些发现支持采用像变压器这样的先进模型来完成任务,例如在PICU中检测PPG文物.
• 自主监督学习策略对于在标记数据稀缺时改善模型性能至关重要.