有效地生成预训练样本,通过转移学习开发深度学习脑损伤模型.
Nan Lin1, Shaoju Wu1, Zheyang Wu2
1Department of Biomedical Engineering, Worcester Polytechnic Institute, 60 Prescott Street, Worcester, MA, 01605, USA.
Annals of biomedical engineering
|August 29, 2023
概括
使用变压器神经网络 (TNN) 生成预训练样本,大大降低了训练深度学习脑损伤模型的计算成本. 这种方法提高了卷积神经网络 (CNN) 的准确性,特别是有限的微调数据.
科学领域:
- 计算神经科学是一种计算神经科学.
- 机器学习在生物力学中的应用.
- 深度学习用于伤害建模.
背景情况:
- 对于脑损伤分析的深度学习模型需要大量的计算资源,这是由于大量的训练数据集.
- 脑损伤预测的高精度对于开发有效的安全措施和保护设备至关重要.
研究的目的:
- 调查使用变压器神经网络 (TNN) 来生成卷积神经网络 (CNN) 脑损伤模型的预训练样本的效率.
- 为了降低与训练深度学习脑损伤模型相关的计算成本.
主要方法:
- 验证了高精度TNN用于生成合成和增强冲击样本,模拟现实世界和测量事件.
- 利用TNN生成的样本预训练CNN,然后用有限的直接模拟数据进行微调.
- 使用测量影响事件的独立数据集评估CNN的表现.
主要成果:
- 在撞击模拟中,TNN在估计发声的峰值应变方面表现出高精度 (0.948-0.967).
- 与基线模型相比,使用TNN生成的样本进行训练通过转移学习显著提高了CNN准确性.
- 在2000-4000个预训练样本和一个小微调数据集 (500个样本) 中观察到最优的改善,成功率从0.72增加到0.81.
结论:
- TNN可以高效地生成预训练数据,为训练深度学习脑损伤模型提供一个具有成本效益的策略.
- 这种方法有助于更广泛地采用深度学习来进行大规模的大脑损伤预测,并可能增强安全协议.
- 基于TNN的预训练方法减少了对计算上昂贵的直接模拟的依赖.
更多相关视频
09:29Controlled Cortical Impact Model of Mouse Brain Injury with Therapeutic Transplantation of Human Induced Pluripotent Stem Cell-Derived Neural Cells
Published on: July 10, 2019
10.9K
06:32Author Spotlight: Automated Deep Brain Stimulation for Parkinson's Disease - Exploring the Possibilities and Challenges of Home Monitoring
Published on: July 14, 2023
1.3K
