轻量级变压器表现出与LLM用于预测的可比性能:用于EEG数据的轻量级模型的案例

科学领域:

• 神经学 神经学
• 人工智能的人工智能
• 机器学习 机器学习

背景情况:

• 在中预测发作具有显著的临床潜力.
• 机器学习/人工智能 (ML/AI) 为预测发作提供了工具.
• 目前的深度学习 (DL) 模型,如CNN和LSTM,在预测发作方面显示出不同的结果.

研究的目的:

• 解决基于EEG的发作预测方面的挑战,包括数据质量,变性和实时推断需求.
• 提出和评估一种新的轻量级架构,ESPFormer,用于高效的预测.
• 将ESPFormer的性能与大型数据集上的ResNet,ViT和LLM等既有模型进行比较.

主要方法:

• 开发ESPFormer,这是一种轻量级的深度学习架构,具有小模型大小和低计算足迹.
• 评估ESPFormer在MLSPred-Bench上,这是最大的患者独立的预测数据集,有12个基准.
• 将ESPFormer与定制的ResNet,预训练的视觉转换器 (ViT) 和预训练的大型语言模型 (LLM) 进行比较.

主要成果:

• 在12个基准指标中,ESPFormer在4个基准指标中实现了最好的预测准确度.
• 与LLM相比,ESPFormer的性能提高了2.65%,与ViT相比提高了3.35%,与ResNet相比提高了17.65%.
• 该模型在其他基准指标上显示了可比的结果,突出了其效率.

结论:

• 像ESPFormer这样的轻量级变压器架构可以在实时基于EEG的发作预测中优于资源密集型模型.
• ESPFormer的效率使其适合在具有有限计算能力的硬件上实时推断.
• 这些发现表明,开发用于管理的实际人工智能工具是一个有希望的方向.