爆发和记忆意识的变压器:捕捉时间异质性

科学领域:

• 计算神经科学是一种神经科学.
• 机器学习 机器学习
• 时间序列分析时间序列分析

背景情况:

• 事件序列表现出时间异质性,出现在不同领域的突发模式中,如神经元发射和人类活动.
• 现有的变压器模型虽然擅长通过自我注意力捕捉长期依赖,但却难以应对突发时间数据的复杂性.

研究的目的:

• 引入一种新的爆发和记忆意识变压器 (BMT) 模型,旨在明确地解决和建模事件序列中的时间异质性.
• 通过结合爆发性和记忆动态来提高事件序列模型的预测准确性.

主要方法:

• 开发了 BMT 模型,将爆率和内存系数直接集成到变压器的自我注意力机制中.
• 引入了一种新的损失函数,以共同优化爆发率,记忆系数及其离散表示.
• 评估了在合成和现实世界数据集上的模型,展示了权力法事件间的时间分布.

主要成果:

• 与现有模型和对照组相比,BMT模型在预测事件时间和强度函数方面表现优异.
• 该模型在时间异质的数据上表现出了显著的有效性,特别是那些具有权力法事件间时间分布的数据.
• 整合与爆发相关的参数显著提高了变压器解释异质事件序列的能力.

结论:

• BMT模型在预测具有复杂时间异质性的事件序列方面取得了重大进展.
• 显式建模爆发性和内存增强了变压器对非统一事件动态的理解.
• 这些发现强调了爆发意识参数对于改善各种现实应用中的预测性能的重要性.