基于预训练过的变压器预测海面悬浮度
Tao Su1, Leilei Wang2, Yu Song3
1Tianjin Survey and Design Institute for Water Transport Engineering Company Ltd., Tianjin, China.
Scientific reports
|December 29, 2025
概括
这项研究引入了一种新的预训练变压器模型,用于监测海面悬浮沉积物 (SSSC). 这种方法通过利用大型语言模型来提高SSSC重建的准确性,优于现有的方法.
科学领域:
- 海洋工程 海洋工程
- 遥感 遥感 遥感 遥感
- 数据科学数据科学数据科学
背景情况:
- 监测海面悬浮沉积物 (SSSC) 对海洋工程,息地生态学和环境研究至关重要.
- 目前使用西装或卫星数据的方法在空间采样和概括方面面临挑战.
- 数据的有限可用性阻碍了传统深度学习模型在SSSC任务中的性能.
研究的目的:
- 开发一个先进的深度学习模型,用于准确的SSSC重建.
- 为了解决现有的SSSC监控技术的局限性.
- 探索利用自然语言处理预训练模型用于SSSC任务的有效性.
主要方法:
- 为SSSC重建提出了一个预训练的变压器模型,该模型是根据自然语言处理 (NLP) 进行的.
- 设计了输入嵌入层,以将遥感数据与预训练模型集成.
- 通过在SSSC任务的微调过程中结特定层来利用知识传输.
主要成果:
- 拟议的预训练变压器模型在SSSC重建中实现了最先进的性能.
- 证明了将知识从大型NLP模型转移到专业任务的有效性.
- 指出了大型预训练模型在数据稀缺的科学领域提高绩效的潜力.
结论:
- 预训练过的变压器模型为具有挑战性的SSSC监控任务提供了强大的解决方案.
- 从庞大的数据集中转移知识可以显著提高专门科学应用中的性能.
- 这种方法为海洋工程中更准确,更可靠的环境监测铺平了道路.

