实时CNN培训和压缩用于神经增强的自适应直播流

科学领域:

• 计算机科学 计算机科学
• 人工智能的人工智能
• 视频流媒体视频流

背景情况:

• 在糟糕的网络条件下,现场视频流质量显著降低.
• 现有的方法在网络限制下努力提供高分辨率视频.

研究的目的:

• 提出一个实时卷积神经网络 (CNN) 训练和压缩方法,以提供高质量的现场视频.
• 增强用户在直播中的体验,特别是在不利的网络环境中.

主要方法:

• 服务器提供低分辨率的视频段,相应的CNN为超分辨率 (SR).
• 客户端应用SR CNN来恢复高分辨率的.
• 实时CNN培训采用以课程为基础的学习,并促进快速准确度的过拟合.
• 仅传输CNN参数的量化剩余值,以最大限度地减少数据传输.

主要成果:

• 拟议的神经增强自适应直播管道 (NEALS) 实现了更高的SR准确性.
• 在受限制的训练时间内,NEALS显示了较低的CNN压缩损失率.
• 与最先进的系统相比,实现15%至48%更高的用户体验质量.

结论:

• 在网络条件差的情况下,NEALS方法有效地提高了实时视频质量.
• 实时CNN培训和高效的压缩是增强现场直播的关键.
• 这种方法为实时视频服务的用户体验提供了显著的改进.