PolypNextLSTM:使用ConvNext和ConvLSTM的轻量级和快速的多片视频细分网络
Debayan Bhattacharya1, Konrad Reuter2, Finn Behrendt1
1Institute of Medical Technology and Intelligent Systems, Technische Universitaet Hamburg, Hamburg, Germany.
概括
一个新的深度学习模型PolypNextLSTM通过使用视频数据来获得时间洞察力来增强聚细分. 它以最小的参数实现卓越的性能,在具有挑战性的场景中超越现有方法.
科学领域:
- 医疗成像医学成像
- 人工智能的人工智能
- 计算机视觉 计算机视觉
背景情况:
- 当前的多片细分模型经常使用单个图像,错过了视频中可用的关键时间信息.
- 临床诊断的息肉受益于观察时间动态,单图像模型不能复制.
研究的目的:
- 开发 PolypNextLSTM,一种基于视频的深度学习模型,用于聚合物细分.
- 利用时间信息来提高细分精度和效率.
- 为了创建一个最小参数的模型,适合边缘设备.
主要方法:
- 波利普NextLSTM使用了一个类似于UNet的架构,采用了经过修剪的ConvNext-Tiny骨干.
- 为了有效的时间特征融合,采用了卷积长短期记忆 (ConvLSTM) 模块.
- 该模型在SUN-SEG数据集上进行了评估,包括具有艺术品的具有挑战性的案例.
主要成果:
- 在难以检测的息肉上,PolypNextLSTM获得了0.7898的子得分,超过了最先进的模型.
- 该模型在视频中表现出卓越的表现,其中包含诸如幽灵和遮蔽等文物.
- 波利普NextLSTM显示了每秒最高的,表明了高效的处理.
结论:
- PolypNextLSTM有效地集成时间信息,用于优质的多片细分.
- 该模型提供了高性能和计算效率的平衡.
- 它的精益架构使其成为实时应用程序和边缘设备的有希望的候选人.


