MediViSTA:医疗视频细分通过时间融合SAM适应心声图的医疗视频细分

科学领域:

• 医疗成像医学成像
• 计算机视觉 计算机视觉
• 人工智能的人工智能

背景情况:

• 细分任何模型 (SAM) 在自然图像细分方面表现出色,但在医学成像中缺乏精度.
• 由于SAM的二维架构,其应用范围仅限于体积或视频医疗数据.
• 医疗视频细分,特别是心声回声,需要专门的适应精度.

研究的目的:

• 引入MediViSTA,一个参数高效的微调方法,以适应视觉基础模型的医疗视频细分.
• 通过使用先进的适应技术,专门解决心声回声学细分的挑战.
• 为了提高心脏成像中自动细分的精度和稳定性.

主要方法:

• MediViSTA采用参数有效的微调来适应医疗视频的基础模型.
• 空间适应是通过频率特征融合实现的,它结合了来自CNN的空间频率信息.
• 时间适应是集成使用时间适配器在变压器块内用于视频序列处理.

主要成果:

• 在没有提示的情况下,MediViSTA在心声回声学细分方面超越了最先进的方法.
• 该模型在未见的数据集上表现出强烈的概括性,使子得分提高了2.15%,时间一致性提高了0.09.
• 在三个不同的数据集上进行评估,MediViSTA显示出一致的优势.

结论:

• MediViSTA为医疗视频细分提供了一种有效和高效的方法,特别是用于心声回声学.
• 该方法显著提高了心脏评估应用程序的准确性和稳定性.
• 与空间和时间适应相结合的参数高效微调是成功医疗视频分割的关键.