一个基于SAM提示工程的自动喉镜图像细分系统:从眼球注释到声细分

科学领域:

• 医疗成像医学成像
• 生物医学工程 生物医学工程
• 计算病理学计算病理学

背景情况:

• 喉高速视频 (HSV) 分析有助于诊断喉疾病.
• 喉区域的细分对于评估声振动和检测疾病至关重要.
• 语音折叠细分仍然是当前研究中未被充分探索的领域.

研究的目的:

• 开发一种新的自动声细分系统.
• 为了利用喉信息,并为声细分提供快速工程.
• 为了实现准确的细分,而不需要监督的语音折叠注释.

主要方法:

• 使用分段任何模型 (SAM) 的提示工程技术.
• 从U-Net生成的喉膜面具中提取了声的特征,通过对比度调整和形态关闭进行了增强.
• 集成的YOLO-v5用于喉区域边界框提示和来自灰度强度极端的衍生点提示.

主要成果:

• 获得了0.91的子系数,用于声音折叠细分.
• 与完全监督的方法相比,已证明具有竞争力的性能.
• 验证了基于光环的提示的有效性,以及不需要标记的声训练数据的缺乏.

结论:

• 精确的声细分是可行的,只使用基于光的提示.
• 拟议的方法提供了一个可行的替代方案,以监督学习的声音折叠细分.
• 开发的系统和代码被发布,以促进喉图像分析的进一步研究.