DAFT-Net:使用增强的U-Net架构进行双重注意力和快速舌头轮提取
Xinqiang Wang1,2, Wenhuan Lu3, Hengxin Liu4
1Tianjin Key Lab of Cognitive Computing and Application, College of Intelligence and Computing, Tianjin University, Tianjin 300350, China.
Entropy (Basel, Switzerland)
|June 26, 2024
概括
这项研究介绍了DAFT-Net,这是一个新的轻量级网络,用于在无声语音研究中精确的实时超声波舌头轮提取. DAFT-Net 增强了特征表示,降低了计算负载,提高了医疗图像细分性能.
科学领域:
- 医疗成像医学成像
- 人工智能的人工智能
- 语音科学 语言科学
背景情况:
- 从超声波中精确地提取舌头轮,对于沉默语言研究至关重要.
- 实时精确地提取这些轮仍然是一个重大的技术挑战.
研究的目的:
- 推出DAFT-Net,一个端到端的轻量级网络,用于高效的超声波舌头轮提取.
- 为了增强特征表示,减少医疗图像细分中的计算需求.
主要方法:
- 开发了DAFT-Net,集成卷积块注意力模块 (CBAM) 和注意力门 (AG) 与基于的优化.
- 用注意力机制取代传统的跳过连接,以改善特征表示.
- 精简的U-Net编码器/解码器层以信息理论为指导,以减少计算负载.
主要成果:
- 废弃性研究验证了综合注意力模块的有效性.
- DAFT-Net在NS,TGU和TIMIT数据集中展示了有效的相关特征提取.
- 与现有方法相比,提取时间大大缩短.
结论:
- 通过应用和信息理论原则来进行超声波舌头轮提取,DAFT-Net提供了实际的优势.
- 该网络提高了医疗图像细分的性能,使无声语言研究的现实应用成为可能.


