同时识别语音和饮食行为,使用数据增强和双阶段微调
Toshihiro Tsukagoshi1, Masafumi Nishida1, Masafumi Nishimura1,2
1Graduate School of Science and Technology, Shizuoka University, 3-5-1 Johoku, Chuo-ku, Hamamatsu 432-8011, Japan.
Sensors (Basel, Switzerland)
|March 17, 2025
概括
这项研究引入了一种新的方法,用于同时识别语音和饮食行为,使用合成数据和双阶段微调. 该方法有效监测日常健康行为,在检测和吞方面达到高精度.
科学领域:
- 生物医学工程 生物医学工程
- 声学信号处理 声学信号处理
- 机器学习用于健康
背景情况:
- 同时识别语音和饮食行为对于健康管理至关重要.
- 现有的系统面临着挑战,因为语音和食用声音的独特声学和上下文特性.
- 对这些行为进行综合识别是一个尚未探索的领域.
研究的目的:
- 开发一种高精度的方法,同时识别语音和饮食行为.
- 在整合这两个行为声音领域时应对领域适应挑战.
- 通过先进的语音识别技术实现日常健康监测.
主要方法:
- 数据增强使用合成数据创建通过连接语音和吃声音.
- 一个两阶段的微调方法来适应自我监督的学习模型.
- 培训数据的生成模拟了真实世界语音和饮食的同时发生.
主要成果:
- 保持了高的语音识别准确度.
- 在饮食行为方面取得了很高的检测性能:F1得分为0.918的和0.926的吞.
- 证明了拟议的域调整技术的有效性.
结论:
- 提出的方法成功地整合了语音和饮食行为识别.
- 这项技术具有非侵入性,日常健康监测应用的巨大潜力.
- 进一步的研究可以基于这种方法进行全面的行为分析.
