MBBo-RPSLD:训练一个多式混合机Bot用于康复中风后语言障碍的康复

科学领域:

• 神经学 神经学
• 人工智能的人工智能
• 语音疗法是一种治疗方法.

背景情况:

• 脑卒中严重影响患者的生活质量,经常导致运动缺陷和语言障碍.
• 有效的康复模式对于恢复语言功能和改善中风幸存者的福祉至关重要.
• 当前的康复方法在处理多式联络数据和管理复杂的医疗对话方面面临挑战.

研究的目的:

• 引入多混合器模型,这是一种用于中风语言康复的新解决方案.
• 为了解决多式联络数据处理和中风恢复中的医疗对话的复杂性.
• 通过综合人工智能方法增强语言功能和患者福祉.

主要方法:

• 通过集成ImageBind-LLM用于多式编码和BlenderBot用于对话生成,开发了多混合器模型.
• 在各种数据集上评估模型,包括NINDS,MSDM和临床医院数据.
• 针对音频视频识别 (AVR) 和语音翻译 (AST) 任务的集中评估,以及对感知和认知任务的调整后的MME基准.

主要成果:

• 多混合器模型在AST任务中获得了BLEU 30.2分,超过了Whisper Large-v2和AudioPaLM.
• 在自动语音识别 (ASR) 任务中表现卓越.
• 在MME基准测试中,在感知任务中达到85.25%,在认知任务中达到76.83%,在语言理解和流利方面超过其他模型.

结论:

• 多混合器模型通过改进的多式联络数据处理和准确的对话AI显著推进了中风语言康复.
• 该模型提供了一种可靠和有效的解决方案,用于增强语言功能和中风后的患者结果.
• 未来的研究将专注于扩大数据集和模型优化,以进一步提高康复效率.