面向传感器对文字生成:利用基于LLM的视频注释来监控中风治疗

科学领域:

• 康复医学 康复医学 康复医学
• 生物医学工程 生物医学工程
• 人工智能的人工智能

背景情况:

• 与中风相关的损伤是导致长期残疾的主要原因之一.
• 可穿戴式传感器对可扩展的康复监测有希望,但在运动分类方面存在困难.
• 手动注释传感器数据是耗时且不一致的.

研究的目的:

• 从中风康复治疗会议中开发一种用于自动化活动描述生成的新型框架.
• 将大型语言模型 (LLM) 产生的活动描述与加速度计数据对齐,以创建标记的训练数据集.
• 探索从传感器数据直接生成自然语言叙述的可行性.

主要方法:

• 利用大型语言模型 (LLM) 来从治疗课程的视频中生成活动描述.
• 将LLM生成的描述与同时记录的加速度计信号对齐.
• 对加速度计信号进行探索性分析,以确定特定活动的独特时间和统计模式.

主要成果:

• 证明加速度计信号包含与特定活动相对应的独特模式.
• 从传感器数据直接生成自然语言叙事的可行性.
• 通过将LLM描述与加速度计信号对齐,成功创建了标记的训练数据.

结论:

• 拟议的框架可以实现自动化,非侵入性和可扩展的中风康复监测.
• 这些发现支持未来康复应用的传感器到文本模型的开发.
• 消除了在中风康复监测中手动或视频注释的需要.