相关实验视频
Updated: Jun 29, 2026
06:16
The Miniature Pig: A Large Animal Model for Cochlear Implant Research
Published on: July 28, 2022
3.7K
在耳植入物Reddit社区的患者体验:比较人类和大型语言模型分类
Daniel R S Habib1, Kiran Depala1, Jack Lin1
1School of Medicine, Vanderbilt University, Nashville, TN.
American journal of audiology
|February 26, 2026
概括
大型语言模型 (LLM) 在分析来自在线论坛的耳植入物 (CI) 患者体验方面表现有希望,比手动编码提供更快的洞察力. 虽然LLM提供了公平的协议,但人类专业知识仍然对准确解释患者关切至关重要.
科学领域:
- 听力学和语音语言病理学
- 医疗保健中的人工智能
- 人与计算机的交互
背景情况:
- 在线患者社区为医疗设备的现实世界体验提供了宝贵的见解.
- 使用大型语言模型 (LLM) 的自动化分析有可能简化对这些经验的理解.
- 在比较人类与自动化分析的细微患者报告结果方面存在差距.
研究的目的:
- 在r/Cochlearimplants Reddit社区共享的患者体验的特征.
- 为了比较人类注释者的表现与三个不同的LLM在分类这些帖子.
- 评估基于LLM的注释的效率和准确性,以进行定性分析.
主要方法:
- 使用反射主题分析,从r/Cochlear植入物手动编码996个帖子.
- 三个LLM (OpenAI o3,Gemini 2.5 Pro,Claude Sonnet 4) 用人生成的代码书来对帖子进行分类.
- 使用诸如科恩卡帕,百分比一致,灵敏度,特异性,PPV,NPV和时间等指标来评估绩效.
主要成果:
- 出现了五个主要主题:社区支持,医疗/外科旅程,设备问题,日常生活调整和媒体/外展.
- OpenAI o3 和双子座2.5 Pro 显示了与人类编码器 (κ = .35 和 κ = .34) 之间的最高可靠性.
- LLM需要不到20分钟的注释时间,比人类编码器所需的52小时要快得多,准确度不同.
结论:
- 法律法规可以显著加快在线患者话语的定性分析,证明与人类编码人员的公平协议.
- 精心选择LLM模型和持续的人类监督对于准确解释患者体验至关重要.
- 士注释具有实时监测患者关切的潜力,以告知临床实践和设备开发.
