自动语音识别的转录精度 对于正统牙科的临床记录
R O'Kane1,2, D Stonehouse-Smith1,2, L C U Ota2,3
1Centre for Craniofacial Development & Regeneration, Faculty of Dentistry, Oral & Craniofacial Sciences, King's College London, London, UK.
Journal of dental research
|November 3, 2025
概括
自动语音识别 (ASR) 系统对牙科记录有希望,但准确性各不相同. 结合GPT4oTranscribe和GPT-4o大型语言模型校正的两阶段管道实现了最高的准确性,但仍然存在临床上重大错误,需要记录验证.
科学领域:
- 牙科信息学 牙科信息学
- 语音识别技术 语音识别技术
- 临床文档 临床文档
背景情况:
- 准确的临床记录对于有效的牙科实践至关重要.
- 自动语音识别 (ASR) 提供了将口语临床语言转换为电子健康记录的潜力.
- 对于临床牙科的自然语言处理中ASR的准确性需要进一步研究.
研究的目的:
- 评估各种ASR系统的转录精度.
- 用正牙科的临床记录作为ASR性能评估的实验模型.
- 为了比较商业ASR系统,应用程序编程接口,以及基于LLM的新型校正管道.
主要方法:
- 评估了4个商业ASR系统,5个API,以及2个阶段的GPT4oTranscribe-GPT4oLLM管道.
- 用了200个正诊断和治疗计划摘要 (43,408字) 来进行分析.
- 评估的主要结果:与SNOMED-CT相比的域名词错误率 (DWER);二次结果:N-DWER,ROUGE,BERT,BART分数和幻觉.
主要成果:
- 该GPT4oTranscribeCorrected管道显示了最高的准确性 (DWER 3.5%).
- 海迪健康是最好的商业系统 (DWER 6.2%),而龙专业任何地方的表现最差 (WER 33.9%).
- 所有系统都在技术词汇上扎,背景噪音增加了错误率;所有系统都存在临床上显著的错误.
结论:
- ASR系统,特别是LLM校正,实现单位的错误率,但并非没有错误.
- 临床上存在重大错误,强调需要手动验证ASR生成的临床记录.
- GPT4oTranscribeCorrected系统在准确性和处理牙科技术术语方面表现出卓越的性能.
