[在口腔粘膜疾病咨询中对中国人工智能大语言模型的评估]
1Department of Oral Medicine, West China Hospital of Stomatology, Sichuan University & State Key Laboratory of Oral Diseases & National Center for Stomatology & National Clinical Research Center for Oral Diseases & Research Unit of Oral Carcinogenesis and Management, Chinese Academy of Medical Sciences, Chengdu 610041, China.
患者对人工智能用于口腔粘膜疾病咨询的现有满意度较低,但未来愿意度很高. 人工智能大语言模型 (LLM) 在准确性和可读性方面表现出不同的质量,缺乏基于证据的支持,突出显示需要改进.
科学领域:
- 医疗信息学 医疗信息学
- 医疗保健中的人工智能
- 口腔医学是指口腔医学.
背景情况:
- 人工智能 (AI) 大型语言模型 (LLM) 越来越多地被用于健康咨询.
- 在口腔粘膜疾病等专业领域应用LLMs需要系统的评估.
研究的目的:
- 评估AI LLM在口腔粘膜疾病健康咨询中的当前使用和未来潜力.
- 评估中国主要LLM在提供关于口腔白血病 (OLK) 的准确和可读信息方面的表现.
主要方法:
- 对200名患有口腔粘膜疾病的患者进行了问卷调查.
- 对六个LLM平台提出了9个关于OLK的标准化临床问题.
- 专家使用医学人工智能 (QAMAI) 工具进行质量分析,并使用阿尔法可读性中文 (ARC) 工具评估可读性.
主要成果:
- 只有37.5%的患者曾使用人工智能进行咨询,其使用与年轻年龄和高等教育有关.
- 对目前的人工智能咨询的满意度很低 (40%),但未来使用人工智能的意愿很高 (96%).
- 在质量方面,DeepSeek和讯的Hunyuan表现最好,但所有模型都缺乏来源和参考; ByteDance Doubao的可读性最好.
结论:
- 尽管目前的满意度很低,但患者愿意在未来使用人工智能进行口腔粘膜疾病咨询.
- 在有关OLK信息质量和可读性方面,LLM的表现存在显著差异.
- 改善基于证据的支持和AI反应的整体质量对于临床应用至关重要.
更多相关视频
03:14Augmenting Large Language Models via Vector Embeddings to Improve Domain-Specific Responsiveness
Published on: December 6, 2024
06:22Machine Learning-Based Cough Tone Classification: Diagnostic Exploration of Chronic Obstructive Pulmonary Disease and Respiratory Tract Infections
Published on: September 19, 2025
