混合人工智能框架用于耳视诊断:整合卷积神经网络和大型语言模型,实现实时移动健康
Yuan-Chia Chu1,2,3, Yen-Chi Chen4,5, Chien-Yeh Hsu3,6
1Department of Information Management, Taipei Veterans General Hospital, Taipei.
Digital health
|November 24, 2025
概括
一个新的混合人工智能 (AI) 系统结合了卷积神经网络 (CNN) 和大型语言模型 (LLM) 来实现准确的实时耳视镜诊断. 这种移动友好的工具可以提高耳部疾病的检测,特别是在服务不足的地区.
科学领域:
- 医疗成像医学成像
- 人工智能的人工智能
- 耳鼻科 耳鼻科 耳鼻科 耳鼻科
背景情况:
- 中耳炎是一个重大的全球健康挑战,特别是在资源有限的环境中.
- 在这些地区,及时诊断耳部疾病往往是受阻的.
- 由人工智能 (AI) 驱动的移动健康应用程序显示了提高诊断准确性的潜力.
研究的目的:
- 引入混合人工智能框架,整合CNN和LLM进行实时耳视镜诊断.
- 开发一个移动优化的系统,用于设备上和基于云的分析.
- 评估AI系统的诊断性能与临床专业知识的对比.
主要方法:
- 开发了一个双路径系统,将CNN特征提取与LLM解释相结合.
- 该框架被优化为移动部署,使用轻量级的设备上模型和安全的云API.
- 用于培训和验证的是10个中耳疾病中的10465张耳内镜像数据集.
主要成果:
- 混合CNN-LLM系统的整体诊断准确率达到了97.6%.
- 该系统展示了将CNN视觉分析与LLM临床推理相结合的协同效益.
- 在不到200毫秒的时间内提供了诊断反,实现了专家级别的性能.
结论:
- 混合人工智能框架显著提高了诊断精度和响应能力在耳镜评估.
- 它的移动友好设计有助于在远程医疗和初级保健中进行可扩展的部署.
- 这种人工智能解决方案提供了一种实用方法,以改善服务不足地区的耳部疾病诊断.
