通过视觉转换器和语神经网络进行裂唇和口分类
Oraphan Nantha1, Benjaporn Sathanarugsawait1, Prasong Praneetpolgrang1
1School of Information Technology, Sripatum University, Bangkok 10900, Thailand.
Journal of imaging
|November 26, 2024
概括
这项研究开创了人工智能,用于使用视觉转换器和语神经网络诊断口唇和/或裂 (CL/P). 这种新的多式联络方法集成了超声波和语音数据,以提高CL/P分类的准确性.
科学领域:
- 医疗成像医学成像
- 人工智能的人工智能
- 计算生物学 计算生物学
背景情况:
- 唇裂和/或裂 (CL/P) 诊断传统上依赖于临床观察和成像,经常面临数据稀缺和微妙特征检测的挑战.
- 现有的用于CL/P诊断的机器学习模型通常使用单模数据,限制它们捕获全面解剖和功能信息的能力.
- 短暂的学习场景在医学诊断中很常见,需要模型可以从有限的标记数据集有效地泛化.
研究的目的:
- 引入和评估一种新的AI驱动的诊断方法,用于口唇裂和/或口腔裂 (CL/P) 的分类.
- 整合视觉变压器 (ViT) 和族神经网络,用于CL/P诊断中的多模式数据融合.
- 通过几次拍摄的学习技术来解决医学成像中的数据稀缺性挑战,用于CL/P分类.
主要方法:
- 开发了一个两阶段模型,集成视觉转换器 (ViT) 进行特征提取和罗神经网络进行分类.
- 采用多模式数据融合,将超声波图像的解剖信息与语音谱图的功能数据结合起来.
- 该模型在UltraSuite CLEFT数据集上进行了训练和验证,该数据集包括超声视频和双边,单边和口腔裂类型的同步语音数据.
主要成果:
- 集成的ViT和语网络模型在UltraSuite CLEFT数据集上实现了82.76%的分类准确性.
- 该模型表现出强的性能,F1得分范围从80.00%到86.00%,高精度和回忆.
- 该方法在区分双边和单边口唇裂病例方面表现特别有效.
结论:
- 新型多式人工智能方法显著提高了口唇裂和/或口腔裂诊断的准确性和有效性.
- 整合视觉变压器和罗神经网络为数据稀缺的医学成像分类任务提供了强大的解决方案.
- 这项研究突出了先进AI在改善CL/P患者的诊断能力和临床结果方面的潜力.
相关概念视频
Prosopagnosia
139
Prosopagnosia, also known as face blindness, is the inability to recognize faces. In severe cases, individuals with prosopagnosia may not recognize close family members, including parents and spouses, by their faces. For instance, someone with prosopagnosia might walk past their child in a crowd, only realizing their mistake upon noticing their child's distinctive backpack or favorite jacket. Prosopagnosia specifically impairs facial recognition, while the recognition of other objects or...
139
Vision
52.9K
Vision is the result of light being detected and transduced into neural signals by the retina of the eye. This information is then further analyzed and interpreted by the brain. First, light enters the front of the eye and is focused by the cornea and lens onto the retina—a thin sheet of neural tissue lining the back of the eye. Because of refraction through the convex lens of the eye, images are projected onto the retina upside-down and reversed.
52.9K


