多模态深度学习用于自动组装周边放射图
L Pfänder1, L Schneider2, M Büttner2
1Department of Oral Diagnostics, Digital Health and Health Services Research, Charité-Universitätsmedizin Berlin, 14197 Berlin, Germany.
Journal of dentistry
|June 22, 2023
概括
一个新的多模态深度学习模型自动组装牙周围的X线图. 这种先进的方法,整合图像和时间数据,显著优于单一数据源方法,提高了诊断准确度.
科学领域:
- 人工智能在牙科中的应用
- 机器学习用于医学成像
背景情况:
- 周围的X射线图对于全面的口腔评估至关重要.
- 这些放射图的自动组装可以提高诊断效率.
研究的目的:
- 开发和评估一个多模态深度学习模型,用于自动组装周围放射图.
- 为了比较多式模式学习与单式模式学习的表现.
主要方法:
- 使用了来自387名患者的4707张周围图像的数据集.
- 一个多模态深度学习模型结合了图像数据 (ResNet-152) 和时间序列数据 (ResNet-50).
- 仅使用图像或时间数据的单模模型被训练进行比较.
主要成果:
- 多模式模型实现了卓越的性能 (基于图像的p<0.001,基于时间的p<0.05).
- 它预测牙标签的F1分数,灵敏度和精度为0.79,准确度为0.99.
- 在77个患者数据集中,有37个数据集完全正确地组装在一起,其他数据集的错误最小.
结论:
- 多模态深度学习有效地自动化了周边放射组件,优于单模态模型.
- 结合各种数据模式可以提高牙科机器学习模型的性能.
