eNCApsulate:神经细胞自动机用于囊内镜上的精确诊断
Henry John Krumb1, Anirban Mukhopadhyay2
1Computer Science Department, TU Darmstadt, Fraunhoferstr. 5, Darmstadt, 64293, Hessen, Germany. henry_john.krumb@tu-darmstadt.de.
概括
神经细胞自动机 (NCAs) 能够对无线囊内镜 (WCE) 进行囊内出血细分和深度估计. 这种小型化的AI方法提高了诊断精度和囊定位,克服了大型深度学习模型的局限性.
科学领域:
- 医疗成像医学成像
- 人工智能的人工智能
- 微型电子产品 微型电子产品
背景情况:
- 无线囊内镜 (WCE) 为胃肠道成像提供了一种非侵入性方法,但产生了大量数据,具有挑战性的囊定位和病理识别.
- 对于诸如出血检测和深度估计等任务的现有深度学习模型通常太大,无法直接在囊硬件上实现.
- 精确地定位病理和囊本身对于WCE的有效诊断和治疗计划至关重要.
研究的目的:
- 开发和实施轻量级深度学习模型,特别是神经细胞自动机 (NCAs),用于囊出血细分和深度估计.
- 为了使无线囊内镜的微型硬件上直接实现高效的图像处理.
- 提高WCE系统的诊断和定位能力的精度.
主要方法:
- 在囊内镜图像上训练有素的NCAs用于出血细分和单眼深度估计.
- 利用知识蒸,使用大型基础模型的输出作为伪基础真相,以训练一个紧的NCA架构.
- 将受过训练的NCA模型移植到ESP32微控制器,以便在设备上进行高效的图像处理.
主要成果:
- 与其他便携式模型相比,NCAs在细分方面表现出更高的准确性 (Dice分数),内存参数超过100倍.
- 基于NCA的深度估计产生了视觉上令人信服的结果,与伪地面真相的现实性和细节性相匹配或超过.
- 在ESP32-S3微控制器上运行时间的优化导致了平均推理速度的显著加速 (超过3x).
结论:
- 算法调整和蒸成功使NCA模型能够被封装成适合WCE的微控制器.
- 本研究介绍了首次成功实施可靠的出血细分和深度估计,直接在小型WCE设备上.
- 开发的技术为准确的诊断和基于视觉测距的囊在胃肠道内的定位铺平了道路.
