基于扩散的图像翻译从白光到狭带成像在胃肠内镜中
Bilin Wang1, Changda Lei2, Kaicheng Hong1
1Suzhou Institute of Biomedical Engineering and Technology, Chinese Academy of Science, 88 Keling Street, Suzhou, 215163, Jiangsu, China.
概括
这项研究引入了一种新的AI方法,可以从标准白光内镜 (WLE) 图像中创建现实的窄带成像 (NBI). 这有助于在没有昂贵的硬件的情况下提前检测胃肠道病变.
科学领域:
- 医疗成像医学成像
- 医疗保健中的人工智能
- 胃肠病学 胃肠病学
背景情况:
- 窄带成像 (NBI) 改善了胃肠病变的可视化,但由于硬件成本而面临采用障碍.
- 白光内镜 (WLE) 被广泛使用,但与NBI相比,在早期病变检测方面效率较低.
- 从WLE图像中生成类似NBI的图像提供了一个可扩展的解决方案,以增强诊断能力.
研究的目的:
- 开发一种新的基于扩散的框架,用于将WLE图像转换为现实的NBI类图像.
- 为了应对有限的配对WLE-NBI数据集和复杂的病变特征的挑战.
- 改善诊断工作流程,并为胃肠内镜生成合成数据.
主要方法:
- 使用了一个稳定的扩散模型,并为WLE-to-NBI图像转换提供了域特定的增强功能.
- 整合的LoRA (低级别调整) 微调,以整合NBI特定的功能.
- 采用自我注意注射机制,以保持空间结构和语义完整性,同时添加血管/粘膜模式.
主要成果:
- 拟议的框架成功地从WLE图像中生成了类似NBI的高保真图像.
- 定量和定性实验证明了基于扩散的方法的优越性.
- 该方法显示了数据增强和强大的视频记录的潜力.
结论:
- 这种基于扩散的新型框架为WLE-to-NBI图像翻译提供了可靠的解决方案.
- 这项技术可以通过改善胃肠病变的可视化来增强临床决策.
- 这种方法提供了一种具有成本效益的方法,可以在没有专门的硬件的情况下利用NBI的诊断优势.
