基于扩散的近红外图像色化潜力
Ayk Borstelmann1, Timm Haucke1,2, Volker Steinhage1
1Institute of Computer Science IV, University of Bonn, Friedrich-Hirzebruch-Allee 8, 53115 Bonn, Germany.
Sensors (Basel, Switzerland)
|March 13, 2024
概括
我们开发了一种新的扩散模型框架,用于对近红外 (NIR) 图像进行生物多样性监测. 这种方法有效地弥合了NIR和可见光之间的领域差距,增强了野生动物图像分析.
科学领域:
- 计算机视觉 计算机视觉
- 人工智能的人工智能
- 生态生态学 生态生态学
背景情况:
- 摄像机陷对于野生动物监测至关重要,通常在低光下使用近红外 (NIR) 成像.
- 由于不同的光反射特性,NIR图像缺乏颜色信息,从而造成感知差距.
- 由于域差异和缺少配对的训练数据,现有的色彩化方法与NIR数据扎.
研究的目的:
- 开发一种新的框架,利用扩散模型以颜色丰富近红外图像.
- 为了应对未配对的图像对图像翻译的挑战,用于NIR色化.
- 为了弥合近红外和可见光成像之间的领域差距.
主要方法:
- 利用基于扩散模型的新型框架用于近红外图像着色.
- 探索了三种不同复杂度的实现,用于调色任务.
- 研究了近红外强度转化为可见光强度作为着色的主要控制.
主要成果:
- 证明扩散模型可以有效地色化近红外图像.
- 展示了即使是简单的可见近红外 (VIS-NIR) 融合启发的方法也可以与生成对抗网络 (GAN) 竞争.
- 与更复杂的扩散模型实现的GAN相比,实现了更高的性能.
结论:
- 拟议的扩散模型框架为NIR图像着色提供了一个有效的解决方案.
- 尼尔射线色化受到光强度的准确翻译的影响.
- 这项研究引入了扩散模型,NIR色化和VIS-NIR融合之间的新交叉点,用于生态应用.
更多相关视频
11:05Tissue-simulating Phantoms for Assessing Potential Near-infrared Fluorescence Imaging Applications in Breast Cancer Surgery
Published on: September 19, 2014
12.2K
07:05Applying Hyperspectral Reflectance Imaging to Investigate the Palettes and the Techniques of Painters
Published on: June 18, 2021
2.4K
