通过基于范德瓦尔斯异构结构的可编程光电子传感器进行传感器内压缩,用于智能机器视觉
Haoxin Huang1, Shuhui Shi2,3, Jiajia Zha1
1Department of Electrical Engineering, City University of Hong Kong, Hong Kong SAR, China.
Nature communications
|April 23, 2025
概括
本研究介绍了一种新的二维 (2D) 光电子传感器,用于智能机器视觉中的传感器内数据压缩. 传感器实现了动态视频和光谱数据的8:1压缩比,从而实现了高效的边缘计算.
科学领域:
- 光电学是指光电子产品.
- 材料科学 材料科学 材料科学
- 计算机视觉 计算机视觉
背景情况:
- 智能机器视觉需要有效捕获多维信号.
- 传感器内计算提供了减少的数据传输,但有限的时间/光谱数据压缩.
- 现有的方法难以有效压缩复杂的视觉数据.
研究的目的:
- 为了展示可编程的基于二维异构的光电子传感器,用于传感器内数据压缩.
- 在一个单一的设备中集成传感,内存和计算.
- 为了评估传感器在压缩动态视频和光谱数据方面的性能.
主要方法:
- 基于异构结构的可编程二维 (2D) 光电子传感器的开发.
- 传感,记忆和计算功能的整合.
- 动态视频和3D光谱数据的设备内快照压缩.
- 使用峰值信号与噪声比率 (PSNR) 评估重建质量.
- 使用传感器内卷积压缩视频数据的分类.
主要成果:
- 实现了动态视频和3D光谱数据的8:1压缩比.
- 证明了与软件方法 (16.21 dB) 相比的可比重建质量 (15.81 dB).
- 在压缩视频中保存语义信息,以便准确分类.
- 通过传感器内卷积实现了压缩视频的高分类准确性 (93.18%).
结论:
- 开发的2D光电子传感器可实现高效的设备内数据压缩.
- 这项技术支持基于边缘的智能视觉系统的开发.
- 传感器的功能提升了光谱和时间视觉信息的高效处理.


