イベントカメラを備えた低レイテンシー自動車ビジョン
Daniel Gehrig1, Davide Scaramuzza2
1Robotics and Perception Group, University of Zurich, Zurich, Switzerland. dgehrig@ifi.uzh.ch.
Nature
|May 29, 2024
まとめ
この研究では,イベントとRGBカメラを使用してハイブリッドオブジェクト検出器を導入します. このアプローチは,精度を犠牲にすることなく,高度な運転支援システムにおける遅延と帯域幅を大幅に削減します.
科学分野:
- コンピュータ・ビジョン
- ロボット
- センサー融合
背景:
- 現在の高度な運転支援システム (ADAS) はRGBカメラに依存し,帯域幅と遅延のトレードオフに直面しています.
- イベントカメラは高いタイムリー解像度と短縮性を提供し,帯域幅と遅延を減らす.
- 既存のイベントカメラのアルゴリズムは 画像ベースのシステムの精度に匹敵し 効率を犠牲にします
研究 の 目的:
- イベントとフレームベースのカメラを組み合わせたハイブリッドオブジェクト検出システムを開発する.
- 現在のイベントカメラのアルゴリズムにおける 精度・効率のトレードオフを克服するために
- イベントとRGBカメラの両方の強みを活用して,ADASの知覚を改善します.
主な方法:
- イベントとRGBカメラデータを統合したハイブリッドオブジェクト検出器を提案しました.
- イベントデータの高時間解像度と希少性を利用した.
- 標準的な画像から 豊かな低解像度情報を利用しました
主要な成果:
- 感知と計算の遅延を減らして 高速のオブジェクト検出を達成しました.
- 20fpsのRGBカメラとイベントカメラが 5,000fpsのカメラのレイテンシーと一致することを実証しました
- 帯域幅 (45fps) がかなり低い高フレームレートシステムに匹敵する精度を維持した.
結論:
- ハイブリッドアプローチは イベントとフレームベースのビジョンの利点を効果的に組み合わせています.
- この方法はADASでの知覚のための効率的で堅固な解決策を提供します.
- リアルタイムで 高性能な運転支援の 可能性を解き放ちます
関連する概念動画
Vision
48.6K
Vision is the result of light being detected and transduced into neural signals by the retina of the eye. This information is then further analyzed and interpreted by the brain. First, light enters the front of the eye and is focused by the cornea and lens onto the retina—a thin sheet of neural tissue lining the back of the eye. Because of refraction through the convex lens of the eye, images are projected onto the retina upside-down and reversed.
48.6K
Light Acquisition
8.0K
In order to produce glucose, plants need to capture sufficient light energy. Many modern plants have evolved leaves specialized for light acquisition. Leaves can be only millimeters in width or tens of meters wide, depending on the environment. Due to competition for sunlight, evolution has driven the evolution of increasingly larger leaves and taller plants, to avoid shading by their neighbors with contaminant elaboration of root architecture and mechanisms to transport water and nutrients.
8.0K
Torque
18.5K
Torque is an important quantity for describing the dynamics of a rotating rigid body. We see the application of torque in many ways in the world, such as when pressing the accelerator in a car, which causes the engine to apply additional torque on the drivetrain. Here, we define torque and provide a framework to create an equation to calculate torque for a rigid body with fixed-axis rotation.
Torque can be considered as the rotational counterpart to force. Since forces change the translational...
Torque can be considered as the rotational counterpart to force. Since forces change the translational...
18.5K
Depth Perception and Spatial Vision
2.7K
Depth perception is the ability to perceive objects three-dimensionally. It relies on two types of cues: binocular and monocular. Binocular cues depend on the combination of images from both eyes and how the eyes work together. Since the eyes are in slightly different positions, each eye captures a slightly different image. This disparity between images, known as binocular disparity, helps the brain interpret depth. When the brain compares these images, it determines the distance to an object.
2.7K


