人間の頭蓋内電気皮質撮影信号からの高解像度の視覚的知覚画像の再構築
Yongjie Deng1,2, Xiaolong Wu2, Xin Gao2
1Zhongshan School of Medicine, Sun Yat-sen University, Guangzhou, People's Republic of China.
Journal of neural engineering
|August 28, 2025
まとめ
研究者は新しいパイプラインを使用して,ヒトの電気皮質撮影 (ECoG) 信号から認識された画像を再構築しました. この無監督アプローチは 既存の方法を上回り 脳とコンピュータのインタフェースと 視覚的知覚の理解のための 新しい枠組みを提供します
科学分野:
- 神経科学
- コンピュータ・ビジョン
- 機械学習
背景:
- 脳の信号から視覚的知覚を再構築することは 成長する研究分野です
- エレクトロコルチコグラフィー (ECoG) は,この目的のために高解像度の脳内信号を提供します.
- これまでの研究では,人間のECoG信号から直接認識された画像を再構築することはありませんでした.
研究 の 目的:
- 人間のECoG信号から認識された画像を再構築するための新しいパイプラインを開発する.
- 最先端の技術と比較して,提案されたメソッドの性能を評価する.
- 視覚を再構築するための 脳信号の解読における 無監督学習の可能性を 探求すること
主な方法:
- タライラック座標アライメントマスクされたオートエンコーダー (TA-MAE) とデノイジング拡散確率モデルを統合した新しいパイプラインを開発した.
- 高解像度画像の復元のために人間のECoG信号の時空ダイナミクスを利用した.
- レーベルによる学習とは対照的に,シグナル再構築のための無監督学習を使用した.
主要な成果:
- 提案された方法は,画像の外観,構造,シグナルノイズ比,意味論的な一貫性において,現在の最先端のアプローチを大幅に上回ります.
- 無監督学習による再構築は 監督された方法と比較して 低次元脳信号表現を効果的に捉えます
- この発見は 視覚の内在的なメカニズムを 探求するための 無監督の解読の利点を示唆しています
結論:
- 開発されたパイプラインは,人間のECoGベースの視覚再構築のための一般化可能な枠組みを提供します.
- 監視されない解読は 優れた性能と脳信号分析の可能性を 示しています
- この研究は,人間のECoG信号から認識された画像の再構築を先駆けてきました.
関連する概念動画
The Retina
The retina is a layer of nervous tissue at the back of the eye that transduces light into neural signals. This process, called phototransduction, is carried out by rod and cone photoreceptor cells in the back of the retina.
Vision
Vision is the result of light being detected and transduced into neural signals by the retina of the eye. This information is then further analyzed and interpreted by the brain. First, light enters the front of the eye and is focused by the cornea and lens onto the retina—a thin sheet of neural tissue lining the back of the eye. Because of refraction through the convex lens of the eye, images are projected onto the retina upside-down and reversed.
Anatomy of the Eyeball
The eye is a spherical, hollow structure composed of three tissue layers. The outer layer — the fibrous tunic, comprises the sclera — a white structure — and the cornea, which is transparent. The sclera encompasses some of the ocular surface, most of which is not visible. However, the 'white of the eye' is distinctively visible in humans compared to other species. The cornea, a clear covering at the front of the eye, enables light penetration. The eye's middle layer, the vascular tunic,...
Visual System
Light enters the eye through the cornea, a transparent, dome-shaped surface covering the surface of the eyeball that helps to direct and focus incoming light. This light is then channeled toward the pupil, an adjustable opening whose size is controlled by the iris. The iris, a pigmented muscle, regulates the amount of light entering the eye by contracting or dilating the pupil, thereby ensuring optimal light levels for clear vision.
Once through the pupil, the light passes through the lens, a...
Once through the pupil, the light passes through the lens, a...
Parallel Processing
The brain processes sensory information rapidly due to parallel processing, which involves sending data across multiple neural pathways at the same time. This method allows the brain to manage various sensory qualities, such as shapes, colors, movements, and locations, all concurrently. For instance, when observing a forest landscape, the brain simultaneously processes the movement of leaves, the shapes of trees, the depth between them, and the various shades of green. This enables a quick and...


