音声解読とアバター制御のための高性能神経義肢
Sean L Metzger1,2,3, Kaylo T Littlejohn1,2,4, Alexander B Silva1,2,3
1Department of Neurological Surgery, University of California, San Francisco, San Francisco, CA, USA.
Nature
|August 23, 2023
まとめ
この研究は脳とコンピュータのインターフェースを開発し 麻痺時のコミュニケーションを 回復させました 音声やアバターアニメーションに 高精度で高速で変換します
科学分野:
- 神経科学
- 生物医学工学
- 人工知能
背景:
- 麻痺した人のコミュニケーションを 回復することは大きな課題です
- 現存する言語神経義肢は 自然的なスピードと表現力が 欠けていることが多いのです
- 手足と声の麻痺は コミュニケーション能力を 大きく制限します
研究 の 目的:
- 高性能でリアルタイムな 音声神経義肢を開発する
- マルチモダルの通信出力 (テキスト,音声,顔のアニメーション) を可能にします.
- 重度の麻痺を患った人の体内コミュニケーションを 回復させるためだ
主な方法:
- 言語皮質からの高密度表面電気皮質撮影 (ECoG) 記録
- ディープラーニングのモデルは 静かなスピーチから得られた ニューラルデータで訓練されます
- テキスト,合成音声,アバターアニメーションの リアルタイムの解読
主要な成果:
- 文字のデコーディング速度は1分78語で 文字の誤差率は25%です
- 負傷前の声と一致する 分かりやすくパーソナライズされた 音声合成を証明した
- スピーチと非スピーチのジェスチャーの顔アニメーションの制御を有効にしました.
- 2週間のトレーニングで高いデコーダー性能を達成しました.
結論:
- マルチモダルスピーチ・ニューロプロステスのアプローチは コミュニケーションの回復に 大きな希望を示しています
- この技術は 重度の麻痺を患っている人たちに 完全な身体的なコミュニケーションを 提供できます
- 迅速なトレーニングと高性能は脳とコンピュータのインターフェースの臨床的有効性を示しています.
関連する概念動画
01:10Higher Mental Functions of the Brain: Language
6.0K
Language is a system of communication that allows the expression of thoughts, ideas, and feelings. The brain processes language in both hemispheres.
Language formation and comprehension take place in the dominant hemisphere. The dominant hemisphere is responsible for understanding the meaning of spoken, written, or sign language, as well as the ability to communicate. For most people, the left hemisphere is the dominant one. The right hemisphere, then, gives tone and emotional context to the...
Language formation and comprehension take place in the dominant hemisphere. The dominant hemisphere is responsible for understanding the meaning of spoken, written, or sign language, as well as the ability to communicate. For most people, the left hemisphere is the dominant one. The right hemisphere, then, gives tone and emotional context to the...
6.0K
01:22Neurons as Communicators of the Brain
5.3K
Neurons, the fundamental units of the brain and nervous system, function as the primary transmitters of information throughout the body. Their ability to communicate through electrical and chemical signals is vital for every bodily function, from regulating the heartbeat to processing complex thoughts. Each neuron has three main components: the cell body (soma), dendrites, and an axon, each specialized to facilitate swift and efficient neural communication.
Cell Body
The cell body, also known...
Cell Body
The cell body, also known...
5.3K
01:24Prosopagnosia
1.3K
Prosopagnosia, also known as face blindness, is the inability to recognize faces. In severe cases, individuals with prosopagnosia may not recognize close family members, including parents and spouses, by their faces. For instance, someone with prosopagnosia might walk past their child in a crowd, only realizing their mistake upon noticing their child's distinctive backpack or favorite jacket. Prosopagnosia specifically impairs facial recognition, while the recognition of other objects or...
1.3K
01:28Automatic Processing and Automatic Social Behavior
377
Automatic processing refers to the cognitive operations that occur without conscious intent or awareness, playing a fundamental role in shaping social cognition and behavior. These processes enable individuals to navigate complex social environments efficiently by relying on mental shortcuts and pre-existing knowledge structures known as schemas. One of the most influential mechanisms underlying automatic processing is priming, which subtly activates mental representations through exposure to...
377