GaMMAコーパスは,デンマークのポリヤディック会話と,静寂とノイズの中で,視線のスピーチとモーションデータのコーパスを集めたものです
Mark Dourado1,2, Henrik Gert Hassager3, Jesper Udesen4
1GN Advanced Science, Ballerup, Denmark. markacedourado@hotmail.com.
Scientific data
|February 20, 2026
まとめ
GaMMAコーパスは,通常の環境や騒音の少ない環境で,複数人のデンマーク語の会話を記録し,視線,運動,音声データを記録します. このデータセットは,人間の自然な相互作用のダイナミクスと音声処理に関する研究を支援しています.
科学分野:
- オーディオロジー オーディオロジー
- 人とコンピュータの相互作用です.
- 言語学 言語学とは
背景:
- 自然な会話,特に騒々しい環境での会話を理解することは,高度な通信技術の開発に不可欠です.
- 既存のコーポラには,同期されたマルチモダルのデータがないことが多く,集団の相互作用の複雑なダイナミクスの研究を制限しています.
- コクテルパーティ効果は,スピーチの知覚とソース分離に重大な課題をもたらします.
研究 の 目的:
- Gaze, Motion, and Multi-talker Audio (GaMMA) コルパスを導入し,ポリヤド会話の研究のための新しいデータセットを導入する.
- 自然なデンマークの相互作用から,研究者に包括的で同期されたマルチモダルデータ (凝視,運動,音声) を提供する.
- 言語知覚,音源分離,および複雑な音響および社会的環境における人間の行動に関する研究を促進する.
主な方法:
- デンマーク語を母語として話す4人の11グループを,タスクベースの会話ではなく,自発的な会話で録音しました.
- 光学トラッキングとアイトラッキングメガネを使用して,同期した視線と運動データを収集しました.
- ヘッドウェアおよび補聴器のマイクで取得されたオーディオデータ,ノイズ減弱とクロストーク除去による処理された信号を含む.
主要な成果:
- GaMMAコーパスは,キャリブレーションと処理の詳細とともに,生と処理された視線とオーディオデータを含んでいます.
- すべての参加者のスピーチ活動は,処理されたオーディオ信号から計算されました.
- コルパスは,研究目的で一般に公開されています.
結論:
- GaMMAコーパスは,マルチトーカーコミュニケーションにおける視覚的ヒント,頭の動き,音声の相互作用を調査するためのユニークなリソースを提供します.
- このデータセットは,補聴器アルゴリズム,自動音声認識,社会的信号処理などの分野での進歩をサポートしています.
- コルパスの利用可能性は,困難な聴覚条件下における人間の相互作用の複雑さに関するさらなる研究を奨励しています.
関連する概念動画
01:27Language and Cognition
848
Language serves as a bridge between ideas and communication, influencing how individuals perceive and interact with the world. Psychologists have long debated whether language shapes thought or vice versa. This discussion gained grip with Edward Sapir and Benjamin Lee Whorf in the 1940s, who proposed that language determines thought, a concept known as linguistic determinism. They suggested that the vocabulary and structure of a language influence how its speakers think and perceive reality.
848
01:28Channels of Non-Verbal Communication
496
Non-verbal communication plays a critical role in human interaction, influencing how individuals perceive emotions and psychological states. It operates through four primary channels: facial expressions, eye contact, body language, and touch. These non-verbal cues help convey meaning beyond spoken language and are often culturally influenced.Facial Expressions and Emotional RecognitionFacial expressions are among the most powerful and universal forms of non-verbal communication. Research has...
496
01:28Automatic Processing and Automatic Social Behavior
279
Automatic processing refers to the cognitive operations that occur without conscious intent or awareness, playing a fundamental role in shaping social cognition and behavior. These processes enable individuals to navigate complex social environments efficiently by relying on mental shortcuts and pre-existing knowledge structures known as schemas. One of the most influential mechanisms underlying automatic processing is priming, which subtly activates mental representations through exposure to...
279
01:01Perception of Sound Waves
5.8K
The human ear is not equally sensitive to all frequencies in the audible range. It may perceive sound waves with the same pressure but different frequencies as having different loudness. Moreover, the perception of sound waves depends on the health of an individual's ears, which decays with age. The health of one's ears may also be affected by regular exposure to loud noises.
The pitch of a sound depends on the frequency and the pressure amplitude of the source. Two sounds of the same...
The pitch of a sound depends on the frequency and the pressure amplitude of the source. Two sounds of the same...
5.8K
02:16Light Acquisition
9.7K
In order to produce glucose, plants need to capture sufficient light energy. Many modern plants have evolved leaves specialized for light acquisition. Leaves can be only millimeters in width or tens of meters wide, depending on the environment. Due to competition for sunlight, evolution has driven the evolution of increasingly larger leaves and taller plants, to avoid shading by their neighbors with contaminant elaboration of root architecture and mechanisms to transport water and nutrients.
9.7K
01:21Perceiving Loudness, Pitch, and Location
1.1K
The human brain perceives pitch through two primary mechanisms reflected in place theory and frequency theory. Each mechanism describes how sound waves are interpreted as specific pitches by the brain, offering insights into the intricate processes of auditory perception.
Place theory, or place coding, suggests that different pitches are heard because various sound waves activate specific locations along the cochlea's basilar membrane. The brain determines the pitch of a sound by...
Place theory, or place coding, suggests that different pitches are heard because various sound waves activate specific locations along the cochlea's basilar membrane. The brain determines the pitch of a sound by...
1.1K