Video Experimental Relacionado

Updated: Sep 9, 2025

A Tactile Automated Passive-Finger Stimulator TAPS

A Tactile Automated Passive-Finger Stimulator TAPS

Published on: June 3, 2009

MapIO: una interfaz gestual y conversacional para mapas táctiles

Matteo Manzoni¹, Sergio Mascetti¹, Dragan Ahmetovic¹

¹Department of Computer Science, Università degli Studi di Milano, 2133 Milan, Italy.

IEEE access : practical innovations, open solutions

|September 2, 2025

Resumen

Este estudio introduce la IA conversacional para mejorar los mapas táctiles para las personas con discapacidad visual, permitiendo respuestas de audio interactivas a las preguntas del usuario sobre el contenido del mapa.

Área de la Ciencia:

Interacción hombre-computadora
Tecnología de ayuda
Inteligencia artificial

Sus antecedentes:

Los mapas táctiles ofrecen información espacial para los ciegos y las personas con discapacidad visual, pero tienen limitaciones de datos.
Los mapas táctiles aumentados digitalmente usan retroalimentación de audio para mejorar la información táctil.
Los sistemas existentes carecen de capacidades dinámicas de preguntas y respuestas para la exploración táctil de mapas.

Objetivo del estudio:

Explorar un paradigma de interacción incorporado que mejore los mapas táctiles con grandes modelos de lenguaje (LLM).
Permitir a los usuarios hacer preguntas arbitrarias y recibir respuestas de audio sobre el contenido del mapa.
Evaluar la usabilidad y la experiencia del usuario de este nuevo sistema.

Principales métodos:

Desarrolló un sistema de integración de LLM para la interacción conversacional con mapas táctiles.
El LLM de ingeniería proporciona respuestas fiables y relevantes.
Se realizó un estudio de usuario con 10 participantes para evaluar la interacción, la usabilidad y la experiencia del usuario.

Principales resultados:

Los usuarios pueden hacer diversas preguntas sobre los elementos del mapa táctil.
El sistema impulsado por LLM proporciona retroalimentación de audio relevante.
La evaluación inicial indica un potencial para mejorar la comprensión espacial y la participación de los usuarios.

Conclusiones:

El aumento conversacional de la IA ofrece una nueva forma prometedora de interactuar con mapas táctiles.
Este enfoque mejora la accesibilidad y la recuperación de información para los usuarios con discapacidad visual.
La investigación adicional puede refinar la integración de LLM para interacciones de mapas más ricas e intuitivas.

Palabras clave:

Tecnologías de apoyo personas ciegas y con baja visión interfaz de conversación mapas táctiles aumentados digitalmente mapas táctiles

Más Videos Relacionados

Estimation of Contact Regions Between Hands and Objects During Human Multi-Digit Grasping

Estimation of Contact Regions Between Hands and Objects During Human Multi-Digit Grasping

Published on: April 21, 2023

Applying Incongruent Visual-Tactile Stimuli during Object Transfer with Vibro-Tactile Feedback

Applying Incongruent Visual-Tactile Stimuli during Object Transfer with Vibro-Tactile Feedback

Published on: May 23, 2019

Videos de Conceptos Relacionados

Design Example: Resistive Touchscreen

Design Example: Resistive Touchscreen

A device engineer plays a crucial role in designing user interfaces for mobile devices. One such interface is the resistive touchscreen, which fundamentally consists of two metallic layers: a flexible upper layer and a rigid lower layer, separated by a narrow gap. The high resistance between these two layers is a key characteristic of this design.
When a user touches the screen, the two layers make contact at a specific point known as the touchpoint. This contact reduces the resistance between...

Tactile and Chemical Senses

Tactile and Chemical Senses

Tactile senses encompass touch, temperature, and pain, each mediated by specific receptors. Touch receptors detect mechanical energy or pressure against the skin. Sensory fibers from these receptors enter the spinal cord and relay information to the brain stem. Here, most fibers cross over to the opposite side of the brain. The touch information then moves to the thalamus, which projects a map of the body's surface onto the somatosensory areas of the parietal lobes in the cerebral cortex.

Responses to Gravity and Touch

Responses to Gravity and Touch

Gravitropism: Plant Responses to Gravity

Sensory Modalities

Sensory Modalities

Sensation typically is the process by which the sensory receptors and sense organs detect stimuli from the internal and external environment and transmit this information to the central nervous system for processing.
General senses refer to the broad category of sensory information detected by receptors in the body and can be further grouped into somatic and visceral senses. Somatic sensations include touch, pressure, temperature, and pain and are essential for navigating our environment and...

Somatosensation

Somatosensation

The somatosensory system relays sensory information from the skin, mucous membranes, limbs, and joints. Somatosensation is more familiarly known as the sense of touch. A typical somatosensory pathway includes three types of long neurons: primary, secondary, and tertiary. Primary neurons have cell bodies located near the spinal cord in groups of neurons called dorsal root ganglia. The sensory neurons of ganglia innervate designated areas of skin called dermatomes.