Prueba de concepto para el control del escáner de resonancia magnética basado en la voz utilizando grandes modelos de...

Área de la Ciencia:

• Imágenes médicas
• Inteligencia artificial

Sus antecedentes:

• Las intervenciones clínicas guiadas por resonancia magnética a menudo requieren asistentes dedicados para el control del escáner debido a las limitaciones del equipo.
• El control en tiempo real de los escáneres de resonancia magnética es crucial pero desafiante en entornos de intervención.

Objetivo del estudio:

• Desarrollar y evaluar un sistema de interacción basado en la voz para el control de escáneres de resonancia magnética con manos libres.
• Aprovechar los grandes modelos de lenguaje (LLM) para la ejecución de comandos de lenguaje natural en la resonancia magnética intervencionista.

Principales métodos:

• Se desarrolló un sistema LLM multi-agente para controlar las funcionalidades del escáner de resonancia magnética.
• El sistema fue probado en una sala de resonancia magnética real para 18 tareas predefinidas, totalizando 90 ensayos con manos libres.

Principales resultados:

• El sistema basado en la voz logró una tasa de finalización de tareas del 93,3% en pruebas de manos libres.
• Los tiempos de respuesta al comando oscilaron entre 5 y 10,5 segundos en una computadora portátil de consumo sin soporte de GPU.

Conclusiones:

• Los LLM pueden viabilizar la interacción basada en la voz con los escáneres de resonancia magnética durante las intervenciones.
• Este sistema ofrece una solución potencial para reducir la dependencia de los asistentes humanos y mejorar la comunicación durante los procedimientos.