神经网络的感官表现使用声音和颜色用于医疗成像细分医学成像
Irenel Lopo Da Silva1, Nicolas Francisco Lori2,3, José Manuel Ferreira Machado2
1IT Department, Computer Engineering, School of Engineering, University of Minho, 4704-553 Braga, Portugal.
Journal of imaging
|December 24, 2025
概括
这项研究提出了一种使用深度学习可视化和声化大脑成像数据的新方法. 这种感官表现有助于理解医疗,研究和创造性用途的大脑活动.
科学领域:
- 神经成像是一种神经成像.
- 人工智能的人工智能
- 数据可视化 数据可视化
背景情况:
- 解释复杂的大脑成像数据,如结构磁共振成像 (MRI) 是一个挑战.
- 目前的方法缺乏直观的,多感官的方法来实现广泛的可访问性.
研究的目的:
- 开发一种用于神经成像数据的感官表现的新框架.
- 通过视觉和听觉输出来增强大脑活动模式的解释性.
- 探索"听觉生物标志物"用于病理识别的潜力.
主要方法:
- 利用深度学习,特别是U-Net模型,进行MRI数据的高精度细分.
- 将MRI预测转换为彩色编码的视觉地图.
- 从成像功能生成立体声和MIDI声化.
主要成果:
- 已经证明了感官表示管道的技术可行性和稳定性.
- 成功地将空间,强度和异常特征编码成可感知的视觉和听觉线索.
- 启用了对皮层激活模式的直观解释.
结论:
- 多感官方法显著提高了复杂的神经成像数据的解释性.
- 该框架支持临床决策,认知研究和创意应用.
- 未来的工作重点是使用功能性MRI (fMRI) 进行临床验证和动态声化.


