MinD-3D++:推进基于fMRI的3D重建,使用高质量的纹理网格生成和全面的数据集

科学领域:

• 认知神经科学 认知神经科学
• 计算机视觉 计算机视觉
• 神经成像是一种神经成像.

背景情况:

• 从功能磁共振成像 (fMRI) 数据中重建3D视觉图像是认知神经科学和计算机视觉中的一个关键挑战.
• 现有的数据集可能缺乏高级3D重建任务所需的多样性和细节.

研究的目的:

• 引入全面的fMRI-3D数据集,结合fMRI-Shape和新的fMRI-Objaverse组件.
• 提出Mind-3D++,一种用于解码和从fMRI信号生成纹理3D视觉信息的框架.
• 建立新的基准来评估从大脑数据的3D重建.

主要方法:

• 该fMRI-3D数据集包括来自15名参与者的fMRI数据,他们查看了包括文字标题在内的117个类别中的4,768个3D对象.
• MinD-3D++框架解码fMRI信号以重建语义,结构和纹理的3D对象表示.
• 开发了新的指标来评估语义,结构和纹理层面的表现,包括分发之外的评估.

主要成果:

• 该Mind-3D ++框架成功地从fMRI数据中重建高语义和空间精度的3D对象.
• 该框架首次展示了从大脑活动中生成详细的3D纹理网格的能力.
• 实验证实了该模型在分布之外的环境中的有效性,并确定了视觉感兴趣区域内的贡献.

结论:

• fMRI-3D数据集和MinD-3D++框架显著推进了从神经成像数据的3D视觉重建领域.
• 这项工作为人类大脑中3D视觉信息处理的神经机制提供了新的见解.
• 开发的方法为未来的脑电脑界面研究和理解视觉认知铺平了道路.