大型语言模型可以提取人类神经成像出版物的元数据
Matthew D Turner1, Abhishek Appaji2, Nibras Ar Rakib3
1Department of Psychiatry, The Ohio State University, Columbus, OH, United States.
Frontiers in neuroinformatics
|September 5, 2025
概括
最近的大型语言模型 (LLM) 能够有效地提取神经成像元数据. 在注释任务中,GPT-4o表现出与人类可比的性能,对于大规模数据处理非常有用.
科学领域:
- 神经成像
- 人工智能
- 数据科学
背景情况:
- 超级数据提取和注释对于组织和分析大型神经成像数据集至关重要.
- 手动注释需要时间和专业知识.
- 大型语言模型 (LLM) 的最新进展为自动化这些任务提供了潜力.
研究的目的:
- 评估最近商业大型语言模型 (LLM) 在神经影像中进行元数据提取和注释的能力.
- 将LLM与人类注释员在现实世界注释任务中的性能进行比较.
- 评估LLM用于大规模元数据注释的可用性.
主要方法:
- 研究了OpenAI的GPT-4o模型,用于神经成像元数据注释任务.
- 没有反的零射击提示用于LLM评估.
- 与黄金标准的人类注释进行比较.
- 分析了LLM和人类注释之间的分歧.
主要成果:
- GPT-4o实现了与训练有素的人类注释器相比的高性能 (0.91-0.97).
- 发现LLM错误的性质和频率与人类错误相似.
- 在LLM和人类注释之间存在的分歧往往不是真正的错误.
- 在尺度上的元数据注释中,LLM的性能被认为是可用的.
结论:
- 像GPT-4o这样的商业LLM能够在神经成像中进行高质量的元数据提取和注释.
- 提供一个可扩展和高效的替代手动注释, 需要最小的调查员的努力.
- 鼓励开发专门的微基准来进一步评估注释任务中的LLM和代理系统.


