大規模な言語モデルは,人間の神経画像出版物の注釈のためのメタデータを抽出できます
Matthew D Turner1, Abhishek Appaji2, Nibras Ar Rakib3
1Department of Psychiatry, The Ohio State University, Columbus, OH, United States.
Frontiers in neuroinformatics
|September 5, 2025
まとめ
最近の大型言語モデル (LLM) は,最小限の努力で神経イメージングメタデータを効果的に抽出します. GPT-4oは,アノテーションタスクで人間に匹敵する性能を示し,大規模なデータ処理に有用であることが証明されました.
科学分野:
- 神経イメージング
- 人工知能
- データサイエンス
背景:
- メタデータ抽出とアノテーションは,大規模な神経画像データセットの整理と分析に不可欠です.
- 手動のアノテーションは時間がかかり,専門的な専門知識が必要です.
- 大型言語モデル (LLM) の最近の進歩は,このようなタスクを自動化する可能性を秘めています.
研究 の 目的:
- ニューロイメージングにおけるメタデータ抽出とアノテーションのための最近の商用大型言語モデル (LLM) の能力を評価する.
- リアルなアノテーションタスクにおけるLLMと人間のアノテーションタスクのパフォーマンスを比較する.
- 大規模なメタデータアノテーションのためのLLMの可用性を評価する.
主な方法:
- OpenAIのGPT-4oモデルを研究した.
- LLM評価のためのフィードバックなしでゼロショットプロンプトを使用しました.
- LLMのパフォーマンスと人間のアノテーションの比較
- LLMと人間の注釈の間の不一致を分析しました.
主要な成果:
- GPT-4oは,訓練されたヒトアノタータと比べて高い性能 (0. 91-0. 97) を達成した.
- LLMのエラーは,性質と頻度が人間のエラーに似ていることが判明しました.
- LLMと人間の注釈の間の不一致は,しばしば真のエラーではありませんでした.
- LLMのパフォーマンスは,メタデータのアノテーションに適していると考えられます.
結論:
- GPT-4oのような商用LLMは,神経イメージングで高品質のメタデータ抽出とアノテーションを行うことができます.
- LLMは手動の注釈に適したスケーラブルで効率的な代替手段であり,調査者の努力を最小限に抑えることができます.
- 専門的なマイクロベンチマークの開発は,アノテーションのタスクにおけるLLMとエージェントシステムのさらなる評価のために奨励されます.
