大規模言語モデル時代の感情アノテーションの再考

科学分野:

• 感情コンピューティング
• 自然言語処理
• ヒューマンコンピュータインタラクション

背景:

• 感情コンピューティングシステムには、トレーニングと評価のために広範な人間によってアノテーションされた感情データセットが必要である。
• 人間のアノテーションはコストがかかり、主観的であり、品質管理が困難である。
• 大規模言語モデル（LLM）は、自然言語理解タスクで高いパフォーマンスを示しており、自動アノテーションの可能性を示唆している。

研究 の 目的:

• LLM、特にGPT-4を使用した感情アノテーションの複雑さを分析すること。
• 人間のアノテーターと比較して、感情認識におけるGPT-4のパフォーマンスを評価すること。
• 効率と質を向上させるために、感情アノテーションパイプラインにGPT-4を統合する方法を模索すること。

主な方法:

• 感情アノテーションのためにGPT-4を使用した実験を実施した。
• GPT-4のアノテーションと人間のラベルを比較するために、人間の評価研究を実施した。
• 感情アノテーションワークフローにおけるLLMの統合戦略を2つ調査した。

主要な成果:

• GPT-4は人間の評価で高い評価を得て、人間ラベルのみが正解であった以前のベンチマークを上回った。
• 人間とGPT-4の感情認識の認識の違いが観察され、人間の監視の必要性が強調された。
• GPT-4が低品質ラベルを特定し、人間のアノテーターの作業負荷を軽減し、下流モデルのパフォーマンスを向上させる可能性が示された。

結論:

• LLM、特にGPT-4は、人間のアノテーターの感情ラベリングタスクを大幅に支援できる。
• LLMの機能と人間の判断を組み合わせたハイブリッドアプローチは、将来の感情アノテーションの実践にとって有望な方向性を提供する。
• この調査結果は、感情コンピューティングにおける効率と精度を向上させるためにLLMを活用した、感情ラベリングの新しい方法を示唆している。