テキスト分類のための適応型ブースティングLLM

科学分野:

• 自然言語処理
• 人工知能
• 機械学習

背景:

• 大規模言語モデル（LLM）は、さまざまなNLPタスクで高度な機能を示します。
• LLMの機能の増加は、テキスト分類研究の将来に不確実性をもたらします。
• 特にテキスト分類におけるLLMの有効性は、未解決の問題のままです。

研究 の 目的:

• LLMを使用してテキスト分類がどの程度進歩したかを調査すること。
• 専用のテキスト分類LLMのための新しいフレームワーク、リカレント生成事前学習済みトランスフォーマー（RGPT）を導入すること。

主な方法:

• RGPTは、ベース学習者のシーケンスを作成する適応型ブースティングフレームワークです。
• トレーニングデータの分布を動的に変調し、LLMを反復的にファインチューニングします。
• ベース学習者は、専門化のために履歴予測軌道を使用して段階的に統合されます。

主要な成果:

• RGPTは、8つの最先端の事前学習済み言語モデルと比較して優れたパフォーマンスを示しました。
• 4つのベンチマークデータセット全体で7つの最先端LLMを上回りました。
• 平均2.90%のパフォーマンス向上が達成されました。

結論:

• RGPTは、テキスト分類のための専用LLMにおける重要な進歩を表します。
• 提案されたフレームワークは、テキスト分類精度の向上のためにLLMの可能性を効果的に活用します。
• RGPTは、専門化された言語モデリングにおける将来の研究に有望な方向性を提供します。