ゼロショット関係抽出のためのプロンプト対照学習

科学分野:

• 自然言語処理
• 人工知能
• 機械学習

背景:

• 関係抽出は知識獲得にとって重要ですが、広範なデータ注釈が必要です。
• ゼロショット学習は、モデルが未知の関係を特定できるようにすることで、注釈コストに対処します。
• 現在のゼロショット法は、多様なタスク処方箋に苦労しており、最適ではないパフォーマンスにつながっています。

研究 の 目的:

• 事前学習済み言語モデルからの知識を活用することにより、ゼロショット関係抽出のための新しいアプローチを開発すること。
• 未知の関係に対する関係抽出モデルの意味表現能力を改善すること。
• ゼロショット関係抽出を強化するためのプロンプト対照学習フレームワーク（PCRE）を導入すること。

主な方法:

• プロンプトチューニングを介して事前学習済み言語モデルから意味知識を活用すること。
• 対照学習のためのデュアルビューを作成するために、多様なプロンプトテンプレートでインスタンスを拡張すること。
• テキスト記述から関係知識を抽出するために、インスタンス記述対照目的を実装すること。

主要な成果:

• 提案されたPCRE法は、ゼロショット関係抽出において既存の最先端ベースラインを大幅に上回ります。
• 実験結果は、PCREのロバスト性をさまざまなデータセットとトレーニング構成で実証しています。
• PCREは、モデルが既知の関係と未知の関係を区別する能力を効果的に強化します。

結論:

• PCREは、事前学習済み言語モデルを効果的に利用することにより、ゼロショット関係抽出を改善するための有望な方向性を提供します。
• プロンプト対照学習戦略は意味表現を強化し、新しい関係の特定において優れたパフォーマンスにつながります。
• この方法のロバスト性は、実際の知識抽出タスクにおける広範な適用可能性を示唆しています。