バイオメディカル関係の抽出のために,ドメイン特有の言語モデルプレトレーニングとインストラクションの微調整はどのくらい重要ですか?

科学分野:

• 生物医学における自然言語処理 (NLP)
• 機械学習
• コンピュータ言語学

背景:

• 一般的なNLPの進歩は,ジェネラティブ・ランゲージ・モデル (LMs),指示の微調整,そして少数のショット・ラーニングなど,バイオメディカル領域にますます適用されています.
• 専門的なトレーニングデータを通じてパフォーマンスを向上させることを目的として,生物医学的なタスクのために領域特有のLMと微調整方法が開発されています.

研究 の 目的:

• 生物医学領域の言語モデルの有効性を一般領域のモデルと比較して,関係抽出のタスクを調査する.
• 生物医学的なNLPタスクのモデルの性能に対する生物医学的な指示の微調整と一般的な指示の微調整の影響を評価する.

主な方法:

• 既存の言語モデルを活用し,一般的および生物医学的なコーポラで予め訓練しました.
• 4つの異なる生物医学関係の抽出データセットでモデルをテストした.
• 一般的なLMとドメイン特有のLMの性能を比較し,さまざまなデータセットに対する命令の微調整の効果を評価した.

主要な成果:

• 一般的なドメインの言語モデルは,関係抽出のタスクにおいて,一貫してバイオメディカルドメインのモデルを上回っています.
• 生物医学指令の微調整により,モデルの性能が大幅に改善され,一般指令の微調整に匹敵する結果が得られました.
• 生物医学的な指示の微調整による性能向上は,一般的な微調整データセットよりもかなり少ない指示を使用したにもかかわらず観察されました.

結論:

• 発見は,生物医学NLPのための一般的なLMの広範な指示の微調整に焦点を当てることよりも,大規模な,ドメイン特有の生物医学LMの開発が効果的ではないことを示唆しています.
• 将来の研究は,リレーション抽出のような下流のタスクのパフォーマンスを高めるために,一般的なLMの微調整を優先すべきです.