BioTriplex：遺伝子疾患関連抽出タスクにおける言語モデルのファインチューニングのためのフルテキスト注釈付きコーパス

科学分野:

• 生物医学情報学
• 計算生物学
• 自然言語処理

背景:

• 生物医学テキスト分析のための機械学習には、専門用語と意味論的変動のために特殊なモデルが必要です。
• 既存の大規模言語モデル（LLM）は、生物医学文献のニュアンスに対処するのに苦労しています。
• 特に遺伝子疾患関連抽出において、LLMを特定の生物医学アプリケーションにファインチューニングするための注釈付きフルテキストデータセットの必要性が存在します。

研究 の 目的:

• BioTriplexは、フルレングスの生物医学研究論文の新しい注釈付きコーパスを紹介すること。
• 遺伝子疾患関連を抽出するためのファインチューニングされた言語モデルを開発および評価すること。
• 生物医学タスクにおけるLLMのパフォーマンスを向上させるための専門データセットの効果を実証すること。

主な方法:

• 疾患、遺伝子、および遺伝子疾患関連の21のサブタイプで手動で注釈が付けられた100のフルレングス生物医学記事のコーパスであるBioTriplexを開発しました。
• 遺伝子疾患関連抽出のためにLLaMA 3.1 8B言語モデルをファインチューニングするためにBioTriplexを利用しました。
• ファインチューニングされたモデルのパフォーマンスを、同じアーキテクチャ内のゼロショットおよび少数ショットのアプローチと比較し、さらに他の最先端LLM（GPT-4、Claude Sonnet 3.7）と比較しました。

主要な成果:

• BioTriplexでトレーニングされたLLaMA 3.1 8Bモデルは、遺伝子疾患関連抽出において、ベースラインおよび他の高度なLLMを大幅に上回りました。
• ファインチューニングされたモデルは、遺伝子疾患関連タイプの優れた精度と、より広範で詳細な分類を示しました。
• BioTriplexは、生物医学情報抽出におけるLLMの機能を強化するための貴重なリソースであることが証明されました。

結論:

• BioTriplexは、生物医学アプリケーション向けの言語モデルをファインチューニングするための効果的なリソースです。
• 専門データセットは、遺伝子疾患関連抽出のような複雑な科学ドメインにおけるLLMのパフォーマンスを向上させるために不可欠です。
• ファインチューニングされたLLaMA 3.1 8Bモデルは、遺伝子疾患関連の自動抽出における重要な進歩を表しています。