R-GAT: 癌の文書分類は,限られたデータを持つシナリオのためのグラフベースの残留ネットワークを活用しています

科学分野:

• 生物医学における自然言語処理 (NLP)
• がん情報科学 がん情報科学
• 医療のための機械学習

背景:

• 癌関連のバイオメディカル・アブストラクトの正確な分類は,がん情報学と医療研究にとって不可欠です.
• ラベル付きのデータが限られており,トランスフォーマーモデルの高い計算コストが,この分野の進歩を妨げています.

研究 の 目的:

• 癌関連のバイオメディカル・アブストラクトを分類するための計算効率的かつ効果的なモデルを開発する.
• データの要求とコンピューティングリソースの観点から,既存の方法の限界に対処するために.

主な方法:

• マルチヘッドの注意と残留接続を統合した残留グラフ注意ネットワーク (R-GAT) を提案した.
• バイオメディカルテキスト内のセマンティックおよびリレーショナル依存関係をキャプチャしました.
• 甲状腺,結腸,肺,および一般的な癌のトピックをカバーする1,875のPubMed抽象のキュレーションされたデータセットでモデルを評価しました.

主要な成果:

• R-GATは,0.96 ± 0.01のマクロF1スコアを達成し,安定した競争力のあるパフォーマンスを示しました.
• 性能は,トランスフォーマーベースのモデル (BioBERT,BioClinicalBERT) と古典的ベースライン (Logistic Regression) と比較可能でした.
• R-GATには,トランスフォーマーモデルよりもはるかに少ないコンピューティングリソースが必要でした.

結論:

• R-GATのような軽量なグラフベースのアーキテクチャは,バイオメディカルNLPにおける計算密集型トランスフォーマーに対する信頼性があり,リソース効率の高い代替手段です.
• 注意力メカニズムと残留接続は,特に限られたデータでは,モデルの堅牢性にとって不可欠です.
• キュレーションされたデータセットは,再現性とがん情報学のさらなる研究を促進するためにリリースされています.