ProtoBERT-LoRA: 免疫療法研究特定のためのパラメータ効率的なプロトタイプファインチューニング

科学分野:

• バイオインフォマティクス;計算生物学;ゲノミクス

背景:

• ゲノムリポジトリにおける免疫チェックポイント阻害剤（ICI）研究の特定は、がん研究にとって不可欠です。課題には、意味の曖昧さ、クラスの不均衡、ラベル付きデータの制限が含まれます。

研究 の 目的:

• ゲノムリポジトリにおけるICI研究を特定するための効率的なフレームワークを開発すること。リソースの少ない設定における既存の方法の限界を克服すること。

主な方法:

• PubMedBERTとプロトタイプネットワークおよび低ランクアダプテーション（LoRA）を組み合わせたハイブリッドフレームワーク、ProtoBERT-LoRA。クラス分離可能な埋め込みを強制しながらドメイン知識を保持するためのエピソードプロトタイプトレーニング。トレーニング、プロトタイピング、検証、テストのために特定の陽性/陰性サンプル分布を持つデータセットを利用しました。

主要な成果:

• ProtoBERT-LoRAは、テストデータセットでF1スコア0.624（精度：0.481、リコール：0.887）を達成しました。ルールベースシステム、機械学習ベースライン、ファインチューニングされたPubMedBERTを上回りました。ラベルなしの研究に適用した場合、手動レビューの労力を82%削減しました。プロトタイプとLoRAを組み合わせることで、スタンドアロンのLoRAと比較してパフォーマンスが29%向上しました。

結論:

• ProtoBERT-LoRAは、大規模なゲノムデータセットにおけるICI研究を特定するための効果的かつ効率的なソリューションを提供します。ハイブリッドアプローチは、既存の方法と比較してパフォーマンスを大幅に向上させます。このフレームワークは、データ分析を合理化することによってがん研究を加速する可能性を秘めています。