生物医学における命名されたエンティティの認識のための大規模な言語モデルのリソース効率的なインストラクションチューニング
Hui Liu1, Ziyi Chen2, Peilin Li3
1School of Biomedical Engineering, Division of Life Sciences and Medicine, University of Science and Technology of China, No. 96, JinZhai Road Baohe District, Hefei, 230026, Anhui, China; Suzhou Institute for Advanced Research, University of Science and Technology of China, No. 166, Renai Road, Suzhou, 215123, Jiangsu, China; Department of Precision Machinery and Precision Instruments, University of Science and Technology of China, No. 96, JinZhai Road Baohe District, Hefei, 230026, Anhui, China.
パラメータ効率的な微調整 (PEFT) は,より少ないリソースで生物医学名付けられたエンティティ認識 (BioNER) のための大規模な言語モデル (LLM) を最適化します. 結果として得られたNERLlama3.1モデルは,完全に微調整されたモデルよりも高い性能と強力な汎用性を得ています.
科学分野:
- 生物医学における自然言語処理
- 人工知能
- コンピュータ言語学
背景:
- 大型言語モデル (LLM) は,バイオメディカル名付けられたエンティティ認識 (BioNER) の見込みを示しています.
- BioNERのLLMを微調整するには,かなりの計算リソースが必要で,アクセシビリティを制限します.
- パラメータ効率の良い調整 (PEFT) は,リソースが限られた環境のための解決策を提供します.
研究 の 目的:
- 限られた計算条件下でBioNERのLLMを最適化するためのPEFT技術を調査する.
- 競争力のあるモデル性能とドメイン内の一般化能力を維持する.
- 精密調整されたLLMのBioNERのマルチタスク能力を探求する.
主な方法:
- BioNERのLlama3.1モデルを微調整するために,PEFTの方法であるQLoRAを使用し,NERLlama3.1を作成しました.
- 既存のBioNERデータセット (NCBI-disease,BC5CDR-chem,BC2GM-gene) を使用してLLM命令チューニングデータセットを開発しました.
- 精密調整されたLlama3.1-8Bは,単一の16GBGPUで,推論中に自己一致性NERプロンプト (SCNP) を組み込みました.
主要な成果:
- NERLlama3.1は高いF1スコアを達成しました: 0.8977 (NCBI-病),0.9402 (BC5CDR-化学),0.8530 (BC2GM-遺伝子).
- 目に見えないデータセットで強い一般化を示した (例えば,NLM遺伝子で0.8378).
- 完全に微調整されたLLMとBERTベースの BioNERタスクを上回り,ドメイン内の一般化が優れています.
結論:
- NERLlama3.1は,PEFTを使用して,計算要件を大幅に削減して,高いBioNER性能を達成しました.
- このモデルは,従来の事前に訓練されたモデルと比較して,ドメイン内の一般化が優れている.
- 低資源需要,高性能,強力な汎用性により,NERLlama3.1は多様な臨床BioNERアプリケーションに適しています.
関連する概念動画
Improving Translational Accuracy
Mechanistic Models: Compartment Models in Algorithms for Numerical Problem Solving
In individual population analyses, different algorithms are employed, such as Cauchy's method, which uses a...
Leaky Scanning
Genetic Lingo
Nonsense-mediated mRNA Decay
Usually, Upf3 binds to an Exon Junction Complex (EJC) at mRNA splice sites. If a ribosome fully translates the mRNA,...


