使用大型语言模型对眼科科学文章进行自动化类别和趋势分析:开发和可用性研究
Hina Raja1, Asim Munawar2, Nikolaos Mylonas3
1Department of Ophthalmology, University of Tennessee Health Science Center, Memphis, TN, United States.
JMIR formative research
|March 22, 2024
概括
本研究引入了一种自动化方法,用于使用大语言模型 (LLM) 进行眼科研究的分类. 开发的系统实现了高精度,提高了科学文献审查和趋势分析的效率.
科学领域:
- 眼科医生 眼科 眼科
- 人工智能的人工智能
- 自然语言处理自然语言处理.
背景情况:
- 自动化文章分类对于管理科学文献至关重要.
- 大型语言模型 (LLM) 为文本分析提供了先进的功能.
研究的目的:
- 评估各种LLM对科学眼科论文分类的有效性.
- 为了评估LLM在眼睛疾病文章的精心策划的数据集上的表现.
主要方法:
- 开发了一个NLP模型,利用零射击学习LLMs.
- 将双向和自动回归变压器 (BART) 变体与BERT变体 (蒸BERT,SciBERT,PubmedBERT,BioBERT) 的比较.
- 用了1000篇注释眼病文章的数据集 (RenD数据集) 来进行评估.
主要成果:
- 实际上,LLMs能够高精度地对眼科论文进行有效的分类.
- 在Rend数据集上获得了0.86的平均准确度和0.85的平均F1得分.
- 通过减少人类干预来证明效率的提高.
结论:
- 拟议的LLM框架显著提高了科学文章分类的准确性和效率.
- 促进知识组织,检索和眼科趋势分析.
- 该模型的可扩展性为跨多个科学领域的研究提供了广泛的应用.


