微调大型语言模型使用实体幻觉指数进行文本总结
Praveenkumar K1, Rakesh Chandra Balabantaray2, Kali Prasad Vittala3
1Computer Science Department, International Institute of Information Technology; Global Customer Success, Informatica Business Solutions.
本研究引入了一种新的框架,用于减少抽象总结中的幻觉,使用实体幻觉指数 (EHI) 作为奖励信号. 使用EHI微调大型语言模型 (LLM),可以提高实体忠实性和概括性.
科学领域:
- 自然语言处理自然语言处理.
- 人工智能的人工智能
- 机器学习 机器学习
背景情况:
- 大型语言模型 (LLM) 具有先进的抽象总结.
- 实体级别的幻觉 (引入错误的实体) 仍然是LLM生成总结的一个关键挑战.
- 现有的方法很难确保事实准确性和实体忠实性.
研究的目的:
- 提出一个奖励驱动的微调框架,以减轻实体幻觉在抽象的总结.
- 引入实体幻觉指数 (EHI) 作为指导总结模型微调的指标.
- 增强基于LLM的总结的实际性和稳定性.
主要方法:
- 在像XSUM.UM这样的数据集上使用预先训练的LLM (例如Flan-T5,DistilBART,Mistral) 生成初始摘要.
- 计算了实体幻觉指数 (EHI),通过比较生成的摘要和黄金引用中的命名实体.
- 使用强化学习作为奖励信号,使用REINFORCE风格的更新机制进行微调.
主要成果:
- 用EHI微调的模型显示幻觉率明显较低.
- 摘要的信息性保持不变,没有妥协.
- 以EHI为指导的模型在域外总结任务上表现出更好的概括性,这表明了增强的稳定性.
结论:
- 拟议的EHI引导微调框架有效地减少了实体幻觉在抽象总结.
- 这种方法提供了一种实际的方法来提高LLM生成的摘要的实际性.
- 准确的实体表示对于可靠的抽象总结至关重要.
更多相关视频
05:35Experience is Instrumental in Tuning a Link Between Language and Cognition: Evidence from 6- to 7- Month-Old Infants' Object Categorization
Published on: April 19, 2017
03:14Augmenting Large Language Models via Vector Embeddings to Improve Domain-Specific Responsiveness
Published on: December 6, 2024
相关概念视频
Language
Corballis and Suddendorf (2007) and Tomasello and Rakoczy (2003) highlight the role of language in...
Positive Symptoms Schizophrenia: Hallucinations and Delusions
Hallucinations
Hallucinations in...
Fineness of Cement
Direct...
Fineness Modulus
Consider performing sieve analysis on sand through a set of ASTM sieves. The weight of aggregate retained in each sieve and pan placed at the bottom is recorded, as given in Column B of Table 1.
To determine the fineness modulus of...
Positive Symptoms of Schizophrenia: Hallucinations and Delusions
Thought Disorders
Disorganized and unusual thought processes mark thought disorders in schizophrenia. One key feature is disorganized speech, where an individual's conversation includes...
Components of Language
