通过解码策略的镜进行抽象的总结
Giacomo Frisoni1, Luca Ragazzi1, David Cohen1
1University of Bologna, Department of Computer Science and Engineering, Via dell'Università, 50, Cesena, 47522, Emilia-Romagna, Italy.
为抽象总结 (AS) 优化解码策略显著提高了性能. 这项研究为选择各种AS任务和指标的有效技术提供了关键指导,提高了自然语言生成质量.
科学领域:
- 自然语言处理自然语言处理.
- 人工智能的人工智能
- 机器学习 机器学习
背景情况:
- 基于变压器的语言模型 (LMs) 加快了自然语言生成 (NLG),特别是在抽象总结 (AS) 中.
- 对于摘要质量至关重要的解码策略,尽管有许多启发式和超参数,但经常被忽视.
- 缺乏指导来选择基于特定任务和指标的最佳解码技术.
研究的目的:
- 为抽象总结进行解码时间技术进行全面的比较评估.
- 提供指导,以提供有关AS的解码策略的知情决策.
- 在不同的AS任务和LM架构中评估各种解码选项的有效性和效率.
主要方法:
- 在6个数据集中探索了超过3,500种解码设置组合,包括大规模自动回归和仅解码器LM.
- 对短文件,长文件和多文件AS的解码策略进行了比较评估.
- 使用十个自动指标 (语义相似性,事实性,压缩,冗余性,碳足迹) 和人类评估量化衡量性能.
主要成果:
- 优化解码选择导致抽象总结性能大幅提高.
- 在不同的解码策略和任务中观察到有效性和效率的显著差异.
- 该研究确定了影响摘要质量和资源利用的关键解码参数.
结论:
- 有效的解码策略选择对于最大化抽象总结模型的性能至关重要.
- 这些发现为NLG的研究人员和从业人员提供了宝贵的见解.
- 介绍了Prism,一个新的数据集,以促进AS的解码选项的可微分优化.
更多相关视频
05:22Dissociation of the Confounding Influences of Expectancy and Integrative Difficulty Residing in Anomalous Sentences in Event-related Potential Studies
Published on: May 9, 2019
12:49Transcranial Direct Current Stimulation tDCS of Wernicke's and Broca's Areas in Studies of Language Learning and Word Acquisition
Published on: July 13, 2019
相关概念视频
Encoding
Automatic processing involves the encoding of details like time, space, frequency, and the meaning of words, usually done without conscious...
Techniques of Therapeutic Communication II: Focusing, Paraphrasing, and Summarizing
This therapeutic technique can also be used when a patient brings up pertinent information during a health-related conversation. The...
Downsampling
The Fourier transform of the decimated sequence reveals a combination of scaled and shifted versions of the original spectrum. This...
Chunking and Rehearsal in Sensory Memory
Chunking
The principle behind chunking...
Elaborative Rehearsals
The effectiveness of...
