同时发生的新闻媒体热点挖矿-文本挖矿方法设计的单词模型

科学领域:

• 自然语言处理自然语言处理.
• 数据挖掘 数据挖掘
• 计算语言学 计算语言学

背景情况:

• 在线媒体的扩散需要先进的方法来识别热门话题.
• 传统的热点挖掘算法缺乏当代新闻分析所需的精度和速度.
• 现有的方法在捕捉新兴新闻趋势时,往往在准确性和及时性方面扎.

研究的目的:

• 为了解决当前新闻媒体热点挖掘技术的局限性.
• 提出一个改进的热点采矿方法,以提高准确性和及时性.
• 为高效的数据处理利用计算框架.

主要方法:

• 开发一种新的共同出现词模型,其中包含单词权重.
• 使用共发生模型和改进的平滑反向频率排名 (SIFRANK) 的热点采矿算法的设计.
• 集成Spark计算框架以优化处理速度.

主要成果:

• 拟议的算法在数据集中识别了大量的新词 (例如,在微博短消息中16871个).
• 关键词的高热量值得到了实现,这表明了有效的主题识别 (例如,高达0.9991).
• 在基准数据集 (例如,Covid19推文和总统选举推文) 上,在准确性,回忆和F1得分方面展示了强大的绩效指标.
• 在实施Spark框架后,运行速度得到了显著改善.

结论:

• 基于共发生词模型的方法提高了新闻媒体热点挖掘的准确性和效率.
• 该方法为实时主题识别和分析提供了实际意义.
• 集成Spark计算为大规模的文本数据处理提供了可扩展的解决方案.