一个可扩展的基于MapReduce的无监督实体解决方案系统的可扩展设计.
Nicholas Kofi Akortia Hagan1, John R Talburt1, Kris E Anderson1
1Department of Information Sciences, University of Arkansas at Little Rock, Little Rock, AR, United States.
本研究介绍了Hadoop数据清洗机 (HDWM),一个可扩展的,无监督实体解决方案 (ER) 系统. HDWM克服了以前的局限性,使数以百万计的记录在分布式计算节点上的高效集群成为可能.
科学领域:
- 数据科学数据科学数据科学
- 计算机科学 计算机科学
- 信息管理 信息管理
背景情况:
- 传统的数据策划严重依赖于手动干预,这阻碍了随着数据量增加的效率.
- 实体分辨率 (ER) 对于数据策划至关重要,但由于计算复杂性和单线程限制,扩展现有的无监督ER系统,如数据洗衣机 (DWM),具有挑战性.
- 当前的DWM实现缺乏超过几千条记录的可扩展性,并且需要大量的共享内存,限制了它们的实际应用.
研究的目的:
- 解决现有的无监督数据清洗机 (DWM) 的可扩展性和共享内存限制,以解决实体问题.
- 使用Hadoop MapReduce开发DWM的并行版本,以高效地处理大型数据集.
- 为了证明拟议的Hadoop数据清洗机 (HDWM) 在集群大量记录中的有效性.
主要方法:
- 使用Hadoop MapReduce对无监督实体解决方案 (ER) 过程进行并行处理.
- 实现Hadoop数据清洗机 (HDWM) 作为基于MapReduce的系统.
- 使用公开可用的ER数据集评估HDWM的可扩展性.
主要成果:
- 拟议的Hadoop数据清洗机 (HDWM) 有效地克服了传统DWM的单线程性质和共享内存依赖.
- HDWM表现出显著的可扩展性,能够从数千到数百万等效引用进行集群.
- 该系统利用具有独立资源的多个计算节点,实现大规模数据的高效处理.
结论:
- 哈多普数据清洗机 (HDWM) 为无监督实体解决方案提供了可扩展和高效的解决方案.
- HDWM成功地解决了以前的DWM实现的局限性,使其适合大数据环境.
- 这种并行方法通过实现自动化,大规模记录集群来增强数据策划流程.
更多相关视频
05:15The Spatial Memory Game: Testing the Relationship Between Spatial Language, Object Knowledge, and Spatial Cognition
Published on: February 19, 2018
07:26Executing Complexity-Increasing Queries in Relational MySQL and NoSQL MongoDB and EXist Size-Growing ISO/EN 13606 Standardized EHR Databases
Published on: March 19, 2018
相关概念视频
Extraction: Advanced Methods
Classification of Systems-II
Woodward–Hoffmann Selection Rules and Microscopic Reversibility
Classification of Systems-I
Homogeneity dictates that if an input x(t) is multiplied by a constant c, the output y(t) is multiplied by the same constant. Mathematically, this is expressed as:
Aggregates Classification
Petrographic classification groups aggregates based on common mineralogical characteristics. Some of the common mineral groups found in aggregates are...
Statically Indeterminate Problem Solving
