hadoop应用实例：基于hadoop的大规模数据排序算法

《hadoop应用实例：基于hadoop的大规模数据排序算法》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、信息工程学院网络工程——基于Hadoop的大规模数据排序算法基于Hadoop的大规模数据排序算法第23页(共23页)信息工程学院网络工程——基于Hadoop的大规模数据排序算法网络工程——终期报告基于Hadoop的大规模数据排序小组成员：组长：韩旭红1091000161组员：李巍1091000167组员：李越1091000169组员：闫悦1091000178组员：焦天禹1091000163第23页(共23页)信息工程学院网络工程——基于Hadoop的大规模数据排序算法目录一、前言4二、Hadoop及Mapreduce的相关介绍41.Hadoop4（1）Hadoop简介4（

2、2）Hadoop架构5（3）分布式计算模型52.Mapreduce5（1）mapreduce和hadoop起源5（2）mapreduce工作流程6（3）运行环境7（4）输入与输出7（5）Map/Reduce-用户界面7三、大规模数据排序81.简介82.Nutch9四、算法分析101.Sort算法分析10（1）排序实例10（2）运行排序基准测试10（3）代码分析102.Secondsort算法分析12（1）工作原理12（2）具体步骤12（3）SecondarySort.java的部分代码133.Terasort算法分析15（1）概述15（2）算法思想15（3）Terasor

3、t算法17五、参考资料19六、小组成员个人总结201.1091000161韩旭红202.1091000167李巍213.1091000169李越214.1091000178闫悦215.1091000163焦天禹22第23页(共23页)信息工程学院网络工程——基于Hadoop的大规模数据排序算法一、前言我们小组主要对基于[hadoop的大规模数据排序算法、海量数据的生成做了一定的研究。我们首先对于hadoop做了初步了解，其次，mapreduce是hadoop的很重要的算法，我们在第二阶段对mapreduce以及一些代码做了分析。第三阶段，我们安装虚拟机和Linux以及ha

4、doop的软件，配置运行环境。第四阶段，我们对大规模数据排序进行深入的研究，对nutch进行了简单的了解。第五阶段，对一些源代码进行分析，主要是排序算法中的sort.java,secondsort.java,terasort。下面的正文中将作出具体的介绍。二、Hadoop及Mapreduce的相关介绍1.Hadoop（1）Hadoop简介Hadoop是一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统，简称HDFS。HDFS有着高容错性的特点，并且

5、设计用来部署在低廉的硬件上。而且它提供高传输率来访问应用程序的数据，适合那些有着超大数据集的应用程序。第23页(共23页)信息工程学院网络工程——基于Hadoop的大规模数据排序算法（1）Hadoop架构图表1hadoop架构Hadoop有许多元素构成。其最底部是HDFS，它存储Hadoop集群中所有存储节点上的文件。HDFS的上一层是MapReduce引擎，该引擎由JobTrackers和TaskTrackers组成。（2）分布式计算模型一个hadoop集群往往有几十台甚至成百上千台lowcost的计算机组成，我们运行的每一个任务都要在这些计算机上做任务的分发，执行中间

6、数据排序以及最后的汇总，期间还包含节点发现，任务的重试，故障节点替换等等等等的维护以及异常情况处理。所以说hadoop就是一个计算模型。一个分布式的计算模型。1.Mapreduce（1）mapreduce和hadoop起源MapReduce借用了函数式编程的概念，是Google发明的一种数据处理模型。因为Google几乎爬了互联网上的所有网页，要为处理这些网页并为搜索引擎建立索引是一项非常艰巨的任务，必须借助成千上万台机器同时工作（也就是分布式并行处理），才有可能完成建立索引的任务。所以，Google发明了MapReduce数据处理模型，而且他们还就此发表了相关论文。后来

7、，DougCutting老大就根据这篇论文硬生生的复制了一个MapReduce出来，也就是今天的Hadoop。第23页(共23页)信息工程学院网络工程——基于Hadoop的大规模数据排序算法（1）mapreduce工作流程MapReduce处理数据过程主要分成2个阶段：map阶段和reduce阶段。先执行map阶段，再执行reduce阶段。①在正式执行map函数前，需要对输入进行“分片”（就是将海量数据分成大概相等的“块”，hadoop的一个分片默认是64M），以便于多个map同时工作，每一个map任务处理一个“分片”。②分片