面向流式数据处理平台jstorm的负载均衡技术研究

《面向流式数据处理平台jstorm的负载均衡技术研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、中文图书分类号：TP391密级：公开UDC：004学校代码：10005工程硕士学位论文M.E.DISSERTATION论文题目：面向流式数据处理平台JStorm的负载均衡技术研究论文作者：杨鹏领域：计算机技术指导教师：陈彩副教授论文提交日期：2016年6月UDC：004学校代码：10005中文图书分类号：TP391学号：S201307110密级：公开北京工业大学硕士专业学位论文（全日制）题目：面向流式数据处理平台JStorm的负载均衡技术研究英文题目：RESEARCHONLOADBALANCINGTECHNOLOGYOFSTREAMINGDATAPROC

2、ESSINGPLATFORMJSTORM论文作者：杨鹏学科专业：计算机技术研究方向：计算机软件技术申请学位：工程硕士专业学位指导教师：陈彩副教授所在单位：计算机学院答辩日期：2016年6月授予学位单位：北京工业大学独创性声明本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得北京工业大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。签名：杨鹏日期：2016

3、年5月25日关于论文使用授权的说明本人完全了解北京工业大学有关保留、使用学位论文的规定，即：学校有权保留送交论文的复印件，允许论文被查阅和借阅；学校可以公布论文的全部或部分内容，可以采用影印、缩印或其他复制手段保存论文。（保密的论文在解密后应遵守此规定）签名：杨鹏日期：2016年5月25日导师签名：陈彩日期：2016年5月25日摘要摘要大数据时代，数据的流式特征愈加显著，很多应用场景部署在流式数据处理平台上，然而，随着应用场景的复杂化及数据量的快速增长，分布式计算平台中节点间的负载失衡已经成为制约流式应用性能提升的瓶颈，因此对流式数据处理平台上负载均衡问

4、题的研究已经凸显重要的研究价值。本文以流式数据处理平台JStorm作为研究对象，致力于解决作业资源分配不当导致的JStorm平台负载不均衡问题。论文对JStorm平台下的作业资源分配策略进行了深入分析，指出了在节点间可用资源异构场景下，该作业资源分配策略将导致的集群负载不均衡问题，并针对这个问题提出了改进的作业资源分配策略，通过考虑节点工作负载的非对称性，合理分配计算任务，提升了流式应用的运行性能。本文完成的主要工作有：1）详细介绍了流式数据处理、JStorm流式数据处理平台、分布式平台资源分配等技术。重点分析JStorm中计算任务从提交到分解为具体作业

5、任务的整个过程，研究了JStorm为作业进行资源分配的过程，指出了在资源分配过程中因为缺乏对计算资源的整体评估，而导致集群负载不均衡的问题。2）提出了JStorm工作节点负载评估模型。通过对现有节点负载评估模型的研究，结合JStorm作业处理数据的特性，从JStorm工作节点的计算资源利用率及节点本身的数据处理能力出发，设计了JStorm工作节点负载的多权值评估模型，并对模型中的多个概念进行了详细说明。3）改进了JStorm作业资源分配策略。针对JStorm作业资源分配策略中忽视工作节点负载非对称的缺点，结合提出的工作节点负载评估模型，在作业资源分配过程

6、时考虑工作节点的负载情况，对计算资源进行合理分配，保证集群的负载均衡，使得流式应用能够充分利用每个节点的计算资源。4）设计并实现了作业资源分配改进策略。将源码实现嵌入到JStorm的调度器中，搭建JStorm集群，通过实验验证了改进策略的可行性。实验结果表明，本文提出的改进作业资源分配策略解决了JStorm因为作业计算资源分配不当导致的集群负载不均衡问题，同时提高了JStorm处理数据的性能，将数据的吞吐量提高了10%。关键词:流式计算；JStorm；负载均衡；资源分配-I-AbstractAbstractIntheeraofbigdata,thestr

7、eamingcharacteristicofdataisbecomingmoreandmoreremarkable.Anumberofapplicationscenariosaredeployedonstreamingdataprocessingplatform.However,withapplicationscenariosbecomingmorecomplexandvigorousgrowthindatavolume,imbalancedloadamongnodesindistributedcomputingplatformhasalreadybec

8、omeabottlenecktorestrictperformanceimpro