本科生毕业论文

《本科生毕业论文》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、北京大学本科生学位论文本科生毕业论文题目：(中文)MapReduce的系统性能评估与Backup调度策略(英文)PerformanceEvaluationandBackuptasksforMapReduce姓名：陈日闪学号：00548179院系：信息科学技术学院专业：计算机科学与技术指导教师：彭波二〇二一年六月二十九日37北京大学本科生学位论文北京大学本科毕业论文导师评阅表学生姓名陈日闪学生学号00548179论文成绩学院（系）信息科学技术学院学生所在专业计算机导师姓名彭波导师单位/所在研究所网络与信息系统导师职称讲师论文题目（中、英文）MapReduce的系统

2、性能评估与Backup调度策略PerformanceEvaluationandBackuptasksforMapReduce导师评语（包含对论文的性质、难度、分量、综合训练等是否符合培养目标的目的等评价）陈日闪同学的论文选题是海量数据处理基础设施中的MapReduce分布式计算平台的性能评估和优化。这个方向是目前云计算热潮中重要的技术问题之一，也是本实验室在研究和开发MapReduce实现环境TPlatform中面临亟需解决的问题，是进一步工作的基础。其选题合理，是一个探索和工程结合的工作，其难度和工作量适中。陈日闪以系统性能分析，寻找系统性能优化点为目标，讨论

3、了MapReduce运行系统的性能评估指标和方法，设计了基准测试程序集，在TPlatform系统上开展了若干评估实验。通过实验结果分析，给出了若干系统改进的建议，并在落后者问题上，具体通过修改任务调度算法来实现了一个优化改进。这一系列工作连贯，工作内容包括论文阅读，查考文献，系统和算法设计，性能评估实验，编码调试，分布式系统运行和部署等。本论文工作，作为一个科研综合训练完成得很好，符合培养目标。同时，本论文工作也存在一些不足，在深度和系统性上还可以更加深入，比如加入相关系统的对比实验，扩展更多的实验设计和分析等，这些可以在陈日闪同学进一步工作中来完善。导师签名：

4、年月日37北京大学本科生学位论文摘要MapReduce是一个在海量数据上进行数据处理的并行编程模型，它特别适合于海量非结构化和结构化数据的搜索、分析和挖掘任务，已经开始被人们广泛使用。对于兴起的众多类似MapReduce系统来说，如何有效地评估和分析对比这些系统，成为当前一个需要解决的问题。本文详细讨论了针对MapReduce运行系统的性能评估指标和方法，设计和选择一系列具有代表性的程序和数据作为基准，用来评估和分析MapReduce系统。在这一评估方法指导下，本文在我们自己实现的MapReduce运行系统——Tplatform平台上扩展了Profiling功能

5、，然后进行了一系列评估实验，来分析和寻找系统性能瓶颈，为未来系统优化提供依据。通过实验我们发现了我们系统的一些可改进的问题如任务调度、落后者问题等等。我们选择了针对导致提交任务延迟增加的落后者问题，通过实现后备任务策略来尝试改进。经模拟实验结果显示，我们提出的改进策略能够有效地改进落后者问题的性能问题。关键词：MapReduce，性能评估，落后者问题，后备任务策略37北京大学本科生学位论文AbstractMapReduceisbecominganimportantparallelprogrammingparadigmforprocessingInternetsc

6、aledata.Itiswidelyusedtoprocessjobssuchassearching,analyzing,andminingonlargescalestructuredandsemi-structureddata.ItisstillaproblemfortheemergingMapReduce-likesystemstoanalyzeandevaluatesystematicallyandefficiently.ThispaperdiscussedtheissuesinperformanceevaluationforMapReduceruntim

7、esystem.Wedesignedandchoseaseriesofrepresentativeprogramsanddataasbenchmark.AndthenweimplementprofilinginourhomemadeMapReducesystemwhichnamedTplatform.Wedidtheevaluationexperimentforfindingthebottleneckofthesystem.Throughtheexperiment,wefoundsomeperformanceproblemssuchasschedulingand

8、stragglerset