面向大数据存储系统的分布式复杂任务树调度器的研究

《面向大数据存储系统的分布式复杂任务树调度器的研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、硕士学位论文面向大数据存储系统的分布式复杂任务树调度器的研究作者姓名洪俊望学科专业计算机系统结构指导教师赵跃龙教授所在学院计算机科学与工程学院论文提交日期2016年4月ResearchonDistributedComplexTaskTreeSchedulerforBigDataStorageSystemADissertationSubmittedfortheDegreeofMasterCandidate：HongJunwangSupervisor：Prof.ZhaoYuelongSouthChinaUniversityofTechnologyGuangzhou,China分类号

2、：TP391学校代号：10561学号：201320130655华南理工大学硕士学位论文面向大数据存储系统的分布式复杂任务树调度器的研究作者姓名：洪俊望指导教师姓名、职称：赵跃龙教授申请学位级别：工学硕士学科专业名称：计算机系统结构研究方向：大数据技术论文提交日期：2016年月日论文答辩日期：2016年月日学位授予单位：华南理工大学学位授予日期：年月日答辩委员会成员：主席：委员：华南理工大学学位论文原创性声明本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研究所取得的研究成果。除了文中特别加以标注引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写的成果作品。对本文的

3、研究做出重要贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律后果由本人承担。作者签名：日期：年月日学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：研究生在校攻读学位期间论文工作的知识产权单位属华南理工大学。学校有权保存并向国家有关部门或机构送交论文的复印件和电子版，允许学位论文被查阅（除在保密期内的保密论文外）；学校可以公布学位论文的全部或部分内容，可以允许采用影印、缩印或其它复制手段保存、汇编学位论文。本人电子文档的内容和纸质论文的内容相一致。本学位论文属于：□保密，在年解密后适用本授权书。□不保密，同意在校园网上发布，

4、供校内师生和与学校有共享协议的单位浏览；同意将本人学位论文提交中国学术期刊(光盘版)电子杂志社全文出版和编入CNKI《中国知识资源总库》，传播学位论文的全部或部分内容。(请在以上相应方框内打“√”)作者签名：日期：指导教师签名：日期：作者联系电话：电子邮箱：联系地址（含邮编）：*摘要近年来，“大数据”这个词已经逐渐地成为现代社会多个行业所关注和研究的热点。当前在信息科学领域内对于大数据的研究主要集中在大数据的采集、大数据存储、大数据挖掘、大数据分析和大数据的可视化等几个方面。目前大数据的存储和管理技术已经成为大数据分析和处理技术中首先必须解决的前期关键科学问题，因此开展有关大数

5、据存储和管理方法的研究有重要的理论意义和实际意义。本文在对当前的相关存储管理技术进行了较系统的分析和研究的基础上，面向大数据存储系统设计了一种基于消息队列的异步非阻塞的分布式任务管理的框架，并在此基础上实现了一个基于分布式复杂任务树的大数据存储系统原型。本文的主要工作可以归纳为以下几个方面：（1）研究了当前常见的存储系统的体系架构，针对大数据存储系统任务管理的特点，提出了一种新型的任务处理引擎，它能够将任务描述和执行过程进行解耦合；并且基于多叉树和有限状态机实现了一种新型的数据结构——复杂任务树，这是一种能够直接描述一个复杂任务的数据结构。（2）设计了一种面向大数据存储系统的复

6、杂任务树的任务调度器，它可以调度大数据存储系统中存在依赖关系的一组任务的执行顺序。（3）进一步将复杂任务树扩展成了分布式复杂任务树，实现了跨结点的任务类。一棵复杂任务树可以在物理上分布在多个机器节点上，使用跨结点的任务方式，可以将一个任务分布在多个服务器上运行，充分利用了闲置的CPU资源，解决了胖客户端的单点负载过重容易成为性能瓶颈的问题；提供了统一的服务模型，存储系统中的不同角色可以使用完全相同的执行逻辑，在单线程中做到了管理和执行所有类型的任务，并且屏蔽了执行细节，使得大数据存储系统中的所有任务可以由分布式复杂任务树来描述。（4）基于消息队列使用异步非阻塞的处理方式，采用分

7、布式复杂任务树来描述和管理大数据存储系统，并在此基础上设计了一种基于分布式复杂任务树的大数据存储系统原型。本文提出的面向大数据存储系统的分布式复杂任务树调度器的存储管理方法对今后进一步优化大数据存储系统的性能将有较好的参考作用。关键词：大数据；存储系统；分布式；复杂任务树；存储管理*本文的部分研究内容受到国家自然科学基金项目“适应于大数据特性的智能存储技术研究”（61572200）的资助。I*AbstractRecently,bigdatahasbeengraduallybecomether