分布式存储系统主动容错机制研究

《分布式存储系统主动容错机制研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、中图分类号：学校代码：10055UDC：密级：公开硕士学位论文分布式存储系统主动容错机制研究AResearchoftheProactiveFaultToleranceSchemeforDistributedStorageSystems论文作者籍鑫璞指导教师王刚教授申请学位工学硕士培养单位计算机与控制工程学院学科专业计算机科学与技术研究方向分布式存储答辩委员会主席刘璟评阅人白刚李忠伟南开大学研究生院二○一六年五月南开大学研究生学位论文作者信息论文题目分布式存储系统主动容错机制研究姓名籍鑫璞学号2120130365答辩日期2

2、016年5月20日论文类别博士□学历硕士√专业学位硕士□同等学力硕士□划√选择学院(单位)计算机与控制工程学院学科/专业(专业学位)名称计算机科学与技术联系电话电子邮箱通信地址(邮编)：非公开论文编号备注注：本授权书适用我校授予的所有博士、硕士的学位论文。由作者填写一份并签字后交校图书馆，如已批准为非公开学位论文，须附批准通过的《南开大学研究生申请非公开学位论文审批表》和“非公开学位论文标注说明”页。南开大学学位论文原创性声明本人郑重声明：所呈交的学位论文，是本人在导师指导下进行研究工作所取得的研究成果。除文中已经注明引

3、用的内容外，本学位论文的研究成果不包含任何他人创作的、已公开发表或者没有公开发表的作品的内容。对本论文所涉及的研究工作做出贡献的其他个人和集体，均已在文中以明确方式标明。本学位论文原创性声明的法律责任由本人承担。学位论文作者签名：年月日非公开学位论文标注说明(本页表中填写内容须打印)根据南开大学有关规定，非公开学位论文须经指导教师同意、作者本人申请和相关部门批准方能标注。未经批准的均为公开学位论文，公开学位论文本说明为空白。论文题目申请密级□限制(≤2年)□秘密(≤10年)□机密(≤20年)保密期限20年月日至20年月日

4、审批表编号批准日期20年月日南开大学学位评定委员会办公室盖章(有效)注：限制★2年(可少于2年);秘密★10年(可少于10年);机密★20年(可少于20年)摘要摘要当前，随着大数据时代的到来，全球数据总量呈现爆炸性增长的态势，存储系统的规模也随之不断扩大。而系统规模的扩大势必会带来高故障频率问题，如何提高云存储系统的可靠性成为了一个亟待解决的问题。目前，云存储系统普遍采用传统“故障发生——数据重构”的被动容错机制，由于其本身的缺陷，被动容错机制很难从根本上解决系统可靠性的问题。因此，研究者提出了“故障预测——预警处理”的

5、主动容错机制。硬盘故障预测模型虽然可以达到比较高的准确率和较低的误报率，甚至可以提前几天预测出将要发生故障的硬盘，但是很少有学者将预测模型应用到分布式系统上来提高系统的可靠性。本文提出了一种分布式主动容错机制，我们称之为自调度数据迁移机制（Self-SchedulingMigration，SSM），该机制不仅能够监控硬盘的健康状态、收集SMART(Self-Monitoring,AnalysisandReportingTechnology)数据以获得训练预测模型所需要的数据，还能使用硬盘预测模型预测出将要发生故障的硬盘，

6、基于预测结果提前迁移出危险的数据。我们使用分布式预警处理算法合理地从将要发生故障的硬盘迁移出数据，该算法不仅可以根据硬盘潜在故障的严重级别（即实时的预测结果）动态调整每个迁移任务的迁移速度，提前迁移更危险的数据；而且，在选择迁移源节点和迁移目的节点的时候，该算法能够充分地利用系统资源，达到比较好的负载均衡效果；在最小化减少迁移任务对系统正常读写服务的负面影响的同时，该算法还可以为不同严重级别的预警合理地分配迁移资源。本文在一个真实的分布式存储系统——sheepdog中实现了SSM。在加入主动容错机制后，系统的读、写性能虽

7、然分别下降8%和13%，但相比于被动容错机制，SSM可以很大程度地提高系统的可靠性和可用性。关键词：主动容错机制；分布式存储系统；基于优先级调度；数据迁移‐ I-AbstractAbstractWiththearrivaloftheeraofbigdata,theglobaldatasizeshowsanexplosivegrowth.Atthesametime,thescaleofstoragesystemsalsocontinuestoexpand.However,itwillcertainlycausethepro

8、blemofthehighfailurerate.Howtoimprovethereliabilityofcloudstoragesystemsbecomesanurgentproblemwhichneedstobesolved.Atpresent,cloudstoragesystemscommonlyusethep