云存储中集群重复数据删除系统的研究与设计

《云存储中集群重复数据删除系统的研究与设计》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、万方数据分类号UDC密级学位论文云存储中集群重复数据删除系统的研究与设计作者姓、名：李志然指导教师：张锡哲副教授东北大学信息科学与工程学院申请学位级别：硕士学科类别：工学学科专业名称：计算机软件与理论论文提交日期：2014年6月论文答辩日期：2014年6月学位授予日期：2014年7月答懒△摘：马宗民教授评阅人：曹春红张广艳东北大学2014年6月万方数据AThesisinComputerSoftwareandTheoryResearchandDesignofDataDeduplicationSystemforDistri

2、butedClusterinCloudStorageByLiZhiranSupervisor：AssociateProfessorZhangXizheNortheasternUniversityJune2014万方数据独创性声明本人声明，所呈交的学位论文是在导师的指导下完成的。论文中取得的研究成果除加以标注和致谢的地方外，不包含其他人己经发表或撰写过的研究成果，也不包括本人为获得其他学位而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均己在论文中作了明确的说明并表示谢意。学位论文作者签名：孝乏．掣、日期：加M乡

3、、冲学位论文版权使用授权书本学位论文作者和指导教师完全了解东北大学有关保留、使用学位论文的规定：即学校有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人同意东北大学可以将学位论文的全部或部分内容编入有关数据库进行检索、交流。作者和导师同意网上交流的时间为作者获得学位后：半年口一年口一年半口两年呵／／学位论文作者签名：力吞堡、导师签名：砸奄黟移签字日期：硼l，．f、谚签字日期：w惮f沙万方数据东北大学硕士学位论文摘要云存储中集群重复数据删除系统的研究与设计摘要随着大数据时代的到来，数据已呈爆

4、炸式的增长，海量数据的存储己成为数据中心的首要问题，重复数据大量存在于信息处理与存储的各个环节中，如文件系统、邮件附件、web对象以及操作系统与应用软件中。传统的数据保护技术如周期备份、版本控制、快照等更是加速了重复数据的增长，导致网络带宽与存储资源的消耗以及存储成本的增加。为了提高存储资源利用率，降低数据管理成本，重复数据删除技术的提出与应用已经成为目前企业与数据中心的研究热点。云存储服务具有高可靠性、高通用性、高扩展性及大容量存储等特点，因此对云存储技术的研究不仅紧跟IT技术发展的趋势，而且具有较高的应用价值。在云

5、存储环境中构建大规模、高性能、分布式重删系统，具有很大的优势与挑战。本文在云存储环境中设计了一套在线的集群重删系统架构，并在数据路由问题、索引查询优化问题等方面进行了相关研究，主要完成工作有：(1)基于开源的HDFS分布式文件系统，以集群重复数据删除技术为基础，设计并实现了具有重复数据删除功能的分布式文件系统H。Dedup。根据重复数据删除技术的特征，合理设计系统架构与软件功能模块，使得重复数据删除技术有效融入集群存储架构中。(2)设计面向重删的局部相似路由算法，基于数据相似理论，以超块粒度为路由单位，并对超块进行采样

6、，选取少量特征指纹，以有状态路由方式进行路由匹配，减少网络带宽消耗，快速定位存储位置。使得分布式存储系统在保持较高的存储性能以及吞吐率的同时，快速定位存储节点并取得较高的数据去重率。(3)为了缓解索引查询过程中磁盘瓶颈问题，设计了基于内存的相似索引表，进行数据局部去重，以避免出现大量的磁盘随机读写现象。根据数据的局部性特点设计了全局LRU缓存，最大程度维护和利用数据的局部性，减少磁盘访问次数；为了弥补单节点内低去重率问题，设计了基于访问频率的容器热点指纹索引，提升单点内的数据去重率。关键词：云存储：重复数据删除技术；数

7、据冗余；集群存储；分布式文件系统万方数据东北大学硕士学位论文AbstractResearchandDesignofDataDeduplicationSystemforDistributedClusterinCloudStorageAbstractAstheageofBigDataiscoming，thereisanexplosionofdata，andthemassivedatastoragehasbecometheprimaryproblemofdatacenter．Alargenumberofduplicateda

8、taisfoundinallaspectsofinformationprocessingandstorageinmanyapplicationscenarios，suchasfilesystem，emailattachments，webobjects，operatingsystem，andapplicationsoftware．S