分布式块存储相关综述

《分布式块存储相关综述》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、信息存储与数字媒体实验室目录目录11HDFS综述41.1引言41.2HDFS体系结构41.2.1Namenode51.2.2Datanode51.2.3文件系统的名字空间(namespace)51.2.4SecondaryNamenode61.3HDFS数据组织61.3.1HDFS数据流-读文件61.3.2HDFS数据流-写文件71.4HDFS数据复制81.4.1副本存放81.4.2副本选择91.4.3多副本写策略91.5HDFS元数据组织101.5.1HDFS元数据及其修改的存放位置101.5.2HDFS元数据的持久化101.6HDFS健壮性111.6.1磁盘数据错误、心跳检测

2、和重新复制111.6.2数据完整性111.6.3元数据磁盘错误111.6.4存储空间回收121.6.5负载均衡121.7总结131.8参考文献132GoogleFS概述142.1背景介绍14信息存储与数字媒体实验室Page53,Total53信息存储与数字媒体实验室2.2GFS体系结构152.3数据组织162.3.1读写流程162.4元数据组织192.5副本放置策略202.6多副本的写策略212.7一致性策略222.8节点状态管理232.8.1消息通信232.8.2副本状态管理：242.8.3垃圾回收机制：252.9总结263Dynamo系统综述263.1简介263.1.1需求背

3、景263.1.2主要特点273.1.3系统架构273.2主要技术介绍293.2.1分布式哈希（DistributedHashTable）303.2.2虚节点（VirtualNode）313.2.3节点管理（Membership）333.2.4数据分区的复制（Replication）353.2.5矢量时钟（Vectorclock）353.2.6读写策略（Read/Write）373.2.7反熵（Anti-entropy）373.2.8Merkle树393.2.9暗示移交(Hintedhandoff)403.2.10Gossip协议413.3实现443.4总结45信息存储与数字媒体实

4、验室Page53,Total53信息存储与数字媒体实验室3.5参考464Ceph分布式文件系统简介474.1简介474.2Ceph特点474.3Ceph目标484.4Ceph客户端504.5Ceph元数据服务器514.6Ceph监视器514.7Ceph对象存储524.8其他功能524.9Ceph的地位和未来524.10其他分布式文件系统534.11展望未来534.12参考文献53信息存储与数字媒体实验室Page53,Total53信息存储与数字媒体实验室1HDFS综述摘要：HDFS是一个分布式的文件系统，有着高的容错性等特点，并设计用来部署在低廉的硬件上，它提供高传输率用来访问应

5、用程序的数据，适合有着超大数据集的应用程序，为了更好的了解HDFS文件系统及其特点，本文对HDFS的体系结构，数据组织，副本策略，元数据组织，数据维护，负载均衡等方面进行了分析研究。关键字：分布式文件系统HadoopHDFS1.1引言当数据集超过一个单独的物理计算机的存储能力时，便有必要讲它分布到多台计算机上，管理者跨计算机网络存储的文件系统成为分布式文件系统。Hadoop是一个基于JAVA的支持数据密集型分布式应用的分布式文件系统，可以在成千个低成本商用硬件存储节点上处理PB级的数据。Hadoop是Apache开源项目，用户可以在不了解分布式底层细节的情况下，开发分布式程序，充

6、分利用集群的威力高速运算和存储。Yahoo支持这个项目并在自己的web搜索和商业广告业务上使用它，开发类似于Google的MapReduce和GoogleFS的技术。Hadoop包含两个部分，Hadoop文件系统(HadoopDistributedFileSystem,HDFS)和MapReduce编程模型，图1为Hadoop的组成部分。其中HDFS运行在商用硬件上，它和现有分布式文件系统很相似，但也具备了明显的差异性，比如HDFS是高度容错的，可运行在廉价硬件上；HDFS能为应用程序提供高吞吐率的数据访问，适用于大数据集的应用中；HDFS在POSIX规范进行了修改，使之能对文件

7、系统数据进行流式访问，从而适用于批量数据的处理。HDFS为文件采用一种"一次写多次读"的访问模型，从而简化了数据一致性问题，使高吞吐率数据访问成为可能，一些Map/Reduce应用和网页抓取程序在这种访问模型下表现完美。HDFS在云计算中特别是其分布式系统布局得到了人们广泛的关注，并得到了很好的应用。图1Hadoop组成1.2HDFS体系结构HDFS的体系结构如图2所示，HDFS采用master/slave架构，一个HDFS集群主要由一个Namenode和一定数目的Datanod