基于Hadoop平台的地理空间数据管理系统

《基于Hadoop平台的地理空间数据管理系统》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、滅來付成移＿碩士学位论文＿：（卜“，：）：：）、：ｇＢａ，ｃＩＩ｜基于Ｈａｄｏｏｐ平台的地理空间数据管理系统Ｉｌ作者姓名ｇｊｍ１指导教师姓名、职称付少锋副教授申请学位类别工学硕士Ｉ西安电子科技大学学位论文独创性（或创新性）声明秉承学校严谨的学风和优良的科学道德，本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不包含其他人已经发表或撰写过的研宄成果；也不包含为获得西安电子科技大学

2、或其它教育机构的学位或证书而使用过的材料一。与我同工作的同事对本研宄所做的任何贡献均已在论文中作了明确的说明并表示了谢意。１学位论文若有不实之处一，本人承担切法律责任。：：本人签名一課斗日期西安电子科技大学关于论文使用授权的说明本人完全了解西安电子科技大学有关保留和使用学位论文的规定，ｇ卩：研究生在校攻读学位期间论文工作的知识产权属于西安电子科技大学。学校有权保留送交论文的复印件，允许查阅、借阅论文；学校可以公布论文的全部或部分内容，允许采用影印、缩印或其它复制手段保存论文。同时本人保证，结合学位论文

3、研宄成果完成的论。文、发明专利等成果，署名单位为西安电子科技大学保密的学位论文在密后适用本授权书。＿＿年解本人签名：导师签名：—料和＞工日期：日期：丨学校代码10701学号1503121487分类号TP31密级公开西安电子科技大学硕士学位论文基于Hadoop平台的地理空间数据管理系统作者姓名：张洋一级学科：计算机科学与技术二级学科：计算机系统结构学位类别：工学硕士指导教师姓名、职称：付少锋副教授学院：计算机学院提交日期：2018年6月GeospatialDataManagementSystemBasedonHad

4、oopAthesissubmittedtoXIDIANUNIVERSITYinpartialfulfillmentoftherequirementsforthedegreeofMasterinComputerSystemArchitectureByZhangYangSupervisor:FuShaoFengTitle:AssociateProfessorJune2018摘要摘要空间数据历年来在各行各业都扮演着重要的角色，随着现代科技的发展，地理信息系统（GIS）也逐渐成熟。GIS的发展颠覆了传统地理数据处理与使用形式，为地理信息的采集、处理、访问

5、等工作提供了极大的便利。随着“互联网+”概念的提出以及智能设备的发展，每天有大量的设备在不停的产生空间信息，在数据爆发的时代如何实时地处理这些数据并为其访问提供支持显得尤为重要。目前针对历史归档类空间矢量数据的索引技术较为成熟。其索引结构针对历史的矢量数据一次性创建完成，具有很高的查询效率，但是这些索引结构缺点在于无法在维持数据动态插入的同时保证索引效率。为了存储每天不断产生的空间数据，并为空间数据的访问与分析提供支持，本文针对基于HBase的空间数据存储模式、检索策略进行研究，提出了一种在满足一定数据插入吞吐率同时能对所有数据进行高效访问的自建

6、索引结构。并基于Hadoop平台实现基于自建索引的空间数据管理系统原型，将其命名为GISdoop。本论文所完成的主要目标如下：（1）为矢量数据存储设计HBase存储模式，使得系统能够存储矢量要素的相关信息。这些信息主要包含几何信息、几何类型信息、要素的ID以及要素的所有附加属性、例如道路要素的道路名称。（2）针对目前矢量索引通常只支持历史数据的弊病，引入自建索引提高对矢量要素的检索效率。为了应对每日不断产生的数据，自建索引支持矢量要素的动态插入。索引随着数据的插入而变化，随着数据量的增多查询效率依然能相对保持高效。（3）将自建索引结构应用于Had

7、oop平台，并通过HBase协处理器实现自建索引结构，解决了Hadoop平台自身不支持空间数据的问题。（4）基于自建索引设计范围查询算法，有效提高范围查询的效率，充分发挥HBase在应对大数据处理上的优势与特点。（5）设计基于自建索引的k近邻（kNN）查询算法。客户端能从HBase中高效获取粗略过滤的数据，然后进行精细过滤并获得最终结果。基于上述设计，本文在实验集群上对自建索引结构进行了实现，并对插入效率、范围查询效率、kNN查询效率进行不同数据集以及参数下的性能测试。实验表明，GISdoop系统在小规模的集群上就能够实现7万每秒左右的插入速率，

8、常用的空间范围查询和kNN查询都可以在几百毫秒内完成，因此GISdoop系统能够满足很多空间位置相关应用中实时插入数据和实时查询空间数据