基于spark的rdf数据top-k查询计算研究

《基于spark的rdf数据top-k查询计算研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、’ｆ＇‘－．＇、‘－ｖ；：护＇’’．－巧抗而，ｖｖ．、．＂？’．，‘＇－．．’’．？Ｖ－．：．吁．’．：？、＊＇一＞－．Ｖ．争‘Ｖ．气辛．．＊。－．－－，〇？．’；片＇＼＇Ｘ护？：一＼Ｖ‘、－＇‘、＇一－，、．：：；，心－．巧打心謂．‘＇产－ｒ，；人ｖＶＶＶ户把节、松＇－＇■＂■‘－心？：＞：，．非诉；Ｗ．’Ｉ．．．ＶＶ，Ｙ；姻摇．．＇＇、■＇．．＊卢－．－＼二肿宁户ｔ心；分类号ＴＰ１８一，学号２０１３１３７０３０１４山姿．学校代码１０４８８

2、／密级．．售；＇进身，八‘＊＇＇、．‘味：巧站＇；／秋诱？受義辕，诚繼—＇．’主襄４猶我解把记績皆Ｃ．帮：占歌鱗咚姐矣潭海；，乂胃硕±学位论文胃—＇＇－．咕．／；費基于Ｓｐａｒｋ的ＲＤＦ数据化ｐ－ｋ查询￡起ｎ计算研究？、？－Ｗ＇（．—，、？，．１、￣…Ｊ＇’、．．．、、．心＇护，．Ｉ．＇。．年扣．＇：二，．＇，．，如，．＾咕．托聲■’■‘Ｊ－Ｉ■－ｔ＾．－Ｖ：＾一一．—‘如学位申请人：肖睁荣学科专业：

3、软件工程—分—＾：，：Ｖ＞一心严ｒ：：顾指导教师进广；Ｕ１．１：八：：心１日：２０１６５２１曰答期年£辩月！茄Ｃ．．．－，．化’－‘Ｈ．＇Ｖ＇产，二＇．诚．．．．：．＾记纖错紙巾１、＼诉诗讓带碱媒Ｖ哨ADissertationSubmittedinPartialFulfillmentoftheRequirementsfortheDegreeofMasterinEngineeringReseachonOptimizingTop-kJoinQueriesBasedon

4、SparkMasterCandidate：ZhengrongXiaoMajor：SoftwareEngineeringSupervisor：Prof.JinguangGuWuhanUniversityofScienceandTechnologyWuhan,Hubei430081,P.R.ChinaMay21,2016武汉科錶大学＜骄発藻擎卷絶文鎖新锥声辩本入郑重齊嗎ｔ攝盤变韶学輕途文是本入在导师鷄导Ｔ，鑛立潘巧硏究所取縛靡處１。ｒｒ定审Ｂ经注興哥用觀巧容或属合難研発共轉ｔ藏敏Ｉ雜辨，本涂文不每含儘锦其鞭个Ａ或簾誰己经

5、发襲或鱗写远酶作蟲成粟。猶本文廚礙究儀连靈要被献煎个入和藥雖，切哲在克牵巧ｆ痛方式掠嚼。牵簿学位论文与資辩若宵不实么进？，皋人廣避镇掘关贵僅。：；谴交難箸盤名金兰泉全…目縷ｊ．琴齋堯生学僮絶文赚毅使馬授较芦類奉叢文齡驟繁戚薬較遮毁轉技大学薪苟，其魏究內容不攝謎其趕孽ｔ觀無义嚴褒。本人寃全了瓣武誤转技大学有关縣窗、ｆｔ强学隨ｔ义錢撰定，轉鑛擎辕镶觀弊肉猶关離口Ｃ武獸羁技大学关于研究（按騷堯學擅论文收裁Ｉ：伟轉魏速！拱巧魄交论文韓變醇件郝电子厳私允薄论交被查鐵鄭簿讓，同愈学校蒋本絶义的全諫或識分巧容

6、编乂学毯诫巧饒讀蠢截关數据库造巧捡索蒋对舞服务。獲文作密纖；；Ｍ：霜导教輝難吟．一０攤：Ｉ摘要近年来，语义Web发展迅猛，RDF数据也得了广泛的支持与研究。随着RDF数据的规模越来越大，传统的集中式环境下针对RDF数据的查询研究越来越无法适应数据查询领域的需求，特别是针对RDF数据的top-k查询。随着分布式领域的逐步发展，具有海量存储能力以及并行计算能力的分布式系统逐渐成为解决这类问题的研究热点。而Spark分布式系统恰恰是其中的佼佼者。本文基于Spark分布式计算系统以及HBase分布式存储系统，对应用于大规

7、模RDF数据存储以及top-k查询算法进行了设计与研究。本文分析了传统RDF数据存储模式的优缺点，设计并实现了适用于top-k查询的基于HBase存储特点的RDF存储索引结构。基于这种存储模式并借鉴于传统top-k查询处理技术的特点，提出了一种分布式系统下的top-k查询方案STA查询算法，致力于减少算法运行过程中RDF数据的连接操作。在此基础上并根据Spark分布式系统数据的处理特点，本文改进STA算法提出了一种新的查询方案SSJA查询算法，致力于减少对中间数据的排序相关的操作。此外，本文还搭建了HBase分布式存储环境以及Spar

8、k分布式计算环境，实现了上述两种实验方案并进行了测试。实验结果证明，SSJA算法在性能以及适用性上都优于STA算法。关键词：Spark；Top-k查询；分布式；RDF数据IAbstractInrecentyears,th