基于spark的云化报表系统的设计与实现

《基于spark的云化报表系统的设计与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、转战单位代码：腳３密级；．公开＿＿．专业学位硕±论文左向ｊ廊往梦曜一．＼‘ｒ＊兴、卑與．－．－■．－．．．？Ｊ＇：－，少－．．论文题目；基于ｓｐａｒｋ的云化报表系统的心讀－’‘，？．？．．Ｖ．－Ｖ峡设计与实现＇＇■＇：‘■；■．；．心＂＇．‘．Ｖ，＼满■、‘：尝子百亏‘皆１２１３０１２３１２．姓．名扬；［导师ｍＭ专业学位类别工程硕古类型全日制．；堯‘专业（领域）电子与通信工程

2、Ｖ．＿＿．，ｖ；．，＇论文提交日期一，二舉六年六月．苗＇，冷？ＶＪ？－■＞ｒｙ．，｜‘一＞？－．ｒｒ－－Ｉ．．，＇■．■＇，＇作－：：：．’韶［．？．？，１＾－ＩＶ．在＞．．‘Ｖ三、％：，Ｊ■－．’ｔ＇—ＹＩ：．．DesignandimplementationofreportingsystembasedonSparkplatformThesisSubmittedtoNanjingUniversityofPostsandTelec

3、ommunicationsfortheDegreeofMasterofEngineeringByYangNingSupervisor:Prof.SongJianxinJune2016南京邮电大学学位论文原创性声明本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。，尽我所知除了文中特别加化标注和致谢的地方外，抢文中不包含其他人己经发表或撰写过的研究成果，也不包含为获得南京邮电大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均己在论文中作了明确的说明并表示了谢意。一本人

4、学位论文及涉及相关资料若有不实，愿意承担切相关的法律责任。＇ｙ备＾．研究生签名：ｆｉ］马日期：３南京邮电大学学位论文使用授权声明本人授权南京邮电大学可Ｗ保留并向国家有关部口或机构送交论文的复印件和电子文档；允许论文被查阅和借阅；可１＾将学位论文的全部或部分内容编入有关數据库进行检索；可＾文采用影印、缩印或扫描等复制手段保存、汇编本学位论文。本文电子文档的内容和纸质一论文的内容相致。论文的公布。（包括刊登）授权南京邮电大学研巧生院办理涉密学位论文在解密后适用本授权书。：ｌ研究生签名：导师签名１娘ｉｌ摘要随着4G业

5、务的发展，业务模式更新换代，其规模也迅速扩大，业务数据量成线性地增长。报表系统通过存储过程实时地处理营业员或者营业厅的当天全量数据，尤其在报表查询高峰期的情况下，会导致一段时间内数据库的处理压力倍增，从而拖累整个系统的正常运行。对于营业员来说，下班查帐时表现得更为明显。由于存在以上问题，本文才设计了云化报表系统。本文的报表系统主要完成以下几个方面的工作：本文的云化报表系统主要包含四个层面的工作，分别是数据抽取层，Spark计算层，业务逻辑层和界面层。数据抽取层的工作主要是实时增量数据的抽取，生产库使用OGG（OracleGoldenGate）同步到

6、镜像库过程中生成的增量数据文件，利用Kafka消息系统把增量数据发送到Spark计算层；Spark计算层的作用是实时增量数据的计算，利用SparkStreaming处理订阅的Kafka消息，处理Kafka发送的增量数据，首先把增量数据备份到HBase上，计算完成后再把数据存入Redis，Redis定时同步到HBase上，对于非实时的计算可以直接从HBase中获取数据，Spark计算后存入HBase中；业务逻辑层的作用是从Redis和HBase里面获取报表数据，给系统界面和外围接口使用；界面层的作用是查询显示报表数据、查询监控信息、查询统计信息等。最

7、后利用实验来验证，在大量数据处理的情况下，Spark计算的优势所在，也证明了本文工作的有效性和实用性。关键词:Spark；OGG；Kafka；Redis；大数据处理IAbstractWiththedevelopmentof4Gservices,thesizeofupgradingbusinessmodelisgrowingandbusinessdatagrowslinearly.Real-timereportingsystemisprocessedforthewholeamountofdatabybusinesshallorsalesperson，

8、itleadstoaperiodoftimetodealdoublewithstressofthedatabase，whi