基于spark的海量数据计算平台设计与实现

《基于spark的海量数据计算平台设计与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、乂ｉｌ謹又大聋ＤＡＬＩＡＮＵＮＩＶＥＲＳＩＴＹＯＦＴＥＣＨＮＯＬＯＧＹＩ福损±享恆巧文ＭＡＳＴＥ民ＡＬＤＩＳＳＥＲＴＡＴＩＯＮ基于Ｓｐａｒｋ的海量数据计算平台设计与实现软紅Ｓ工程领域作者姓名指导教师２０１答辩曰期１６年６月曰专业学位硕±学位论文基于Ｓｐａ化的海量数据计算平台设计与实现ＤｅｓｉｎａｎｄＩｍｌｅｍｅｎｔａｔｉｏｎｏｆｔｈｅＭａｓｓｉｖｅＤａｔａＣｏｍｕ村ｎｇｐｐｇＰｌａｔｆｏｒｍＢａｓｅｄｏｎＳａｒｋｐ作者姓名：蒋昆佑工程领域：软件工程学号：３１４１７０

2、１３指导教师：陈志奎２０－－１６２０完成日期：３乂金巧义乂＃ＤａｌｉａｎＵｎｉｏｆｖｅｒｓｉｔｙＴｅｃｈｎｏｌｏｇｙ大连理王大学学位论文独创性声明作者郑重声明：所呈交的学位论文，是本人在导师的指导下进行研究工作所取得的成果。尽我所知，除文中己经注明引用巧容和致谢的地方外，本论文不包含其他个人或集体己经发表的研究成果，也不包含其他已申请学位或其他用途使用过的成果一。与我同工作的同志对本研究所做的贡献均己在论文中做了明确的说明并表示了谢意。若有不实之处，本人愿意承担相关法律责任。学位论文题目：基于Ｓｐａｒｋ的海量数据计算

3、平台设计与实现／／＜￥作者签名：佑日期：於年月日—大连理工大学专业学位硕±学位论文摘要数据处理技术主要包括数据存储和数据计算技术，其主要目标是实现各种数据集的ＡＭＰ一挖掘分析工作。近几年，ＵＣＢｅｒｋｅｋｙＬａｂ开发的新代数据处理框架ｓａｒｋ逐渐ｐ，它完善了早期流行的ＨａｄｏｏＲＤＤ走进人们视野ｐ框架，提出了弹性分布式数据集Ｒ一（ｅｓｉｌｉｅｎｔＤｉｓｔｒｉｂ山ｅｄＤａｔａｓｅｔｓ）和更灵活多样的编程模式，给数据的处理工作提供了条更简单、更快捷的途径。随着大数据时代的到来，很多公司企业都会经常碰到海量数据处理分析的问题。现一存

4、的些海量数据处理工具大多收费，并且存在操作复杂、算法不可定制、处理结果不直观等问题。本文所述的海量数据计算平台后台基于Ｓｐａｒｋ集群，可Ｗ高效实现海量数据的存储和计算工作。在此基础上，提供算法自定义功能，用户通过提交算法包，并简单配置即可使自定义算法运行在该平台上。前台基于Ｗｅｂｘ框架，Ｗ网站形式对外提供服务，降低用户学习传统命令行操作的成本，实现Ｓｐａｒｋ操作完全图形化。平台还对数据处理结果进行多样可视化展示，为后期深入研究提供了便利。本文首先对Ｓｐａｒｋ和Ｗ沈开发技术的现状进行介绍和分析，详细阐述当前海量数据，处理面临的问题并整理出海量数据计算平台的功

5、能、性能等需求。在此基础上，针对该平台使用的Ｗｅｂｘ开源框架进行具体介绍，并利用框架提供的各种服务设计实现前端网站的整体功能，。然后分析并行编程模型利用开源算法库ＭＵ化实现经典机器学习算法。接着分析平台的数据存储机制，使用Ｍｙｓｑｌ存储用户和算法信息，结合ＨＤＦＳ存储输入文件。最后通过远程连接技术ＳｅｃｕｒｅＳｈｅｌｌ实现前台网站与后台Ｓｐａｒｋ集群的交互。关键词：海量数据；Ｗｅｂｘ；Ｓｐａｒｋ；可视化－Ｉ－基于Ｓｐａｒｉｃ的海量数据计算平台设计与实现ＤｅｓｉｇｎａｎｄＩｍｐｌｅｍｅｎｔａｔｉｏｎｏｆｔｈｅＭａｓｓｉｖｅＤａｔａＣ

6、ｏｍｐｕｔｉｎｇＰｌａｔｆｏｒｍＢａｓｅｄｏｎＳａｒｋｐＡｂｓｔｒａｃｔＴｈｅｄａｔａｒｏｃｅｓｓｉｎ１；ｅｃｈｎｏｌｏｇｙｉｓｃｏｍｂｉｎｅｄｗｉ出ｄａｔａｓｌ：ｏｒａｅａｎｄｄａｔａｃｏｍｕｔａｔｉｏ打ｔｈａｔｐｇｇｐｔｓｔｉｉｉｔＩｔｉｍａｉｎｏａｌｉｓｏａｃｈｉｅｖｅｍｎｎａｎａｌｓｉｓｆｏｒａｌｌｋｎｄｓｏｆｄａａ．ｎｒｅｃｅｎｅａｒｓＵＣＢｅｒｋｅｌｅｇｇｙｙ，ｙＡＭＰＬａｂｄｅｖｅｌｏｐｓａｎｅｗｆｒａｍｅｗｏｒｋｆｏｒｍａｓｓｉｖｅｄａｔａｐｒｏｃｅｓｓｉｎｇｃａｌ

7、ｌｅｄＳｐａｒｋｗｈｉｃｈｉｓｒａｄｕａｌｌｉｎｔｏｏｕｒｈｏｒｉｚｏｎ．Ｉｔｉｓ打ｏｔｏｎｌｅｒｆｅｃｔｓｔｈｅｅａｒｌｏｕｌａｒＨａｄｏｏｆｒａｍｅｗｏｒｋｂｕｔｇｙｙｐｙｐｐｐ，ａｓｏｔｉｔｉｓｔｔｅａｔａｓｅｔＲＤＤ民ｅｓｉｌｉｅｎｔＤｉｔｒｉＤａｔａｓｅｔｓａｎｄｍｏｒｅｌｏｐｒｐｏｓｅｓｈｅｒｅｓｉｌｅｎｄｒｉｂｕｄｄｓ（ｓｂｕｂｄ）ｆｌｅｘ化ｌｅｒｏｒａｍｍｉｎｍｏｄｅｌｗｈ