基于spark 云计算平台的改进k近邻算法研究

《基于spark 云计算平台的改进k近邻算法研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、■－）？？广东工业大学硕女学位论文（工程硕±）＊？．，．．．、．．－＇，．？？．、Ｖ：■＇．／基于Ｓｐａｒｋ云计算平台的改进Ｋ近邻算法硏究＇－＞Ｔ：．陈晓康—？哨｝？巧．々’Ｖ，碱．．．―＇‘一＇；一＇－Ｉ‘＇ｈ‘．Ａｙ．Ｉ．－＇－■＊－－■：－．（■／．．＇一ｙ＊’’．，Ｖ‘；■．、＇－、■Ｉ，，＇■．Ｉ人＇Ｖ、—．．二ｏ六年五月、．，分类号：学校代号：＂

2、８４５ＵＤＣ；密级；学号：２。１３０５０９３广东工业大学硕击学位论文（工程硕±）基于Ｓｐａｒｋ云计算平台的改进Ｋ近邻算法研究陈晓康校内导师姓名、职称：刘竹松副教授校外导师姓名、职称：邓家震工程师学科（专业：计算机技术）或领域名称学生所属学院：计算机学院—论文答辩日期：二〇六年五月ＨＡＤｉｓｓｅｒｔａｔｉｏｎＳｕｂｍｉｔｅｄｔｏＧｕａｎｇｄｏｎｇＵｎｉｖｅｒｓｉｔｏｆｙＴｅｃｈ打ｏｌｏｇｙｆｏｒ也ｅＤｅｇｒｅｅｏｆＭａｓ化ｒ（ＭａｓｔｅｒｏｆＥｎｇｉｎｅｅｒｉｎｇ）Ｒｅ

3、ｓｅａｒｃｈｏｎｉｍｐｒｏｖｅｄＫｎｅａｒｅｓｔｎｅｉｇｈｂｏｒａｌｇｏｒｉｔｈｍｂａｓｅｄｏｎＳｐａｒｋｃｌｏｕｄｃｏｍｐｕｔｉｎｇｐｌａｔｆｏｒｍＣａｎｄｉｄａｔｅ：ＣｈｅｎＸｉａｏｋａｎｇＳｕｅｒｖｉｓｏｒ；Ｐｒｏｆ．ＬｉｕＺｈｕｓｏｎｇｐ？ｉＭａｙ２０１６ＳｃｈｏｏｌｏｆＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅ＆ＴｅｃｈｎｏｌｏｇｙＧｕａｎｇｄｏｎｇＵｎｉｖｅｒｓｉｔｙｏｆＴｅｃｈｎｏｌｏｇｙＧｕａｎｚｈｏｕＧｕａｎｄｏｎ．．ＲＣｈｉｎａ５１０００６ｇ，ｇｇ，Ｐ，摘要

4、摘要随着现今时代信息的飞速发展，互联网已经步入大数据时代，。在面对海量的数据用户如何快速找到满足自己需求的信息成为学术界急需研究的热点难题。互联网海量数据导致数据挖掘技术要求变得越来越迫切。通过数据挖掘方法，系统可Ｗ实现从海量数据高效挖掘出精准数据。数据挖掘中的分类算法是预测数据趋势、推荐迎合用户意愿数据的有效手段。Ｋ近邻分类算法又是查询大规模空间数据的常用数据挖掘分类一一算法之。算法在云计算平台运行，可进步提高数据挖掘算法的运算速率。Ｓｐａｒｋ一云计算平台是基于Ｈａｄｏｏｐ云平台的进步优化，不同于Ｈａｄｏｏｐ的完全依赖ＨＤＦＳ文

5、一件系统，Ｓａｒｋ实现了在内存中处理数据集，进步提高了云平台的数据处理速度ｐ。针对用户快速获取信息的需求，本文在坤ａｒｋ云计算平台上，使用并行化的改进Ｋ一近邻分类算法实现为用户快速提供推荐数据的目标。本文提出两个优化点：第，本文对Ｋ近邻分类算法索引创建技术进行改进，提高算法查找最近邻数据点的效率。传统的Ｋ近邻分类算法主要制约因素是查找最近邻数据点效率低，ＫｄＴｒｅｅ是应用于Ｋ近邻分类算法索引创建的查找效率较高的数据结构。影响ＫｄＴｒｅｅ的运行效率主要在于算法运行过程最近邻节点查找中对非叶子节点的回溯。本文通过优化ＫｄＴｒｅｅ中待

6、分类数据点范围与分割平面线的相交概率，减少Ｋ近邻分类算法在查找最近邻数据点时回溯节点的数目，实现提高Ｋ近邻分类算法的分类效率。第二，本文优化算法运行的环境，实现了提高算法分类效率的效果。本文对改进的Ｋ近邻分类算法实行并行化，使算法能很好的适应云计算平台的数据处理模型。本文使用Ｓｐａｒｋ云计算平台环境实现并行化的改进Ｋ近邻分类算法，在保证算法准确度的前提下，提升了算法的分类速度。在实验数据选取上，本文选用了ＵＣＩ机器学习数据集。实验对比单机情况下传统Ｋ近邻分类算法和改进Ｋ近邻分类算法的效率和准确率、Ｓｐａｒｋ云平台上改进Ｋ近邻分类

7、算法和单机上改进Ｋ近邻分类算法的算法处理效率，得到在Ｓｐａｒｋ云平台运行的改进Ｋ近邻分类算法，在保证算法分类准确率的前提，较大的提高了算法效率的结论。关键词：却ａｒｋ；云平台；分类；数据挖掘；Ｋ近邻ＩＡｂｓｔｒａｃｔＡｂｓｔｒａｃｔＷｉｔｈｔｈｅｒａｉｄｄｅｖｅｌｏｍｅｎｔｏｆｔｈｅｍｏｄｅｍｅｒａｏｆｔｈｅＩｉＵｅｒａｅｔｅｏｌｅｈａｖｅｒａｄｕａｌｌｐｐ，ｐｐｇｙｅｎｔｅｒｅｄｔｈｅｅｒａｏｆｂｉｇｄａｔａ．Ｉｎｔｈｅｆａｃｅｏｆａｎａｒｒａｙｏｆｄａｔａ，ｔｈｅｕｓｅｒｈｏｗ

8、ｔｏｕｉｃｋｌｆｉｎｄ