基于hadoop的文本挖掘研究与应用

《基于hadoop的文本挖掘研究与应用》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、广东工业大学硕：ｆｃ学位论文（工学硕±）基于Ｈａｄｏｏｐ的文本挖掘研究与应用王創二〇—六年五月．１１８４５１分类号学校代号：２１１１３０４０６０；ＵＤＣ密级：学号：广东工业大学硕±学位论文（王学硕±）基于Ｈａｄｏｏｐ的文本挖掘硏究与应用王創指导教师姓名、职称：黄英副教授学科：控制理论与工程（专业）或领域名称学生所属学院：自动化学院２０１６年５月３１论文答辩日期：日ＡＤｉｓｓｅｒｔａｔｉｏｎＳｕｂｍｉｔｔｅｄｔｏＧｕａｎｇｄｏｎｇＵｎｉｖｅｒｓｉｔｙｏｆＴｅｃｈｎｏｌｏｇｙＦｏｒｔｈｅＤｅｒｅｅｏ

2、ｆＭａｓｔｅｒｇ（ＭａｓｔｅｒｆＥｎｉｎｅｅｒｉｎＳｃｉｅｎｃｅ）ｏｇｇＲｅｓｅａｒｃｈａｎｄａｌｔｏｔｍｉｎｎＨａｉｃａｉｏｎｆｔｅｘｉｇｂａｓｅｄｏｎｄｏｏｐｐｐＣａｎｄｉｄａｔｅ：ＷａｎＺｈａｏｇＳｕｐｅｒｖｉｓｏｒＨｕａｎｇＹｉｎｇＭａ２０化ｙＳｃｈｏｏｌｏｆＡｕｔｏｍａｔｉｏｎＧｕａｎｇｄｏｎｇＵｎｉｖｅｒｓｉｔｙｏｆＴｅｃｈｎｏｌｏｇｙＧｕａｎｇｚｈｏｕ，Ｇｕａｎｇｄｏｎｇ，Ｐ．Ｒ．Ｃｈｉｎａ，５１０００６４＾摘要当前伴随互联网技术的快速发展，网络信息成为人们获取信息的主要来源。人

3、一们通过Ｉｎｔｅｒｎｅｔ可Ｗ轻易获取海量信息，但是信息的爆炸式增长也带来些不便。用户面对海量数据，快速而有效的筛选出有价值信息亟得越来越困难。面对海量数据，分布式技术为，传统的单节点串行计算模式已经满足不了处理海量信息的要求此带来了新的解决方案，通过分布式的并行处理模式，能够快速有效的完成对海量数据的计算，对处理海量数据和高并发问题优。当前基于分布式发展而来的云计算势明显。Ｈａｄｏｏｐ平台是近几年应用比较热口的云平台，其硬件成本较低通过普通ＰＣ集群即可构成，同时能够存储及处理海量数据。一个热口分支，被广泛应用于捜索文本挖掘是数据挖掘的、分类、推荐等领域。传统的串

4、行计算模式应用于当前的文本挖掘领域，面对海量的文本数据，其运算能力难ｔｕ满足要求。基于此本文选择将Ｈａｄｏｏｐ平台与文本挖掘技术结合。本文着重研究了Ｈａｄｏｏｐ下的文本预处理，及ＣＵＲＥ聚类算法。本文主要工作如下：（１）简单介绍了研究背景及意义、分布式技术、云平台和文本挖掘等相关技术。一，提出了种新的构造停用词表的方法口。）研究了文本挖掘的文本预处理过程简要介绍了Ｈａｄｏｏｐ平台的搭建过程。将文本预处理过程ＭａｐＲｅｄｕｃｅ化，通过Ｈａｄｏｏｐ平台并行计算完成文本预处理。并对比和分析了单机串行处理和Ｈａｄｏｏｐ平台并行处理的效率。一ＴＦ３要介绍了ＣＵＲＥ聚

5、类算法ＩＤＦ，（）简。提出了种优化公式并将其应用于ＣＵＲＥ算法ＭａｐＲｅｄｕｃｅ化的过程。分析对比了优化前，Ｗ及优化后的ＴＦＩＤＦ公式的，并证明了优化后的ＴＦＩＤＦ公式比传统的ＴＦＩＤＦ公式有效性更高优劣。（４）测试和分析了ＣＵＲＥ算法在Ｈａｄｏｏｐ平台下，不同集群的运行效率。通过统一Ｈ理的优势计分析相关计算结果，进步证明了ａｄｏｏｐ平台并行处。通过实验分析一本文提出的新的停用词表构造方法，Ｗ及对ＴＦＩＤＦ的优化，证明了本文研究具有定的价值。同时证明了云计算技术应用文本挖掘领域的有效性，为今后研究文本挖掘提供了新的思路。关键词：分布式；云计算；Ｈａｄｏｏｐ；

6、文本挖掘；文本聚类；Ｉ广东工业大学硕壬学位论文ＡＢＳＴＲＡＣＴＷｉｔｈｔｈｅｒａｉｄｄｅｖｅｌｏｍｅｎｔｏｆＩｎｔｅｒｎｅｔｔｅｃｈｎｏｌｏｎｅｔｗｏｒｋｉｎｆｏｒｍａｔｉｏｎｈａｓｐｐｇｙ，ｂｅｃｏｍｅｔｈｅｍａｉｎｓｏｕｒｃｅｏｆｉｎｆｏｒｍａｔｉｏ打ｆｏｒｅｏｌｅｔｏｏｂｔａｉｎｉｎｆｏｒｍａｔｉｏｎ．Ｐｅｏｐｌｅｃａｎｐｐｅａｓｉｌｙｅｔｍａ巧ｉｖｅｉｎｆｏｒｍａｔｉｏ打ｔｈｒｏｕｈＩｎｔｅｒｎｅｔ，ｂｕｔｔｈｅｅｘｌｏｓｉｖｅｒｏｗｔｈｏｆｉｎｆｂｎｎａｔｉｏ打ｇｇｐｇａｌｓｏｂｒｉｎｇｓ

7、ｓｏｍｅｉｎｃｏｎｖｅｎｉｅｎｃｅ．Ｉｔｉｓｍｏｒｅａｎｄｍｏｒｅｄｉｆｉｃｕｌｔｆｏｒｕｓｅｒｓｔｏｑｕｉｃｋｌｙａｎｄｅｆｅｃｔｉｖｅｌｙｆｉｌ化ｒｏｕｔａｃｕｉｒｅｔｈｅｖａｌｕａｂｌｅｉｎｆｏｒｍａｔｉｏｎｉｎｔｈｅｆａｃｅｏｆｆｒｏｍｍａｓｓｉｖｅｄａｔａ．Ｉｎｑ任ｏｎｔｏｆｍａｓｓｉｖｅｄａｔａ＾ｔｈｅ化ａｄｉｔｉ