基于规则和相关度的微博垃圾评论检测系统及实现

《基于规则和相关度的微博垃圾评论检测系统及实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、万方数据分类号UDC密级学位论文基于规则和相关度的微博垃圾评论检测系统及实现作者姓名：刘晓燕指导教师：申请学位级别：学科专业名称：论文提交日期：学位授予日期：评阅人：王兴伟教授东北大学信息科学与工程学院硕士学科类别：工学计算机应用技术2014年6月论文答辩日期：2014年6月2014年7月答辩委员会主席：马宗民栾贵兴易秀双东北大学2014年6月万方数据AThesismComputerApplicationTeclulologyRulesandreleVancebasedTWittercommentspamdetectionsystemandimplementationByLiuX

2、iaoyallSuperVisor：ProfessorWangXingweiNonheastemUniVers埘June2014万方数据独创性声明本人声明，所呈交的学位论文是在导师的指导下完成的。论文中取得的研究成果除加以标注和致谢的地方外，不包含其他人己经发表或撰写过的研究成果，也不包括本人为获得其他学位而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均己在论文中作了明确的说明并表示谢意。学位论文作者签名：细糖、日期：幽，簖．∥．访学位论文版权使用授权书本学位论文作者和指导教师完全了解东北大学有关保留、使用学位论文的规定：即学校有权保留并向国家有关部门或机构送交论文的复

3、印件和磁盘，允许论文被查阅和借阅。本人同意东北大学可以将学位论文的全部或部分内容编入有关数据库进行检索、交流。作者和导师同意网上交流的时间为作者获得学位后：／半年口一年口一年半口两年∥学位论文作者签名：刍7旎始、导师签名：签字日期：函，够，多：谚签字日期：万方数据东北大学硕士学位论文摘要基于规则和相关度的微博垃圾评论检测系统及实现摘要微博的使用在生活中已经成为一个很重要的信息来源或工作或娱乐或推广或寻觅，随着微博使用量的扩大，微博评论也变得丰富多彩，甚至有时回复成为了亮点。也正因此如此，越来越多的人开始关注微博评论，甚至是一些别有用心的垃圾评论制造者。然而微博垃圾评论的出现，让评

4、论的形象大打折扣。因此本文重点是发现并处理微博中的垃圾评论，总结垃圾评论的规则和通过相关度判断出评论的发展趋势并利用wEB开发的B／S结构构建微博评论分类系统。新浪微博是当今微博几大平台之一，技术成熟的API接口为很多第三方开发用户提供了方便。本系统从新浪微博数据平台API接口下载微博评论，并作为实验样本，导入自行开发的垃圾微博评论分类系统中，存储到指定数据库，通过参数设定设定参数的初期规则库。将数据到如分类系统经过规则库过滤形成分类，在此同时分类的评论增强了评论规则库的成熟度。在过滤过程中使用到了神经网络和数据挖掘理论。利用神经网路来联系数据与数据之间的关系，通过长期总结的规则

5、来评判评论的分类情况。本系统的特色在系统中的产生垃圾评论的同时还会通过相关度和数据挖掘形成新的信息来强壮本系统的规则库。这个过程产生了评论规则库。当规则库趋近成熟时分类结果更趋于所需分类结果。在程序中还涉及到可以切换人工手动挑选的功能，本文认为这是必不可少的，正所谓人工智能与人工密不可分，系统日志功能为系统的正常运行保驾护航。本系统的开发语言Java，采用JSP技术实现网页界面。Java最大优点是跨平台能力强，系统运行稳定。在大的数据处理的微博评论分类系统中，一个稳定的代码平台是刚性前提。以JS和CSS完成美化页面效果。SQLServer2000为数据存储数据库，SQLSen，e

6、r2000数据库技术成熟，补丁完善。系统采用BS结构原因是在网络发展迅猛的今天通过网络浏览器就可以使用系统减少了安装环境步骤同时随时随地可以使用。关键词：微博微博评论分类规则相关度II万方数据东北大学硕士学位论文AbstractRulesandreleVancebasedTwitterco础：11entsp锄detectionsystemandiInplementationAbstractMicro．blogusehasbecomeaveryimportalltsourceofinfonnationorworkorentertailullentorpromotionorlool【

7、iI玛forinlife，、vithmeusemicro-blogexpansionmicro_blogcommentsmoreexciting，eVenitsbrillialltreplyasabrightspot．ReadthecommentstofindbrightSpothasbecomeanewinterestinmodemtimes．Rubbishmicro—blogco彻．Ilentsmakeco舢[nentsont11eimagegreatly．Thecomput