基于hdfs的微博数据管理系统的设计和实现

《基于hdfs的微博数据管理系统的设计和实现》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、摘要摘要随着Web2.0技术的深入发展，微博作为一种新型媒体出现在人们的视野里。微博以其独有的内容短小精悍、传播速度快、影响范围广等特点受到越来越多的人的关注和喜爱，并已经成为互联网的典型应用之一。随着微博的飞速发展，用户对微博信息的获取需求也呈直线上升态势。面对每天海量的微博信息，如何快速、准确地找到自己所需要的微博信息是一个亟待解决的问题。本文在对微博特点进行分析的基础上，结合Hadoop分布式系统框架和Lucene全文检索引擎，设计并实现了一套微博数据管理系统。本文首先对系统进行需求分析。然后，采用模块化设计的方法对

2、系统进行总体设计。详细介绍了微博数据抓取、微博数据预处理、微博数据分布式存储、微博数据倒排索引、微博数据排序以及微博数据检索各个模块的设计与实现。通过系统测试，对系统进行了功能评估。最后，对本文进行了总结并指出了系统存在的不足之处。系统的主要功能是微博数据的抓取、微博预处理、微博存储、微博索引、微博排序和微博检索。为了实现上述功能，本系统采取的关键技术：一是微博Crawler，利用新浪微博开放平台提供的API抓取微博数据；二是分布式存储，微博数据的分布式存储采用HDFS（HadoopDistributedFileSyste

3、m，分布式文件系统），HDFS在廉价的机器和大规模数据集上使用更为适合，在数据访问时可提供高吞吐量，为了完成流式访问数据的目的，HDFS对POSIX放宽了约束。HDFS目前为Apache的顶级项目；三是排序算法，参考了PageRank排序算法的思想，提出了一个微博数据的排序算法。系统利用新浪微博开放平台API抓取微博数据，对系统中的微博数据进行预处理，并采用分布式文件系统HDFS进行存储。采用Lucene全文检索引擎和MapReduce编程模型，利用Lucene提供的索引引擎建立微博数据的倒排索引。针对微博数据的特点，利用

4、Lucene提供的查询引擎，设计并实现了一个微博排序算法，从而大大提高了微博数据的检索效率。在面对海量的微博信息时，用户可以更加快速、准确的找到自己所需的信息。关键词：微博；检索引擎；分布式文件系统；映射化简编程模型；排序IABSTRACTABSTRACTWiththedevelopmentofWeb2.0technologies,microbloggingasanewmediuminpeople'sfieldofvision.Microbloggingitsuniquecontentdapper,spreadfastan

5、dwiderangeofcharacteristicsaffectingmoreandmorepeople'sattentionandlove,andhasbecomeoneofthetypicalInternetapplications.Withtherapiddevelopmentofmicroblogging,microbloggingusersaccesstoinformationondemandlinearrise.Facedwithafloodoftweetseveryday,howquicklyandaccu

6、ratelyfindtheinformationtheyneedmicrobloggingisaseriousproblem.Basedontheanalysisofmicro-Botpoints,combiningHadoopdistributedsystemsframeworkandLucenefull-textsearchengine,designedandimplementedasetofmicro-blogdatamanagementsystem.Firstly,thesystemneedsanalysis.Th

7、en,usingamodulardesignapproachtotheoveralldesignofthesystem.Detailsofthemicro-blogdatacapture,datapreprocessingmicroblogging,microblogginganddistributeddatastorage,microblogginginvertedindexdata,designandimplementationofdatasortingandmicrobloggingmicrobloggingdata

8、retrievalmodule.Throughtesting,thesystemfunctionalevaluation.Finally,asummaryandpointsouttheshortcomingsofthesystem.Themainfunctionofthesystemisamicro-b