网络爬虫需求

《网络爬虫需求》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、课题名称：Web资源自动获取技术研究与应用(JAVA实现)学校：中南大学学院：信息科学与技术学院专业班别：计算机软件专业NIIT081姓名：　谭东方　指导教师：　　　　　　完成日期：　　　　　　　　　摘要随着网络的迅速发展，万维网成为大量信息的载体，如何有效地提取并利用这些信息成为一个巨大的挑战。搜索引擎(SearchEngine)，例如传统的通用搜索引擎AltaVista，Yahoo!和Google等，作为一个辅助人们检索信息的工具成为用户访问万维网的入口和指南。但是，这些通用性搜索引擎也存在着一定的局限性，如：　　(

2、1)不同领域、不同背景的用户往往具有不同的检索目的和需求，通用搜索引擎所返回的结果包含大量用户不关心的网页。　　(2)通用搜索引擎的目标是尽可能大的网络覆盖率，有限的搜索引擎服务器资源与无限的网络数据资源之间的矛盾将进一步加深。　　(3)万维网数据形式的丰富和网络技术的不断发展，图片、数据库、音频/视频多媒体等不同数据大量出现，通用搜索引擎往往对这些信息含量密集且具有一定结构的数据无能为力，不能很好地发现和获取。　　(4)通用搜索引擎大多提供基于关键字的检索，难以支持根据语义信息提出的查询。为了解决上述问题，定向抓

3、取相关网页资源的聚焦爬虫应运而生。聚焦爬虫是一个自动下载网页的程序，它根据既定的抓取目标，有选择的访问万维网上的网页与相关的链接，获取所需要的信息。与通用爬虫(generalpurposewebcrawler)不同，聚焦爬虫并不追求大的覆盖，而将目标定为抓取与某一特定主题内容相关的网页，为面向主题的用户查询准备数据资源。关键字：网络爬虫程序,WEB爬虫,网页蜘蛛，网络机器人AbstractThispaperfirstintroducesthekeytechniquesandtheorieswhicharerequire

4、dintherealizationoftheextensibleSpider,onthebasisofwhichwethenusetheoriented-objectmethodstohaveanalyzedanddesignedaWebSpiderwithextensibility.Finally,theprogrammingworkhasbeenrealizedontheJCreatorplatformwiththeJavalanguage.ThedesigningoftheextensibleSpiderismade

5、upoftwomajorparts:theClientcrawlerandtheServermonitor.TheClientisresponsibleforthepage-collectionjob,whichreceivesURLofthewebpagestobecrawledfromtheserverandtransmitsthoseoutofitscrawlingrange.Inordertoreducetheresponsetime,thepage-collectionhasborrowedthemultithr

6、eadingtechniquetoimprovethesystem’sperformance.TheURLtransitionhasutilizedthe“CharacterConversion”functionoftheMD5algorithmandthe“SplittingConstructor”ofthehashingfunction.TheservermonitortakeschargeofthearrangementoftheactivespidersandthetransitionofthearrivingUR

7、L:thesystemwouldallocateanuniqueIDforeverycrawlertorealizeunifiedmanagementaswellasmakingareasonablejudgmentforeveryURLfromclientstodeterminewhichactivespiderthisURLshouldbesentto.Inthesystem,therunningprocess,includingthestartandinterruption,ofthecrawlersiscomple

8、telycontrolledbytheserver,andtheservercandynamicallysupervisethecollectionstatusofeachofthecrawler.Ithasbeenprovedbytheexperimentthatthissystemhasthecha