基于多线程的网络爬虫的设计与实现

《基于多线程的网络爬虫的设计与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、成都学院学士学位论文（设计）本科毕业论文题目基于多线程的网络爬虫的设计与实现成都学院学士学位论文（设计）毕业设计（论文）原创性声明和使用授权说明原创性声明本人郑重承诺：所呈交的毕业设计（论文），是我个人在指导教师的指导下进行的研究工作及取得的成果。尽我所知，除文中特别加以标注和致谢的地方外，不包含其他人或组织已经发表或公布过的研究成果，也不包含我为获得及其它教育机构的学位或学历而使用过的材料。对本研究提供过帮助和做出过贡献的个人或集体，均已在文中作了明确的说明并表示了谢意。作者签名：　　　　　日　期：　　　　　

2、指导教师签名：　　　　　日　　期：　　　　　使用授权说明本人完全了解大学关于收集、保存、使用毕业设计（论文）的规定，即：按照学校要求提交毕业设计（论文）的印刷本和电子版本；学校有权保存毕业设计（论文）的印刷本和电子版，并提供目录检索与阅览服务；学校可以采用影印、缩印、数字化或其它复制手段保存论文；在不以赢利为目的前提下，学校可以公布论文的部分或全部内容。作者签名：　　　　　日　期：　　　　　成都学院学士学位论文（设计）基于多线程的网络爬虫的设计与实现摘要：网络爬虫（WebCrawle

3、r），又叫网络蜘蛛（WebSpider），是搜索引擎的重要组成部分。随着网络的迅速发展，万维网成为大量信息的载体，如何有效地提取并利用这些信息成为一个巨大的挑战，作为搜索引擎不可或缺的一部分网络爬虫，一直是个热门的研究课题，它的效能，直接决定了搜索引擎的未来。本课题所研究的网络爬虫采用广度优先搜索算法，并基于Java语言进行网络编程。实现网络爬虫关键技术是对URL进行分析和去重。为使网络爬虫具备更高效的抓取能力，因而使用了多线程技术。同时为了避免无限制的等待，应该对网络爬虫连接网络及读取时间最大值进行设定。本课题的目标是

4、研究并实现一个实现简单的可在后台自动运行的爬虫程序。系统可以进行面向主题的抓取。从行为上来看，它更近似于主题网络爬虫。关键词：网络爬虫；广度优先；Java；多线程；成都学院学士学位论文（设计）DesignandimplementationofawebcrawlerbasedonmultithreadingSpecialty:SoftwareEngineeringStudentNumber:Student:Supervisor:ABSTRACT：WebCrawler,alsocalledWebSpider,isanimpo

5、rtantpartofsearchengine.WiththerapiddevelopmentofInternet,theWorldWideWebbecomesthecarrierofalargeamountofinformation.AndHowtoeffectivelyextractandusethisinformationtobecomeagreatchallenge.ThequalityofasearchengineismostlydependedonthequalityofaWebCrawlerthatasan

6、indispensablepartofwebcrawlersearchengine.SoWebCrawlerisahotresearchtopicthoseyears.Theprojectwhichwasstudiedinthispaperusingthebreadth-firstsearchalgorithm,andbasedontheJavalanguagefornetworkprogramming.Implementationofthekeytechnologyofwebcrawleristoanalyzeandt

7、oURL.Inordertomakethewebcrawlerhasmoreefficientgraspingability,sotheuseofmulti-threadingtechnology.Atthesametimeinordertoavoidwaitingwithoutlimit,shouldbeonthewebcrawlerconnectingnetworkandreadthetimeofmaximumvalue.Thegoalofthisprojectistoresearchandrealizeanimpl

8、ementationcanberunautomaticallyinthebackgroundsimplecrawlerprogram.Systemcanbeasubjectorientedgrab.Fromthepointofview,itismoresimilartothetopicwebcrawler.Keywo