搜索引擎网络爬虫设计与实现毕业设计

《搜索引擎网络爬虫设计与实现毕业设计》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、哈尔滨理工大学学士学位论文搜索引擎网络爬虫设计与实现摘要网络中的资源非常丰富，但是如何有效的搜索信息却是一件困难的事情。建立搜索引擎就是解决这个问题的最好方法。本文首先详细介绍了基于英特网的搜索引擎的系统结构，然后具体阐述了如何设计并实现搜索引擎的搜索器——网络爬虫。多线程网络爬虫程序是从指定的Web页面中按照宽度优先算法进行解析、搜索，并把搜索到的每条URL进行抓取、保存并且以URL为新的入口在互联网上进行不断的爬行的自动执行后台程序。网络爬虫主要应用socket套接字技术、正则表达式、HTTP协议、windows网络编程技术等相关技术，以C++语言作为实现语言，并在VC6.0下调试

2、通过。在网络爬虫的设计与实现的章节中除了详细的阐述技术核心外还结合了多线程网络爬虫的实现代码来说明，易于理解。本网络爬虫是一个能够在后台运行的以配置文件来作为初始URL，以宽度优先算法向下爬行，保存目标URL的网络程序，能够执行普通用户网络搜索任务。关键词　搜索引擎；网络爬虫；URL搜索器；多线程-III-哈尔滨理工大学学士学位论文DesignandRealizationofSearchEngineNetworkSpiderAbstractTheresourceofnetworkisveryrich,buthowtosearchtheeffectiveinformationisadif

3、ficulttask.Theestablishmentofasearchengineisthebestwaytosolvethisproblem.Thispaperfirstintroducestheinternet-basedsearchenginestructure,andthenillustrateshowtoimplementsearchengine----networkspiders.Themulti-threadnetworkspiderprocedureisfromtheWebpagewhichassignsaccordingtothewidthpriority

4、algorithmconnectionforanalysisandsearch,andeachURLissnatchedandpreserved,andmaketheresultURLasthenewsourceentranceunceasingcrawlingoninternettocarryoutthebackgoudautomatically.Mypaperofnetworkspidermainlyappliestothesockettechnology,theregularexpression,theHTTPagreement,thewindowsnetworkprogramm

5、ingtechnologyandothercorrelationtechnique,andtakingC++languageasimplementedlanguage,andpassesunderVC6.0debugging.Inthechapterofthespiderdesignandimplementation,besidesadetailedexpositionofthecoretechnologyinconjunctionwiththemulti-threadednetworkspidertoillustratetherealizationofthecode,itiseasy

6、tounderstand.ThisnetworkspidersisinitialURLbasedonconfigurationfileswhichcanoperateonbackground，usingwidthpriorityalgorithmtocrawldown,preservingnetworkprogrammeoftargetURL.KeywordsInternetsearchengine;Networkspider;URLsearchprogramme;Multithreaded-III-哈尔滨理工大学学士学位论文毕业设计（论文）原创性声明和使用授权说明原创性声明本人郑重承

7、诺：所呈交的毕业设计（论文），是我个人在指导教师的指导下进行的研究工作及取得的成果。尽我所知，除文中特别加以标注和致谢的地方外，不包含其他人或组织已经发表或公布过的研究成果，也不包含我为获得及其它教育机构的学位或学历而使用过的材料。对本研究提供过帮助和做出过贡献的个人或集体，均已在文中作了明确的说明并表示了谢意。作者签名：　　　　　日　期：　　　　　指导教师签名：　　　　　日　　期：　　　　　使用授权说明本人完全了解大学关于收集、保存、使用毕业