网络爬虫的设计与实现毕设论文

《网络爬虫的设计与实现毕设论文》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、北京联合大学毕业设计毕业设计题目：网络爬虫的设计与实现姓名：学号：学院：专业：同组人：指导教师：协助指导教师：2010年5月13日北京联合大学毕业设计摘要网络爬虫是一个自动提取网页的程序，它为搜索引擎从万维网上下载网页，是搜索引擎的重要组成。通过网络爬虫不仅能够为搜索引擎采集网络信息，而且可以定向采集某些网站的特定信息，如新闻内容等。本文通过PHP语言实现了一个爬虫程序。本论文阐述了网络爬虫实现中一些主要问题：为何要使用多线程，以及如何实现多线程；网页的下载和分析等。通过实现这一爬虫程序，可以搜集某一站点的URLs及一些我们想要的信息，并将搜集到的网址和信息存入

2、数据库。关键词：网络爬虫PHP信息抓取I北京联合大学毕业设计AbstractWebcrawlerisanprocesswhichcanautomateddownloadwebpage,itdownloadWebpageforsearchengines,itisanimportantcomponentofsearchengines.SPIDERcancollectdataforsearchengines,andcancapturesomeofthewebsitesthetargetedspecificinformation,suchasthepostcontent

3、.Inthispaper,weusePHPimplementsaSPDIERprocess.ThispaperexpatiatessomemajorproblemsofSPIDER:whytousemulti-threading,andhowtoimplementmulti-thread;downloadandanalysisWebpage.etc.KeyWords:SPIDERPHPINFORMATIONCAPTUREII北京联合大学毕业设计摘要..........................................................

4、........................................................................IAbstract..............................................................................................................................II引言.........................................................................

5、.........................................................11本文相关技术介绍............................................................................................................31.1所开发语言PHP简介..............................................................................................3

6、1.1.1PHP语言.....................................................................................................31.1.2PHP的发展.................................................................................................31.1.3PHP功能.....................................................

7、................................................51.2XML简介..................................................................................................................71.2.1XML语言......................................................................................................

8、.71.2.2XML与H