网络爬虫_实验手册.doc

《网络爬虫_实验手册.doc》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、.网络爬虫1.实验目标1.熟悉网络爬虫的相关概念及实现网络爬虫的相关流程。2.了解WebCollector框架的基本原理。3.熟练掌握在Eclipse项目中配置使用WebCollector爬虫。2.前提条件1．正确安装和配置Java开发环境。2．了解网络爬虫的相关知识3．进入WebCollector官方下载所需jar包。3.实验任务及完成标准本次实验通过WebCollector框架实现一个简单的聚焦网络爬虫。用户可根据自己的需求定制网络爬虫，设定待爬取的网址、爬取网页的数量、爬取网页的容等。通过对该实例的详细介绍

2、来探讨网络爬虫的原理及在实际生活中的应用。在此实例的基础上，学生需要独立完成更为复杂的聚焦网络爬虫，来爬取更有意义的容。具体要求见“4扩展容”。3.1建立应用程序项目打开eclipse，创建本次实验项目htmlCrawler（【File】->【New】->【JavaProject】）如图1所示。范文..图1创建工程1.1在Eclipse项目中配置使用WebCollector爬虫1选中htmlCrawler右键，选中【New】->【Folder】，输入文件名称“lib”,如下图2所示。范文..图2创建文件夹2解压缩

3、webcollector-2.26-bin.zip，拷贝所有的Jar包，放到lib目录中，如图3所示。图3目录结构图3将文件夹lib中的所有jar包添加到buildpath中，如图4、图5、图6所示。范文..图4图5范文..图6依次选中jar包，导入到工程中。4如果想看WebCollector的源码，可以为Jar包关联源码（可选），如图6、图7所示。范文..图6图71.1现在可以编写WebCollector爬虫的代码了新建一个类Crawler.java，继承自BreadthCrawler。重写visit方法，来实

4、现满足自己需求的爬虫即可。如图8、图9所示。范文..图8图93.4抓取师大软件学院首页的源代码范文..packagehtmlCrawler;importjava.io.IOException;import.edu.hfut.dmic.webcollector.model.CrawlDatums;import.edu.hfut.dmic.webcollector.model.Page;import.edu.hfut.dmic.webcollector.plugin.berkeley.BreadthCrawler;i

5、mport.edu.hfut.dmic.webcollector.util.FileUtils;publicclassCrawlerextendsBreadthCrawler{publicCrawler(StringcrawlPath,booleanautoParse){super(crawlPath,autoParse);//TODOAuto-generatedconstructorstub}Overridepublicvoidvisit(Pagepage,CrawlDatumsnext){//TODOAuto

6、-generatedmethodstubtry{System.out.println("正在提取："+page.getUrl());//将爬取的容写到test.html页FileUtils.writeFileWithParent("downloads/test.html",page.getContent());}catch(IOExceptione){//TODOAuto-generatedcatchblocke.printStackTrace();}}范文..publicstaticvoidmain(Strin

7、g[]args){//创建爬虫对象Crawlercrawler=newCrawler("html_crawler",true);crawler.addSeed("software.hebtu.edu.cn/");try{//启动爬虫crawler.start(1);}catch(Exceptione){//TODOAuto-generatedcatchblocke.printStackTrace();}}}控制台输出结果：2016-02-2514:23:06INFO.edu.hfut.dmic.webcollec

8、tor.crawler.Crawler-startdepth12016-02-2514:23:06INFO.edu.hfut.dmic.webcollector.fetcher.Fetcher-opengenerator:cn.edu.hfut.dmic.webcollector.plugin.berkeley.BerkeleyGenerator2016-02-2514: