网络爬虫学士学位毕业论文

《网络爬虫学士学位毕业论文》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、沈阳理工大学学士学位论文摘要目前即使通讯软件在平时的生活中有着十分广泛的应用，但是对绝大部分的软件来说，都必须应用在互联网上，必须在一个INTERNET环境下才能使用。有时候单位内部的员工，同学，在没有互联网环境下或因其他原因希望不用INTERNET就可以进行信息交互，这样开发局域网通信就有了必要性。本文提出了局域网信息交互的需求，并详细对网络协议TCP/IP协议族进行了介绍和研究，如TCP，UDP，广播等相关技术。并对网络信息交互原理惊醒了说明，在此基础上利用SOCKET网络编程实现了一种基于WINDOWS平台的局域网信息交互功能。网络爬虫是一种自动搜集互联网信息的程序。通过

2、网络爬虫不仅能够为搜索引擎采集网络信息，而且可以作为定向信息采集器，定向采集某些网站下的特定信息，如招聘信息，租房信息等。本文通过JAVA实现了一个基于广度优先算法的多线程爬虫程序。为何要使用多线程，以及如何实现多线程；系统实现过程中的数据存储；网页信息解析等。通过实现这一爬虫程序，可以搜集某一站点的URLs，并将搜集到的URLs存入数据库。将解析的网页存入XML文档。【关键词】网络爬虫；SOCKET编程；TCP/IP；网络编程；JAVAAbstractII沈阳理工大学学士学位论文Instantmessagesoftwareinourdailyliveshasaverywide

3、rangeofapplication,However,mostofthesoftwaremustbeusedintheInternet,anditmustbeusedinaInternetenvironment.SometimesInternalstaff,students,maynothavetheInternetenvironmentorotherreasonsdonotwishtobeabletocommunicateontheInternet.ThisdevelopmentwillhaveaneedforLANcommunicationprogram.Therefore

4、,thispaperpresentstheneedsoflocalareanetworkexchangeinformationSoftware,AnddetailsofthenetworkprotocolTCP/IPprotocolsuiteareintroducedandresearchsuchasTCP,UDP,broadcast,andothertechnologies.andnetworkinformationexchangetheoryisdiscussed.BaseonthisconditionIuseofSocketNetworkprogrammingbasedo

5、nWindowsplatformtodevelopaLANchatapplication.SPIDERisaprogramwhichcanautocollectinformationsfrominternet.SPIDERcancollectdataforsearchengines,alsocanbeaDirectionalinformationcollector,collectsspecificallyinformationsfromsomewebsites,suchasHRinformations,houserentinformations.Inthispaper,useJ

6、AVAimplementsabreadth-firstalgorithmmulti-threadSPDIER.ThispaperexpatiatessomemajorproblemsofSPIDER:whytousemulti-threading,andhowtoimplementmulti-thread;datastructure;HTMLcodeparse.etc.ThisSPIDERcancollectURLsfromonewebsite,andstoreURLsintodatabase.【KEYWORD】SPIDER;JAVA;；Socketprogramming;TC

7、P/IP;NetworkprogrammingII沈阳理工大学学士学位论文学位论文原创性声明本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研究所取得的研究成果。除了文中特别加以标注引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写的成果作品。对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律后果由本人承担。作者签名：日期：年月日学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保留并向国家有关部门或机