毕业设计--垂直引擎搜索的设计与实现

《毕业设计--垂直引擎搜索的设计与实现》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、毕业设计（论文）垂直引擎搜索的设计与实现摘要随着网络的ri益发展，人们已经越來越习惯从网上获取对自己有用的信息。Lucene是构建搜索引擎的其屮一种方式。此次毕业设计所做的垂直引擎搜索系统是用JAVA语言编写的。丰要完成的功能有：用爬虫抓取网页；获取有效信息放入数据库；通过Lucene建立索引；对简单关键字进行搜索；使用Ajax的局部刷新贝面展不结果。本篇论文针对垂百引擎搜索方面，详细的介绍了垂百引擎搜索系统的现状和背景，并进行研究，设计并实现了系统的需求分析以及搜索功能。在实现功能的同吋，也对搜索引擎的工作原理、功能模块等方面进行了详细的介绍。实

2、现了Ajax的异步数据交互，从而完善了整个垂直搜索引擎系统的设计。关键词：Lucene；异步更新；Ajax；搜索引擎ABSTRACTWiththedevelopmentofnetwork,peoplehavemoreandmorehabitsfromtheInternettoobtainusefulinformationaboutthemselves.Luceneisonewayfortheconstructionofasearchengine.Thegraduationdesignforverticalsearchenginesystemiswr

3、ittenintheJAVAlanguage.Maincompletedfeatures:usethecrawlerscrapingofthepage;Accesstoeffectiveinformationinthedatabase;ThrouqhtheLuceneindex;Thesimplekeywordsearch;UsinqAjaxpartialrefreshthepagedisplayresults.Verticalsearchengine,thispaperaimedatthecurrentsituationofthevertical

4、searchenginesystemareintroducedindetailandbackground,andcarryonresearch,designandimplementthesystemrequirementsanalysisandsearchfunction.Atthesametimeoffunctionality,Alsotothesearchengine*sworkingprinciple,functionmoduleandsoonhascarriedonthedetailedintroduction.TheAjaxasynchr

5、onousdatainteraction,andperfectthedesignofverticalsearchenginesystem.Kevwords:Lucene;Asvnchronousupdate;Ajax;Searchenqines第1章绪论1.1研究现状随着互联网的快速发展，互联网技术已经应用到普通百姓的生活的方方而而,其屮搜索引擎的使用尤为广泛。在最近的15年吋间段，是搜索引擎爆炸性快速发展的阶段。搜索引擎的发展从最早的分类冃录的一代，经历文本检索，链接分析，到现在的以用户为中心的一代，为了顺应这种以互联网用户的个性化和和社交化为中

6、心的趋势，垂直搜索引擎应运而生口］。垂直搜索引擎是一个具冇行业色彩的搜索服务，针对特定的人群或领域。1.2主要研究的口的及内容让所有用户从同一个入口进入已经渐渐无法满足让用户对搜索的结杲满意，现在的用户需要更深入、更细致的查询方法。而以现在的科技水平来说，要及时获得网上的比较具体的信息是很困难的。如何让搜索引擎变得更加深入、专-•和及时变成了现在的主要研究方向。1.3研究方法及设计思路1.3.1研究方法采用软件工程的开发原理，依据软件流程过程规范，按照需求分析、概要设计、详细设计、程序编码、测试、软件应用、软件维护等过程开发了一个搜索引擎网站［2］

7、。采用JSP作为开发工具，结合mysql数据库，数据库设计遵循3范式。解决了搜索引擎屮存在的数据安全性、数据一致性以及系统运行速度等问题。1.3.2设计思路解决本课题的思路是：（1）理解什么是垂直搜索引擎，并且要多查询相关的资料和书籍，了解要做垂直搜索引擎需要使用哪些算法。（2）针对该课题的算法方面，首先是通过相关资料和书籍来了解需要哪些算法，再专门对这些算法进行了解分析，加上自己的想法来设计和改进。要做一个搜索引擎，首先耍对其的技术架构进行分析设计，分别是网络爬虫、网页去重、云存储与云计算平台、内容相似性、链接分析、网页排序等。（3）在网页分析阶

8、段，对数据的保存采用“倒排索引”这种高效的数据结构的查询方式。每个网页上面通常还有其他页面的链接，在进行分析的时候，通过“