web搜索引擎基于人工智能的应用

《web搜索引擎基于人工智能的应用》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、web搜索引擎基于人工智能的应用　　班级：计算机应用２班　　　　姓名：邢朝阳　　　学号：07120547　　目前，Internet上的搜索引擎大致可分为3种类型：（1）基于人工建立的搜索引擎，如Yahoo。它是利用大量的人力浏览Internet页面，将其编制成HTML文件，对其进行分类，并按某种次序加以排列组合，使用户通过索引进行查阅。其优点是比较精确，缺点是编辑人员难以跟上Internet海量信息的更替步伐，建立的搜索索引覆盖面也受到限制。（2）基于搜索引擎即软件Robot自动在Internet上搜寻数据资源，并自动建立索引，如Alta

2、Vista、Lycos、Excitd等。这种方法速度快，自动生成的索引覆盖面广，但精确度差，人们往往要花很大的精力从庞杂的反馈中过滤出所需的信息。（3）元搜索引擎，如MetaCrawler。它实际上是一种本身不具备搜索引擎，而依靠其他原始引擎的索引或搜索接口来完成其搜索任务的引擎。尽管目前的搜索引擎给人们搜寻信息资源带来了很大的便利，但是从信息资源的覆盖面、检索精度、检索结果的可视化、可维护性等诸多方面看来，其效果远不能令人满意。　知识发现近几年来随着数据库和人工智能发展起来的一门新兴的数据库技术，帮助人们从庞大的目标数据集合中抽取出可信

3、的、新颖的、有效的并被人们理解的知识模式，以满足人们不同的应用需要。本文提出的web搜索引擎框架就是以知识发现为基础的，它具有如下特点：　（１）通过综合多个搜索引擎的结果，扩大了信息资源覆盖面；　（２）对各个搜索引擎返回的结果进行知识发现“再加工”，大大地提高了检索质量；　（３）对用户提交的查询，通过分析影响性能的时间因素和经验因素，优化选择效益好的搜索引擎进行信息检索，从而充分利用信息资源；　（４）不需要维护庞大的数据库，开发者可以将主要精力放在查询请求的分发和返回结果的处理上。一、系统结构基于知识发现的web搜索引擎系统框架主要由用户

4、接口Agent、变换调度管理模块、web文档搜集模块、知识发现模块及各web搜索引擎所组成。　（１）用户接口Agent。在搜索引擎系统中，用户接口在用户与信息资源之间起着桥梁作用。由于Internet信息资源的大容量、动态性和复杂性，传统的人机交互方式显得无能为力。基于Agent的用户接口被认为是解决人机交互问题的一个突破口，它为用户提供可视化接口，将用户的请求转化为专用语言传递给变换管理模块，并将知识发现所处理的文档展示给用户。在用户看来，用户接口Agent是一个半自主的应用程序，一方面，它了解用户的需求和爱好，能够代表用户智能地完成某

5、个任务，并具有学习和适应能力；另一方面，它受用户的控制，用户可以观察它的活动状态，也可以临时性地暂停或恢复其活动，甚至将它永久性地撤消。　（２）变换调度管理模块。接受来自用户接口Agent的用户查询请求，将其变换为各个搜索引擎所能识别的格式，并利用中介索引信息，对用户提交的查询，通过分析影响性能的时间因素（最佳查询时间）和经验因素（即某一个搜索引擎搜索某一类信息最佳），优化选择效益好的搜索引擎进行信息检索。此外，可根据用户提供的术语以及以往搜索成功与失败的经验，维护相应的中介索引。　（３）Web文档搜集模块。接受来自各个搜索引擎返回的搜索

6、结果，并按一定的规则存放在Web档库中。　（4）知识发现模块。各搜索引擎返回的web文档结果集只是一种简单的合并。目前由于大多数的搜索引擎一味追求其检索的信息的数量，忽视了检索的质量，所以这种简单集成的结果是不尽人意的。知识发现模块就是一个对各搜索引擎返回的大量web文档进行分析的多步骤过程，最终向用户提供高质量的检索结果。后文将重点讨论。二、知识发现过程及关键技术的实现　　知识发现的一般过程整个知识发现的过程可分为３个阶段：数据准备，数据挖掘，知识评估及表现。　（１）数据准备。数据准备主要包括数据选择、数据清理和数据预处理。因为实际应用

7、系统（各搜索引擎）收集到的数据是杂乱性、重复性和不完整性。一个完整的知识发现模块必须包含数据准备阶段，它以发现任务作为目标，以领域知识作为指导，用全新的“业务模型”来组织原来的web数据，抛弃一些与挖掘目标不相关的属性，为数据挖掘内核算法提供干净、准确、更有针对性的数据，从而减少挖掘内核的数据处理量，提高挖掘效率，提高知识发现的起点和知识的准确度。　（2）数据挖掘。数据挖掘阶段是整个知识发现过程的核心部分，也是其关键技术所在。这阶段的主要任务是确定发现知识的种类，研究数据挖掘的模型和算法，发现规则知识。目前流行的模型和算法来源于多个领域，

8、典型的如数理统计、机器学习、模式识别、神经网络、数据库技术等。由于领域对挖掘任务的约束条件千差万别，同时作为挖掘算法一部分的目标数据和领域知识本身存在着多种的、异质的表达方式，因此需要根据实际