分布式搜索服务管理监控系统设计与实现

《分布式搜索服务管理监控系统设计与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、分布式搜索服务管理监控系统设计与实现DesignandImplementationofSupervisorySystemforDistributedSearchService工程领域：计算机技术作者姓名：鲍贺星指导教师：李晓红企业导师：郝杰天津大学计算机科学与技术学院二零一七年四月万方数据独创性声明本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得天津大学或其他教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢

2、意。学位论文作者签名：签字日期：年月日学位论文版权使用授权书本学位论文作者完全了解天津大学有关保留、使用学位论文的规定。特授权天津大学可以将学位论文的全部或部分内容编入有关数据库进行检索，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校向国家有关部门或机构送交论文的复印件和磁盘。（保密的学位论文在解密后适用本授权说明）学位论文作者签名：导师签名：签字日期：年月日签字日期：年月日万方数据摘要在现代大规模网站中，搜索引擎服务占据了很重要的地位。通常这些搜索服务规模很大，并由相互依赖的不同角色组成不同部分。如何便捷高效地管理这些服务及其数据，是当今搜索服务管理员所面临的一个很

3、困难的问题。作者在工作中研究了搜索引擎服务中的日常管理操作和服务升级工作流程，分析总结了其中涉及到的功能需求和业务痛点，使用面向对象思想分析设计了一套服务管理监控系统并实现，以期解决搜索服务运维管理困难问题。作者完成了系统的需求调研与分析、功能建模和设计，开发代码实现该系统，测试后在实际生产环境中部署实施。该系统是一套分布式系统，构成分为两个角色，一个是任务发布与控制，取名为Admiral；一个是任务执行与监控，取名为Marine。Admiral是控制调度中心，用户可以通过Web界面和命令行方式，直接与之交互，查询被管理搜索服务中各服务的运行状态，发布服务管理任务。Marine是监控执行

4、终端，部署在每一台被管理监控的服务器上，负责本机的系统状态监控、服务状态监控，并执行Admiral发布的服务管理任务。Admiral和Marine均以事件驱动架构实现，通过ApacheZooKeeper协调服务技术通信和协调工作，共同组成了一套服务管理监控系统。该系统将服务管理工作过程中的流程和操作自动化、并行化，减少了服务管理人员在工作中的时间和精力投入，通过严格的服务进程监控和系统状态监控，提高了管理操作中命令执行的可靠性。该系统可用于运营开发领域中的搜索服务管理、配置管理和系统监控平台。经过在58网站搜索服务内部测试，证明该系统运行正常，表现良好，达到了预期的目标。关键词：系统与服

5、务监控，分布式应用，ZooKeeper，搜索服务I万方数据ABSTRACTServicesprovidedbysearchingengineclustersareplayinganimportantroleinmodernlarge-scalewebsites.Generallythesearelargeclustersandtheyconsistofdifferentpartswithdifferentrolesworkingtogetherinterdependently.Howtomanagetheseservicesanddataefficientlyandconvenientl

6、yisahardproblemthatthesearchingserviceadministratorsarefacingnowadays.Tosolvethisproblem,theauthordesignsandimplementsasystemfortheservicemanagementandsupervisorybasedonstudyaboutthedailyoperationsandupgradeworkflowwithsearchingservice.Theauthorinvestigatesandanalysestherequirements,designsthemod

7、elingofmainworkflowofthesystemandwritesthecodetoimplementit.Afterlotsoftests,thesystemisdeployedintheproductionenvironment.Thedistributedsystemisconstructedbytwoparts:thefirstisasystemmanagingtaskpublishingandsystemcon