分布式数据流负载管理技术研究

《分布式数据流负载管理技术研究》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、南京航空航天大学硕士学位论分布式数据流负载管理技术研究姓名：吴再达中请学位级别：硕士_专业：计算机软件与理论_指导教师：毛宇光20071201数据流处理技术是最近几年数据库领域的一个新的研究方向，由于其广泛的应用前景而得到了广大研究人员的关注。分布式系统具有廉价的成本、强大的处理能力，处理速度快、数据量大的数据流具有先天的优势，分布式数据流处理技术一直是数扌居流研究屮的重要组成部分。论文主要就分布式数据流管理系统屮的负载管理技术进行研究，主要工作数据流管理系统中负载管理技术的特点和设计原则,改进了Borealis屮的负

2、载包括以下几个方面：对已有W原型系统的负载管理技术进行了分析，指出了管理模块，建立了一个实验平台；提出了一种基于算子相关性分析和网络流量分析的负载平衡算法，有效的减少了算子迁移所带来的负面影响；对分布式查询网络中的降载问题进行了研究，分析了节点间的负载依赖性，改进了一种分布式降载策略；研究了已有的滑动窗口连接查询屮的降载技术，结合前人一些研究成果的优点，提岀了一种基于基本窗口输出频率的滑动窗口连接查询降载算法。本文对负载管理技术的研究，立足于实际应用环境，尽可能减少不必要的假设，为数据流应用中的负载管理问题的进一步研究

3、提供了理论支持和实验借鉴。关键词：分布式数据流，负载管理，负载平衡，分布式降载，滑动窗口连接查询降载ABSTRACTRecently,datastreamprocessingtechnologyhasbecominganewresearchdirectionindatabasefields.Itwinsincreasingresearchersattentionbecauseofitswideapplicationprospects.Distributedsystems,withlowcostandpowerfulpr

4、ocessingcapability,haveinherentadvantagesinprocessingfastspeedandlargevolumedatastreams.Distributeddatastreamsprocessingtechnologyhasbeenoneofthemostimportantpartsofdatastreamsresearcharea.Inthispaper,westudytheloadmanagementtechnologyindistributeddatastreammana

5、gementsystem,thecontributionsconcludethefollowingaspects.AnalyzestheloadmanangementtechnologyofexistingDSMSprototypesystem,summarizestheloadmanagementtechnology'scharacteristicsanddesignprinciples,improvestheBorealis5sloadmanagementmoduleandestablishesasystemfor

6、experiment.Presentsaloadbalancealgorithmbasedonoperatorcorrelationanalysisandnetworktrafficanalysis,moreover,itreducesthenegativeimpactofoperatormigration.Investigatesloadsheddingissuesonthedistributedquerynetwork,analyzestheloaddependencebetweeneachnodeandimpro

7、vesadistributedloadsheddingstrategy.Studiestheexistingloadsheddingtechnologyinslidingwindowjoinandproposesaslidingwindowjoinqueryloadsheddingalgorithmwhichbasedonoutputfrequencyofbasewindow.Thestudyofloadmanagementtechnologyinthispaperisbasedontheactualapplicati

8、onenvironmentwithunnecessaryassumptions,providesthetheoryandapplicationsupportforfurtherstudy.KeyWords:DistributedDataStream,LoadManagement,LoadBanlance,Loadshedding