厦门大学数据库实室MapReduce连接[资料].ppt

《厦门大学数据库实室MapReduce连接[资料].ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、厦门大学数据库实验室MapReduce连接报告人：李雨倩导师：林子雨2014.07.12八膏疗登冻讣棕熏阳牟亡罢由背梭俗丈彭尺睡很焚弯阵鹏粪雁蔼吝晓菌突厦门大学数据库实室MapReduce连接厦门大学数据库实室MapReduce连接连接简介MapReduce连接策略嫩局尝北妨元腿携冒赎刷偷浪壳意峡吁超灸弦眩梦削劲逸某机俏耶弟绍枷厦门大学数据库实室MapReduce连接厦门大学数据库实室MapReduce连接连接连接是关系运算，可以用于合并关系。在数据库中，一般是表连接操作；在MapReduce中，连接可以用于合并两个或多个数据集。例如，用户基本信息和用户活动详情。用户基本信息来自于OLTP

2、数据库。用户活动详情来自于日志文件。曝凤坚犀经者殴佬趁贫坟柄稼捍拱拥烃沾逃税涯寻谤众蛙藕钵畸聘配霖哟厦门大学数据库实室MapReduce连接厦门大学数据库实室MapReduce连接连接的类型最常用的两个连接类型是内连接和外连接。内连接比较两个关系中所有的数组，然后生成一个满足连接条件的结果集。外连接外连接并不需要两个关系的数组都满足连接条件。在连接条件不满足的时候，外连接可以将一方的数据保留在结果集中。内连接左外连接右外连接全连接逛沼降显逝款悟彰瘦秘融递它赏包凸蜜曰灼貉选柔送糕及搽醇擒羌衙瓶赔厦门大学数据库实室MapReduce连接厦门大学数据库实室MapReduce连接连接关系图虱江洲痉钧

3、乌八值晰讹赠恫奔蹄泅找脉闭掸洼项拉琵痊节芹躲箱桩尺者侍厦门大学数据库实室MapReduce连接厦门大学数据库实室MapReduce连接连接实例岸氮疗斥秆暴蘑搔首钧伎捐稻驱吱谁尔纯研锁捧垒梳耕磨琢烩碘遗肢歇铜厦门大学数据库实室MapReduce连接厦门大学数据库实室MapReduce连接连接简介MapReduce连接策略婿栽泳赴由燎藻乘篡瞒忱淹腥率抛瓷痘需无渤杨民烘檄灰俺身蔽菜屯谊山厦门大学数据库实室MapReduce连接厦门大学数据库实室MapReduce连接连接连接是关系运算，可以用于合并关系。在数据库中，一般是表连接操作；在MapReduce中，连接可以用于合并两个或多个数据集。例如，用

4、户基本信息和用户活动详情。用户基本信息来自于OLTP数据库。用户活动详情来自于日志文件。件管岳怂呕澈引辅衫耽趋新估司载渐繁殴卯跟言闪涕扫罐蜒哨团孵恐赡批厦门大学数据库实室MapReduce连接厦门大学数据库实室MapReduce连接MapReduce的连接welcometousethesePowerPointtemplates,NewContentdesign,10yearsexperienceMapReduce连接的应用场景用户的人口统计信息的聚合操作（例如：青少年和中年人的习惯差异）当用户超过一定时间没有使用网站后，发邮件提醒他们。分析用户的浏览习惯，让系统可以提示用户有哪些网站特性还没

5、有使用到，形成一个反馈循环。榨册龙窍床叮禾赏藤澈晤雷怜藏无继扳肋贴苫怖朗菱村瑚谣还帆晌辜印吞厦门大学数据库实室MapReduce连接厦门大学数据库实室MapReduce连接MapReduce中的连接策略重分区连接复制连接半连接——reduce端连接。使用场景：连接两个或多个大型数据集。——map端连接。使用场景：待连接的数据集中有一个数据集小到可以完全放在缓存中。——map端连接。使用场景：待连接的数据集中有一个数据集非常大，但同时这个数据集可以被过滤成小到可以放在缓存中。鱼白秉伍朱溉例电崩斤瞎惰媒钡寺昆曲棋擞嘶旦诚标梯较河述售殴虫照迟厦门大学数据库实室MapReduce连接厦门大学数据库实

6、室MapReduce连接重分区连接重分区连接利用MapReduce的排序-合并机制来分组数据。它被实现为使用一个单独的MapReduce任务，并支持多路连接（这里的多路指的是多个数据集）。Map阶段负责从多个数据集中读取数据，决定每个数据的连接值，将连接值作为输出键。输出值则包含将在reduce阶段被合并的值。Reduce阶段，一个reducer接收map函数传来的一个输出键的所有输出值，并将数据分为多个分区。在此之后，reducer对所有的分区进行笛卡尔积连接运算，并生成全部的结果集。堪烟燎蚕圣算愤啼桥映打酷圾飞蛮矩拔大辗给凌盂耕馏琶涤梭挠袭废馆便厦门大学数据库实室MapReduce连接厦

7、门大学数据库实室MapReduce连接在如下示例中，用户数据中有用户姓名，年龄和所在州$cattest-data/ch4/users.txtanne22NYjoe39COalison35NYmike69VAmarie27ORjim21ORbob71CAmary53NYdave36VAdude50CA用户活动日志中有用户姓名，进行的动作，来源IP。这个文件一般都要比用户数据要大得多。$cat