构建可扩展可演进大数据架构毕洪宇

《构建可扩展可演进大数据架构毕洪宇》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、×ä«Gp°Ã×ÏëßAgenda•¦Ìᢕp°]•p°Z•¯•LV@2».均交易210城+日均交易11 6亿元+交易2城+数1 6亿元+700+800覆.城市600700+400日0单+500万+200年份年份08年10年12年14年16年008年10年12年14年16年background•a«•p°deMM^•MM
D¦dp°é$Í•>½motivation•Gò®Ò©•ä«ònGqɲæp°]ad#hoc##Persistent((#Data$Service$(#$(•TechAr

2、chitecture:
#
$
(


$

•p°_Data$Engine$$$

•p°·ê$

Data$Infrastructure$•p°²æÃ×$$$$
Ö]•p°¼òÖ·ê•m/ÂÛ•j¬*h•î³¶òЕ¼Ð•splitsizetuningp°cO·ê•SQLlz?•SQLl[z?±¥•ÄJO?n•Î함ÞN¾¤•¨ÞN@SQLO?drag&drop-Ö·ê`¥•MMR6MPP
7•Ü¥•

3、Á¥OLAPengine:kylin•ab;[-

4、•²2ÖKN×Cubep°Q Ñ·ê`¥•MySQLñDALôËHç•Cassandraô~ËHç•Redis-Clusterô)k-vstore•ElasticsearchôxNÊWÖN·ê•Y/ªCònã?•n%p°ã8gôMySQL/HBase/Cassandra/Redis•:guidelineÚER¡ ô$Ý•@ÓHç<Ü•4uÅ(ðp°Z•5a´•vPZ5a´tvÆHData.Pipeline..Binlog.Redis

5、torm
.•iÜNginx
Flume
.MySQL
.
•HA



实时计算实时存储•ä« ÑôStorm可扩展优化Redis- luster•"$3ó!¸Ã×ó$3•ä«tvô容量-析实时监控•1rÊW水位系统集群性能监控•AÇWYtvUÔCAP•1•)èÈÕ•fNvPZ•

6、
hashìp•AQshuffle•&1Q•ÇbØįR¡•w

7、ikiô'£§.òSOPòâz9õ•jira•workflowôbug9òÙå´òB#9òu9•reportR¡ô¼Oòto-dolistòB#z0õsoftskill•àSôº}À&&V+¹wd&&,T±Detec%onEscala%on•let’sdatatalk:e.g.alertreport•failforward:DERPSceneProtectionPreven%onRemedia%onLV•nomeasureònoimprovement•balancedesignòthenoptimisation•syncat

8、therighttime•automateeverything•everythingmayfail•conway’slaw“Thewaytodoreallybigthingsistodoreallysmallthingsandgrowthembigger.”–MarkZhang