大云NOSQL系统设计思考

《大云NOSQL系统设计思考》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、大云NOSQL系统设计思考--NOSQL在电信行业的应用郭磊涛guoleitao@chinamobile.com;微博：@ltguo2011-12-02提纲1NoSQL及其应用情况2大云NoSQL系统研发需求3大云NoSQL系统设计思路探讨NoSQL
NotOnlySQL/Non-relational一种为满足特定应用需求而设计的结构化存储系统，其不保证关系数据库的ACID特性以及join操作，但是一般支持动态tableschema定义并具有更好的扩展性。按照数据模型来分类•简单Key–Value键值对，通常只提供简单的get/set/delete操

2、作•e.g.TC/TT,Dynamo,Voldemort,BDB,Riak,memBase,levelDB，memcacheDB,Tair...•支持行列描述的Key-Value系统，可以针对column做特定的操作•e.g.HBase,Cassandra,Hypertable...•文档数据库，一般以JSON等文档格式存储组织数据•e.g.MongoDB,CouchDB•图数据库，图形关系的最佳存储，提供各种图算法API•e.g.Neo4j,FlockDB针对自己具体的应用需求，大量互联网公司开发了NoSQL系统，并对外开源开源NoSQL数据库

3、需要经过更多的验证、评估和优化才可以应用到生产系统NOSQL已经在互联网行业得到广泛应用Facebook的SocialInbox系统集成了文本消息、IM、Email和SMS，每月需要存储1350亿条信息。Amazon有多种业务使用Dynamo系统，例如查附件和较大的msg存储在Haystack中，其余信息询卖家排行、购物车、用户偏好查询、产品目录存储在HBase中，总存储量为25TB/月月月查询。同时，推出了SimpleDB的key-value服务大量互联网公司均在其系统中采用开源或自研的NoSQL大部分系统提供数据最终一致性对数据读写实时性要求一般

4、有的应用允许NoSQL存在短暂的不可访问的现象电信行业交易型结构化数据存储场景电信行业交易型结构化数据存储的举例：话单结算系统-业务描述：省间结算-系统架构：利用小型机+Oracle数据库存储和处理结算话单-数据处理方式：实时批处理插入、查询和删除。高吞吐率，低延时-数据库和集中存储系统IO压力大清帐单查询系统-业务描述：用户清帐单的存储与查询-系统架构：账单主要存储于Oracle数据库，清单以文件方式存储-数据处理方式：低延迟数据导入、查询和导出-需要提供大量并发查询，同时需要统计分析功能电信业交易型结构化存储移动互联网应用系统，仍然以传统RDBM

5、S为主，但是存在-业务描述：图书按整本、章节、分册进行订购性能和可伸缩性瓶颈-系统架构：小型机+Oracle数据库-数据处理方式：实时插入和查询，高吞吐率，低延时-订购关系永不删除，数据持续增长，数据库存储和处理压力大NoSQL的适用场景之一：分布式实时批处理计费结算系统现状磁盘阵列结算系统目前架构示意图高端存储交换机主要技术难题：数据库和存储系统I/O1.数据库：计费话单每月几千亿条小型机+Oracle分库，分库使扩容更困难。2.集中存储使I/O压力增加.应用服务器可以采用某种策略对话单数据进行拆分，多节点方式并行处理，计算和存储都实现水平扩展对对

6、对NoSQL的需求NoSQL用于存储用户信息息息、息、、、查重索引库查重索引库•实时批量数据加载、查询和删除能力•读写比率相当•数据强一致性可按一定策略拆分数据，，，完成处理后，，，合并数据，合并数据多节点并行处理NoSQL的适用场景之二：订购关系存储存储某业务的订购关系业务一旦订购，用户可永久使用。订购关系数据只增不删去年该业务订购关系已达20亿左右，每天新增1200万按当前增长速度计算，目前订购关系已达60+亿条。随着业务的增长，几年后订购关系将达到500亿条左右。数据操作90%为订购关系鉴权操作，9%为insert，1%为统计查询高并发，响应时

7、间毫秒级目前状态：小型机+Oracle，数据存储量大，扩容成本高对对对NoSQL的需求•海量数据存储•高并发低延时•读多写少•数据强一致性电信领域对采用NoSQL仍然存在一些顾虑用户对采用NoSQL存在一些顾虑编程接口的改变现有电信行业交易型结构化数据存储应用基本全部采用SQL，需要修改现有应用才能使用NoSQL数据一致性大部分开源NoSQL系统提供数据最终一致性保证，而电信应用要求数据读写必须准确对事务的支持基本上所有NoSQL系统均不支持事务处理辅助功能导入/导出工具、快照、安装部署、性能监控等工具提纲1NoSQL及其应用情况2大云NoS

8、QL系统研发需求3大云NoSQL系统设计思路探讨大云NoSQL系统需求大云NoSQL是面向电信行业应用支持行