springbatch在实际应用中的设计

《springbatch在实际应用中的设计》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、并发模块软件开发概要设计本文档内容涉及安邦财产保险股份有限公司商业秘密，不得以任何形式披露、传播或扩散。第25页共25页文档描述文档名称项目并发模块软件开发概要设计内容简介并发模块概要设计介绍文档变更本文档内容涉及安邦财产保险股份有限公司商业秘密，不得以任何形式披露、传播或扩散。第25页共25页目录1引言61.1背景61.2目的61.3术语缩略语71.4参考资料71.5适用人群72需求描述82.1业务需求82.2对并发模块的要求83模块概述93.1功能概述93.2模块范围103.3需求103.3.1功能需求103.3.2非功能需求113.3.3机制描述123.4运行环境143.

2、4.1开发环境14本文档内容涉及安邦财产保险股份有限公司商业秘密，不得以任何形式披露、传播或扩散。第25页共25页3.4.2部署环境153.5设计和实现约束154模块整体设计164.1Springbatch介绍164.1.1业务场景164.1.2普通业务流程174.1.3总体架构184.1.4领域模型204.2Quartz介绍204.2.1业务场景204.2.2总体架构214.2.3领域模型224.2.4特点224.3框架整合234.3.1Spring+springbatch+quartz整合234.3.2事务支持234.4代码部署设计244.4.1旧有系统嵌入244.4.2新

3、系统嵌入25本文档内容涉及安邦财产保险股份有限公司商业秘密，不得以任何形式披露、传播或扩散。第25页共25页本文档内容涉及安邦财产保险股份有限公司商业秘密，不得以任何形式披露、传播或扩散。第25页共25页1引言1.1背景为应对业务快速发展及全业务网上营销的需要，公司迫切需要整合目前的所有系统，进而推出以为主体的电子商务网站。在的实际应用中，常常需要对大批量的数据进行读取、验证、保存及交换等相关的一些操作。各系统自主开发相关的大数据处理模块，有可能会使系统出现如下问题：Ø代码重复开发，实现代码差异过大，代码维护成本增大Ø开发人员水平不一，代码质量无法得到保证，可能会产生效率问题，

4、尤其数据量增大后，代码的执行效果无法得到保证因此，需要将大数据量的处理的问题作为项目中一个比较重要的模块独立考虑，并发模块应运而生。1.2目的本文主要是针对中，可能出现的并发应用的场景进行描述，并对此场景进行需求分析提炼，对并发模块中涉及到的批处理、异步、并发等机制进行阐述，对数据处理涉及到的功能进行概要设计。本文档内容涉及安邦财产保险股份有限公司商业秘密，不得以任何形式披露、传播或扩散。第25页共25页1.1术语缩略语序号术语/缩略语全称及说明1231.2参考资料spring-batch-docs.pdfQuartzJobSchedulingFramework中文版V0.9.

5、1.chmQuartz的官方网站：www.quartz-scheduler.orgSpringbatch的官方网站：www.springsource.org/spring-batch/1.3适用人群Ø对spring体系结构有一定了解Ø在springbatchquartz方面有兴趣Ø在批处理方面遇到不同需求本文档内容涉及安邦财产保险股份有限公司商业秘密，不得以任何形式披露、传播或扩散。第25页共25页1需求描述1.1业务需求经过对项目的调研，有许多涉及到大数据量处理的业务需求：1.在周末、月末、节日等自动发送大批量信息去提醒或进行业务节点操作2.生成交费通知书，生成银行转账，保

6、单满期失效等各种批处理。一般这些批处理在晚上没有其它在线业务的时候运行，白天不能运行这些批处理，以免影响在线实时处理。晚上的时间毕竟有限，最低程度也要在整个晚上将这些批处理运行完毕，不能延续到第二天的营业开始时间。1.2对并发模块的要求Ø对大数据量进行批量处理Ø单个任务的并行执行Ø定制时间节点启动任务Ø循环任务执行Ø可以日志记录及进行重启本文档内容涉及安邦财产保险股份有限公司商业秘密，不得以任何形式披露、传播或扩散。第25页共25页1模块概述1.1功能概述并发模块主要处理系统中大数据量批量操作的所有问题。系统可以将所有大批量的周期操作都可以放到此模块中。此模块主要具备的三个方面

7、的功能：Ø定制时间的功能作为周期性的操作，肯定会涉及到时间的处理问题，此模块必须有相关的时间定制才能满足此需求Ø批量数据处理的功能此为基本功能。由大数据量引出的其他功能如，数据启动时的触发，数据中间的处理，处理出错后的补救，数据处理中的事务等一系列的功能，对批量数据处理进行支持Ø日志功能在数据操作的过程中，对每一个操作步骤及关键节点进行纪录是有益于监控操作过程的，即使操作失败，也方便对过程进行分析本文档内容涉及安邦财产保险股份有限公司商业秘密，不得以任何形式披露、传播或扩散。第25页共25页