中国工商银行股份有限公司数据中心(上海) 陈望斌

　　当前我国银行业基本完成了数据大集中工程建设，数据中心成为商业银行业务持续发展的新起点，提高了银行经营管理水平、增强了银行业务创新和核心竞争能力。但数据中心在提高运营效率，降低维护成本的同时，也带来了风险的高度集中。先进的信息系统在支撑银行业务飞速发展的同时，也面临着各种各样潜在的灾难威胁，信息系统故障可能会造成客户账务数据的丢失和业务服务的中断。

　　根据权威机构统计，美国近10年因遭遇灾难事件导致数据丢失，造成业务无法持续开展的公司中，55%立刻倒闭，29%两年之内倒闭。没有业务连续性保护的公司在遇到灾难后60%在2～3年内破产。而根据工商银行2011年对主要业务所做的业务影响分析，若全行业务中断8小时，所造成的直接财物损失达2亿元人民币;若中断24小时，损失超过5亿元人民币。

　　高度集中的信息系统已经成为商业银行业务运营的生命线，提高信息系统应对灾难冲击的连续运营能力成为商业银行一个无法回避的课题。

　　一、工商银行灾备体系建设历程

　　工商银行于1999年开启了数据中心集约化建设的先河，在北京、上海分别建立两大数据中心后，于2002年1月在国内率先启动了主机灾难备份工程。工商银行以其雄厚的技术实力和有效的组织规划，经过多年的建设和持续投入，已经实现了高等级的核心系统灾备体系建设，完成了全行应用分等级灾备体系建设，并正在紧锣密鼓的开展“两地三中心”工程建设(如图1所示)。

　　工商银行灾备系统的建设水平达到了国际先进和国内领先水平，获得了国家金融主管部门、同业和外部服务商的广泛认可，相关建设成果先后获得中国人民银行科技进步奖一等奖一项和二等奖两项，并获得英国《银行家》“最佳业务连续性管理奖”等多项荣誉。

　　二、工商银行灾备体系架构

　　工商银行已经建立了覆盖各个应用灾备等级、从数据中心延伸到分支机构的、以信息系统连续性运作计划为综合保障的灾备体系(如图2所示)。

　　1.应用分等级灾备体系

　　通过业务影响分析，建立全行统一的应用灾备等级标准，完成应用系统的灾备等级划分，实现基本灾备保障能力全面覆盖、重点提升关键业务保障能力的全面应用系统灾备保障体系。

　　2.信息系统连续性运作计划

　　工商银行通过制定信息系统连续性运作计划，建立起完善的灾难恢复组织体系、灾难恢复流程，并定期举行灾难恢复应急演练，切实提高对灾难事件的应急响应能力。

　　3.数据中心灾备建设

　　(1)主机核心系统灾备架构

　　工商银行主机系统灾备架构由生产中心双园区数据热备系统和千公里级异地灾备系统组成。生产中心双园区数据热备系统由分布在上海生产中心两个园区的主机组成一个并行耦合体(Sysplex)，生产园区承担全行核心业务，备份园区为热备系统，园区间磁盘采用PPRC同步复制技术。正常情况下所有主机业务只运行在生产园区，当发生园区级灾难时，可以在1小时内将所有主机业务切换到备份园区运行，并确保数据零丢失。2011年12月，工商银行在国内大型商业银行中首次实现了核心业务系统在不同园区间不停机切换运行并接管业务服务，整个切换过程对业务操作完全透明。

　　异地灾备系统运行在北京灾备中心的灾难恢复环境，与上海生产中心之间的距离超过1200公里。异地灾备系统采用GDPS/XRC异步复制技术实现磁盘数据镜像，日均同步数据总量超过10TB。工商银行灾备中心已通过ISO9001认证，配备了专职人员实施灾难恢复系统日常维护和应急切换工作，当宣布发生灾难事件启动灾备切换，灾难恢复系统可以在2小时内接管全行核心业务，最大数据丢失时间在2分钟以内。

　　(2)开放平台系统灾备架构

　　针对开放平台应用种类繁多、灾难恢复需求差异大的特点，工商银行以业务影响分析为基础，制定了应用系统灾备等级标准，坚持“全面覆盖基本保障能力、重点针对关键核心应用部署高等级灾备保障技术”的实施原则，进行了7个层级的应用等级划分并实施差异化配置标准。在等级划分上，注重对柜面业务、ATM、POS、资本市场等关键业务实现端到端的高等级灾备保护，即当某应用系统被“高等级”应用系统实时调用，则其灾备等级要保持和“高等级”应用系统一致。

　　4. 分支机构灾备建设

　　(1)一级分行中心机房灾备

　　工商银行各一级分行中心机房部署了通用网关、新终端平台、综合前置、跨行支付、中间业务平台等业务系统，目前，一级分行各应用系统均按照应用系统灾备等级标准要求建设，具备低灾备等级保障能力。一级分行中心机房作为连接分行与数据中心的重要网络节点，一旦发生如火灾、停电等场地级的灾难事件，分行和数据中心的通信网络将中断，分行中心机房部署的通用网关、新终端平台、综合前置等业务系统在短时间内将无法恢复正常运行，分行辖内柜面、自助终端等关键业务将无法开展。

　　为积极推动完善工商银行全局性信息系统灾备技术体系建设，确保一级分行关键业务的连续性运行，工商银行于2010年启动一级分行中心机房灾备设计项目，针对一级分行中心机房的新终端、综合前置、通用网关等核心应用，建立灾备机房实现灾难备份。正常情况下，中心机房和灾备机房通过负载均衡共同运行;生产机房一旦发生灾难，及时切换到备份机房，确保分行辖内业务的连续性运行。

　　(2)集中式营运中心共享场地灾备

　　为了确保关键业务的连续性运行，工商银行在2007年启动了集中式营运中心场地灾备建设工作，至2011年底已完成包括牡丹卡中心、资产托管部、金融市场部、参数管理中心、电子银行中心在内的5家在京总行业务集中式营运中心场地灾备建设。当办公场地发生场地级的灾难后，业务人员转移到数据中心(上海)北京分中心的共享备份场地，继续业务办理。

    三、信息系统连续性运作计划与灾备演练

　　通过制定信息系统连续性运作计划，工商银行建立起完善的灾难恢复组织体系和灾难应急恢复流程。工商银行灾备应急组织体系是全行应急组织体系的重要组成部分，包括应急领导小组、应急恢复小组、业务恢复小组、技术支持小组、行政支持小组等(如图3所示)。

　　总行信息系统应急领导小组统筹领导全行灾难恢复工作，并指导灾难备份中心、分行信息系统应急领导小组实施本单位的灾难应急恢复工作。

　　工商银行的信息系统连续性运作计划将灾难恢复应急流程明确定义为灾难预警、启动、灾难恢复、灾难解除和回切生产中心五个阶段。为了确认连续性计划的正确性和有效性，不断完善和优化灾难恢复流程，工商银行定期安排不同级别的灾难恢复应急演练。根据灾难恢复演练的不同级别和参与范围，依次分为三个级别：系统级灾难恢复演练、应用级灾难恢复演练、业务级灾难恢复演练(或称灾备总体恢复演练)。级别最高的业务级灾难恢复演练，主要验证全行的灾难恢复应急处理能力，演练范围涉及全行境内外机构。

　　目前工商银行每年至少举行一次采用临时通知方式启动的业务级灾难恢复演练，以更加真实地模拟灾难发生时的情况，并充分利用演练机会，在全行范围内宣传灾备应急理念、提升员工灾难风险意识和灾备管理水平。

　　四、启动“两地三中心”灾备体系建设

　　为进一步提升信息系统灾难恢复能力，工商银行积极研究、利用先进技术，启动了 “两地三中心”工程建设。根据规划，2014年将在上海嘉定建立同城数据中心，与上海外高桥数据中心构成同城双中心，同城双中心整体与北京异地灾备中心组成异地灾备模式(如图4所示)。

　　“两地三中心”模式可以满足不同灾难场景下的恢复要求，实现更灵活的风险应对。在架构布局上，上海同城双中心具备基本相同的业务处理能力并通过高速链路实时同步数据，距离约55公里，日常情况下可按主/备或双活模式运行。在发生区域级灾难某个中心失效时，可在基本不丢失数据的情况下进行双中心间的应急切换，保持业务连续运行。北京异地灾备中心用于同城双中心的灾难恢复，当出现因大范围自然灾害等原因导致同城双中心同时失效时，异地灾备中心可以用灾备系统接管全行核心业务。