新时代证券有限责任公司信息技术部 张志强 刘蔚

　　证券行业完成从分散式交易模式向集中式交易模式的过渡之后，集中交易带来的风险集中问题日益成为行业面临的共同问题。实时交易业务对信息系统安全性、稳定性的要求不断提高，日益复杂的业务系统也对保障业务连续性的运行模式提出了挑战。针对以上问题，各证券公司在核心交易系统的容错和备份模式上进行了多方位的探索，行业管理机构也发布了《证券期货经营机构信息系统备份能力标准》规范和指导行业的信息系统备份能力建设。

　　一、“双中心”运行架构概述

　　新时代证券2 0 0 9 年由原新时代证券和上海远东证券合并组建而成。合并之初， 新时代证券面临的首要问题就是两套信息系统的整合，其中最大的难点是集中交易系统的整合。原两公司分别在北京上海各自拥有一套主备模式的集中交易柜台系统，分布在四个主要机房，技术人员也分驻两地。借助系统整合的契机，打造一套高可用核心交易业务系统，探索一套符合行业发展方向的系统运行模式是新时代证券系统整合的目标。同时，在不改变工作地点的前提下如何充分发挥两地信息技术人员的作用也是需要解决的问题。

　　针对以上情况，结合行业经验和自身的特点，新时代证券自主设计并建设了行业内第一套异地“双中心” 集中交易系统， 并完善了“双中心”系统运行和切换方案。2010年3月29日新时代证券异地“双中心”集中交易系统正式上线，运行3年来，显著提升了集中交易系统的备份能力，简化了决策流程，缩短了切换时间，提高了备份系统可用性，在保障证券交易业务连续性方面探索出了一种新的模式。

　　新时代证券集中交易双中心运行模式是通过在北京和上海两地中心建设全对称、全冗余的网络构架和交易系统，结合一体化的运维团队，构建了集中交易异地“双中心”系统架构，实现了集中交易业务在“双中心”之间交叉值班、分级切换、轮换生产、互为灾备的运行模式，大幅提高了备份系统的可用性，简化了紧急事件决策流程，提升了技术人员工作效率，为保障证券交易业务连续性提供了一种新的备份思路。

　　二、异地双中心体系架构

　　1. 全对称集中交易系统架构

　　新时代证券集中交易双中心部署(如图1所示)，两个中心分别建在北京中心机房和上海证通的托管机房内。为保障两个中心的业务完整性和独立性，两中心的集中交易系统软硬件配置、拓扑结构完全相同，甚至设备在机架上的安装顺序、主机名称等都完全对称。

　　在北京中心采用两台IBM P570小型机及一台IBM DS5100存储阵列搭建了ORACLE RAC高可用性数据库，两台小型机做负载均衡方式的热备份。另一台IBM P570小型机用做本地查询、温备数据库服务器，数据库之间通过DSG数据复制软件进行同步，同步延迟时间小于3秒。中间件服务器(AS)采用12台HPDL380服务器作分组负载均衡，中间件路由(AR)采用3台HP DL380服务器作全冗余负载均衡。其他所有的报盘、三方存管、行情处理等子系统也全部有备份或冗余配置。上海中心的系统架构和配置与北京中心完全一致。

　　因为两地集中交易系统的数据库服务器、各级中间件、处理机、报盘、三方存管等设备及通信线路完全1:1配置，因此两个交易中心都具有100%交易接管能力，在日常运行时可以根据运行计划或实际情况轮流作主用或备用中心使用。

　　2. 全对称网络架构

　　北京、上海两个交易中心各使用两台Juniper M10i运营商级路由器通过电信和联通两家运营商的两条10M长途线路互联，构成广域网骨干(如图2所示)。各营业部分别通过联通(至北京)、电信(至上海)两条2M SDH线路与北京、上海中心连通，两个中心也都具备到交易所、登记公司、三方存管银行等外部机构的独立通信线路。各应用系统按业务划分为不同的安全域，所有安全域边界均通过防火墙进行隔离，其中集中交易业务通过华为USG5320防火墙接入核心交易网，与外围系统各安全域的Juniper防火墙组成异构防火墙架构。

    3.MPLS VPN隧道技术应用

　　为满足北京、上海两个交易中心多业务独立互联和三方存管线路实时热切换的需求，新时代证券创新的将MPLS VPN隧道技术应用于数据同步、带外管理、报盘及三方存管线路备份等业务领域。

　　图3为三层MPLS VPN隧道技术的应用实例，通过在两中心各自的边界路由器(PE设备)上部署独立的三层VPN实例，实现两中心之间特定网段(核心交易、带外管理等网段)的路由互通，同时保障各自网段的独立性和私密性，并与公司广域网严格隔离。

　　更具特色的是二层MPLS VPN隧道技术的应用，由于异地双中心构架的特殊性，到三方存管银行的线路分别连接到北京和上海两地交易中心， 要实现三方存管主、备线路的实时热切换，就必须实现两中心三方存管网络的二层互通。为最大限度的复用两中心间的互联资源，新时代证券采用二层MPLS VPN隧道技术实现了上述网络的二层互通(如图4所示)。

　　由于北京、上海两中心的三方存管网络已经实现了二层互通，就可以在两中心连接银行的三方存管路由上部署路由热备份协议(VRRP)，从而实现了异地三方存管线路的实时热切换，提升了三方存管业务连续性保障能力。

　　4.数据同步方案

　　新时代证券的恒生集中交易柜台系统使用的是ORACLE数据库，经过认真比较，选用了业内较成熟的DSG数据库复制技术实现双中心之间的数据同步。DSG数据库日志复制技术是针对数据库提供的基于逻辑的数据复制方式。通过直接捕获源数据库日志，将数据库的改变逻辑复制到目标系统数据库中，实现源系统和目标系统数据的一致性。目标端数据库在复制过程中处于在线可用状态(数据复制路径如图5所示)。

　　图5中主生产数据库同时向本地温备/查询服务器和异地主数据库复制数据，同时异地主数据再向同中心温备/查询服务器复制数据。双中心切换运行时，数据复制路径相反。应用此方案后，新时代证券也实现了CRM、风控等业务支持系统在本地进行数据采集，不需要在远程部署采集服务器。经过近三年的运行验证，此数据复制方案对主系统CPU占用率较小(<2%)，对网络带宽要求较低，适应于远程窄带数据同步应用，数据延迟一般可控制在2秒钟以内。

　　三、异地“双中心”运营模式

　　1.灵活的“双中心”业务模式

　　基于双中心完善的体系构架，实现了集中交易系统核心数据库、中间件、报盘机、三方存管平台等各业务子系统的模块化部署和分级切换(业务流向如图6所示)。

　　在上海中心作生产中心时，北京中心的数据库及中间件服务器处于备份状态，但北京中心的核心中间件路由(Apliacation Route，AR)级联在上海中心的核心中间件路由之下，分别部署在两个中心的报盘、三方存管、网上交易等功能模块都直联本中心的中间件路由，避免远程连接。按照这种部署模式，在进行双中心切换时，除营业部上级路由需要切换以外，所有的外围功能模块都不需要进行任何变动，只需要改变核心中间件路由的级联方向就可以将全部外围系统切换过来，大大简化了切换操作步骤。在进行应急备份切换时，为最大限度提高切换速度，甚至营业部端也不需要切换上级中间件路由，此时所有营业部不需要做任何操作，但全部场内业务都需要通过上海和北京中心之间的双线路进行迂回(实测新时代证券全部42家营业部实时数据流量之和小于5M)。

　　待营业部做好切换工作准备后，可根据实际情况选择是否进行切换操作。这种切换模式可以最大限度保障各外围系统切换的简单性，避免各营业部参与切换时组织困难、同步困难、效率不高的情况。在灾难情况下也可保障切换迅速，保持业务连续运行。

　　得益于双中心全对称的系统部署模式和灵活的切换策略，新时代证券也实现了网络、报盘、三方存管等子系统的全对称、全冗余的运行架构，每一模块都可以独立部署，独立切换，大大提高了系统应用的灵活性。在发生网络通信中断、报盘系统故障、三方存管系统故障等局部系统失效时，可以单系统独立切换，而不必将整个交易中心切换到备份中心，从而降低了突发事件的处理难度、减少了处理时间，提高了全系统的安全级别。例如报盘系统实现模块化部署后，物理报盘点与后台核心数据库不再直接挂钩，也不必一定要部署在同一机房。在北京中心作生产中心时，上交所报盘机仍然可以运行在上海中心，以便提高报盘速度。同理，在发生局部系统故障且本地备份失效时，可以以功能模块为基本单元进行独立切换，而不必对整套集中交易系统进行重大调整，甚至进行灾备切换。

　　2.辅助技术手段

　　为实现“ 双中心” 一体化运行，规避异地运行带来的一系列问题，新时代证券开发建设了一体化的“IT运维及资产管理系统”、双中心音视频直通系统、全网直通堡垒机应用等辅助技术系统，并在这些系统基础上制定了符合“双中心”运行特点的一系列操作流程、管理制度，达到了双中心互联互通、异地协同、交叉运维的目标。

　　(1)一体化IT运维及资产管理系统

　　IT运维及资产管理系统是针对新时代证券运行体系开发的一套辅助运行管理系统，系统中配置了每个操作员日常需完成的全部操作任务，可以定时提醒并记录操作员的每项操作，代替了传统的操作日志逐项打钩的运行管理办法。系统设置了独立的管理员、操作员、复核员，可以分别设置各种级联操作流程， 有效解决了异地运维的协同问题。

　　(2)双中心音视频7×24小时直联

　　双中心音视频直通系统是通过视频会议系统在两个交易中心监控室内建立7x24小时音频与视频直联，实现了面对面交流。机房日常运维时的很多需要沟通联络的事情根本不需要特意打电话通知对方值班人员，只要抬头对着屏幕直接告知即可。该系统开通后，极大地方便了两地技术人员的日常沟通联络，降低了沟通成本，也增进了两地运维人员的了解，拉近了人与人之间的距离，有效提升了工作中的默契度。

　　(3)全网直通堡垒机应用

　　全网直通堡垒机是实现异地互操作的基础，运维人员通过身份认证登录后， 可以从远程对其有访问权限的主机进行直接操作，实现了操作员与被操作系统的物理地址无关， 为远程互操作提供了技术手段。

　　3.“双中心”运行模式

　　基于全对称的系统架构和多样化的沟通联络技术，结合新时代证券信息技术人员分布在北京、上海两地的特点，新时代证券实现了集中交易业务在“双中心”之间交叉值班、轮换生产、互为灾备的运行模式。

　　(1)“双中心”技术人员交叉值班

　　北京、上海两地交易中心建成后，借助于多样化的技术手段，新时代证券完全实现了双中心技术人员交叉备岗、轮换值班，岗位设置与岗位操作员所在位置无关。例如某一值机工作需要操作岗位A与复核岗位B共同完成，新时代证券就可以将北京中心的操作员X配置在A岗位上，同时将上海中心的操作员Y配置在B岗位上，由操作员X、Y两人协同完成这一工作，同时也可以根据情况随时将X与Y所承担的岗位对调。这一运行措施的实行，大大提高了技术人员的工作效率，解决了两中心工作量分配不均、备岗人员长期得不到锻炼等一系列难题。两中心运维人员进行远程互操作或是异地轮岗时完全没有障碍，不需要进行任何培训和适应过程。

　　(2)“双中心”系统轮换运行

　　因为北京、上海两中心的集中交易系统架构完全对称，运维人员在日常操作时也都是交叉值机，不存在“主/备”概念，所以两地集中交易系统都可以轮换用作主生产中心。而且“主”中心的切换对所有的操作人员和客户基本没有影响。为更好地实现双中心轮换生产，时刻保障备份中心的可用性， 新时代证券制定了配套的规章制度和操作流程来规范运行、测试、演练、升级等一系列日常工作。经过两年的实际生产检验，证明“双中心”轮换运行模式是一种安全、可靠、高效的集中交易系统运行模式。

　　(3)“双中心”系统互为灾备

　　因为实现了两地中心1:1配置、交叉值班、轮换运行，所以两个中心的集中交易系统互为灾备，两个中心的轮换运行也从根本上保障了备份中心的可用性，简化了紧急情况的决策流程。

　　基于“双中心”的模块化设计和分级切换的特性，加上备份系统高可用性的保障，新时代证券大大简化了在紧急情况下进行备份切换的决策流程，局部系统分级切换命令可以由值班操作员直接下达切换指令， 整体灾备切换也只需要由值班技术经理决策即可， 从而大大缩短了决策流程， 节省了决策时间，降低了发生紧急事件时的影响和损失。

　　(4)“双中心”系统升级策略

　　在实现了集中交易系统异地双中心运行后，集中交易系统的软、硬件升级都关系到双中心的正常运行，尤其是软件系统的版本统一工作会直接影响到系统的安全稳定运行。为此，新时代证券专门制定了双中心集中交易系统升级策略，规范软硬件系统的测试、升级步骤，保障双中心集中交易系统的一致性。

　　在保障软件系统版本同步升级的前提下，针对重大的软件版本升级，新时代证券专门制定了次第升级的策略。具体实施时，集中交易系统重大的升级版本在经过了严格的上线前测试后，并经过验证数据库可以兼容新老版本软件程序的前提下，新时代证券先升级生产中心软件版本，而保持备份中心软件版本不变(数据库同步升级)，在生产中心经过1～2天，最多不超过一个星期的实际生产验证后，再升级备份中心软件版本。这样做的好处是，在实际生产过程中新版本软件一旦发现重大软件漏洞而影响到正常交易业务，可以在很短的时间内切换到备份中心，启用老版本程序，以保障集中交易业务的连续性。

　　四、“双中心”的优势及运行实践

　　1.“双中心”的优势

　　与行业内目前主要应用的“主备”运行模式相比，“双中心”模式的主要优势体现在以下四个方面。

　　(1)交易接管能力100%，系统切换后不存在处理能力下降的问题。

　　(2)备份系统可用性显著提高。

　　(3)两地中心的技术人员都能得到充分的锻炼，避免因为操作不熟练而导致的切换失败等问题。

　　(4)可以方便的实现模块化部署和分级切换。

　　2.“双中心”运行情况

　　新时代证券自2010年3月29日“ 双中心” 正式上线运行， 至今已经安全稳定运行3 6 个月， 期间进行过多轮双中心生产轮换， 未发现异常。生产中心的轮换运行与不间断的应急演练也锻炼出了一支能够面对突发事件，有效应急的运维队伍。通过不断的探讨和演练， 双中心运维人员协调默契， 沟通顺畅， 已熟练掌握了切换的时机和技巧， 双中心应用系统可根据突发情况， 灵活地进行互备切换运行，有效地保障了交易系统的运行平稳。

　　经过多次演练和测试的数据验证，在发生系统级故障的情况下，“双中心”模式的集中交易系统的恢复点目标RPO<2秒、恢复时间目标RTO<2分钟，备份系统业务处理能力100%;在发生灾难性事件时，系统的RPO<2秒，RTO<15分钟，备份处理能力100%。

　　五、“双中心”的特点

　　1.二层及三层MPLS VPN隧道技术的灵活运用

　　使用MPLS VPN隧道技术，实现了两中心之间特定网段的互通，同时又能保障各自网段的独立性和私密性， 与广域网严格隔离。特别是二层MPLS VPN隧道技术的应用，解决了异地交易中心到三方存管银行的两条专线之间的热备份难题，这一创新性的应用大大提高了三方存管业务的保障能力。

　　2.异地“双中心”之间交叉值班、轮换运行

　　在“双中心”模式下，两个交易中心的技术人员交叉备岗、轮换值班的运维模式大大提高了技术人员的工作效率，有效解决了两中心工作量分配不均、备岗人员长期得不到锻炼等一系列难题。异地“双中心”轮换生产的运行模式也解决了备份中心的可用性问题，使新时代证券得以简化应急决策流程，减少事故损失。