中国农业银行备援测试中心总经理  潘贵平

　　农业银行新一代核心业务系统(Blue Ocean Engineering，BoEing)是农业银行历史上最大的信息系统建设项目。在BoEing长达6年的建设过程中，农业银行在测试领域进行了积极探索和实践，构建了适用于核心业务系统的测试体系和方法，在确保新系统投产后功能正常、性能稳定方面发挥了重要作用。本文结合BoEing系统建设中的测试实践，探讨农业银行测试体系和方法以及信息系统测试未来发展。

　　一、新一代核心业务系统建设给软件测试带来的挑战

　　为实现“以客户为中心，快速产品创新，全面提升管理能力”的系统建设目标，在设计思路上，BoEing系统采用了全新的架构部署、开发工具和界面展示，采用了构件化、层次化的开发方法，各应用模块内部功能复杂，模块间高内聚低耦合，具有灵活的金融产品创新能力;在应用范围上，BoEing系统涵盖全行所有核心业务领域、业务流程和工作岗位，需要继承原系统的存量业务数据，实现无缝数据对接和业务处理。同时，系统投产后还要承担日处理2亿多笔交易的性能压力。面对BoEing众多单一交易和复杂应用模块，如何有效检验系统的业务功能和运行效能，如何高效开展全面的功能和性能测试，是摆在农业银行面前的一个难题，也是对测试工作的一个巨大挑战。

　　二、确立测试原则、创建测试方法、构建测试体系

　　面对挑战，根据BoEing建设特点和工程实际情况，我们确立了测试的基本原则：一是注重规范和创新，在测试管理过程中，既要遵从农业银行原有的测试规范，又要结合BoEing的特点，对测试方法、流程和管理进行合理创新。二是注重实效和总结，在测试执行过程中，要关注测试的实际效果，注重测试质量把控，及时总结经验，修正测试方法和流程。三是注重测试工具应用，大力开展测试工具的研究、开发和应用，减少人力投入，提高测试效率。四是注重分类管理测试内容，对共性测试内容进行统一管理，如测试版本控制、测试环境搭建、测试需求管控、测试用例管理、测试缺陷解决等内容;对非共性测试内容进行单独管理，如各产品子模块测试、验证等内容。五是注重沟通和配合，在测试过程中，加强开发、业务、测试人员之间的沟通和配合。

　　1.以人为本，组建专职的核心系统测试队伍

　　一是在BoEing系统研发之初，就抽调精干人员全职参与系统的原型设计工作，全面了解和熟悉系统架构设计和业务处理框架等内容，为后续全面测试进行前期的方法设计、工具选型、流程规划等工作。二是在全面测试阶段，面对测试人员少、测试任务重的困局，除了继续增派自有人员外，还通过借调分行人员、引入测试外协等手段，组织了一支梯次有序、数量充足的BoEing测试团队，充分保障系统测试的需要。三是在系统验收阶段，与业务人员紧密配合，捆绑测试，测试成果和测试信息共享，以减少不必要的重复测试活动，提高整体测试效率。实践证明，这些措施不仅有力支持和保障了BoEing测试进度和质量，还培养了一批熟悉核心业务系统的测试人员，积累了组织管理大规模项目测试的经验。

　　2.注重用户体验，进行全流程功能测试

　　(1)开展全流程功能测试

　　功能测试不仅包括交易本身各功能点测试，还包括交易间业务流程测试，以及业务流程是否符合业务要求的测试等内容。BoEing建设是一个长期过程，期间需求不断增加和变化，为提高整个功能测试效率和质量，测试团队以测试管理工具为依托，构建了从业务/测试需求到缺陷管理及程序变更的一套完整管理流程(如图1所示)，把业务/测试需求、测试用例、测试执行、缺陷管理、程序变更、进度监控、测试分析及度量、测试报告等内容全部串联起来。同时在测试案例设计上，注重业务全流程案例的设计和测试。

　　针对测试中的缺陷，测试团队依托项目组架构和人员角色，从规范实用的角度出发，统一设计创建了缺陷管理流程(如图2所示)，在保障测试缺陷高效修复的前提下，做到了超大团队的有序管理。

　　(2)创新实施用户体验测试

　　BoEing系统终端采用全图形界面，改善了视觉效果，统一了界面风格;通过在线提示和帮助信息，提升柜员交易效率和服务能力;通过界面组合和流程整合等方式，优化柜面业务流程，避免重复要素输入，提升柜员操作效率。这些举措不仅对20多万网点柜员来说意义重大，也大大减少了外部客户等待和交互操作的时间，提升了客户服务体验。为了验证以上创新取得的实际效果，我们开展了几轮次用户体验专项测试，抽调5家分行的30多名不同层级的柜员，分别从感官体验、交互体验、浏览体验、情感体验等方面，针对系统的易用性、操作便利性、防错性、帮助及提示、减少记忆、主观感受等方面进行满意度评测(如图3所示)，让柜员提前体验系统各项功能设计，提前发现并修正系统操作、打印乃至功能提示等方面的问题，有效改善和提高了系统功能的易使用性。

　　(3)研究实践各类测试技术

　　众所周知，回归测试是一项耗费人力的测试活动，特别是对于像BoEing这样的庞大系统，每回归一次耗用人力巨大。为了减少人员投入，测试团队自主设计研发了用于BoEing系统后台交易的报文级自动化测试工具(BATS)，在BoEing多轮次回归测试中发挥了重要作用。相比手工测试及主流商用工具，BATS工具在测试数据准备效率、案例设计效率、案例执行效率、失效案例修复效率、大规模回归效率、案例覆盖率及操作便捷性等多个指标上具有明显优势。BATS研发成果获得了人民银行科技发展奖，并申请获得2项发明专利授权。自动化测试管理流程如图4所示。

　　此外，测试团队还结合BoEing技术特点，首次创新开发了能够自动进行“代码审查”的工具，把原来只能凭人工进行代码审查的大量繁琐工作简单化、工具化。同时，还开展了代码覆盖测试技术的研究和尝试。这些工具的使用，不仅有效提高了测试效率，而且解决了被测程序、函数无法用人工测试的问题。

　　3.注重系统整体，构建标准化性能测试模式

　　毋容置疑，银行核心系统需要持续承载巨大的交易压力，其性能表现是决定系统能否投产的关键因素。为开展好性能测试，测试团队不仅针对每个交易开展性能测试，还重点针对整体系统组织实施了仿真生产实际场景的性能测试。一是很早就启动了适合BoEing二层架构、TCP/IP通信特点的业界商用性能测试工具选型工作。二是依托选定的测试工具，首次设定了一系列衡量主机交易的详细性能指标体系(如单交易应用MIPS消耗、SQL语句MIPS消耗、交易应用平均响应时间等)，甄别、判定单交易性能效率，判定交易是否需要优化和导致性能问题的原因。三是通过建立自动化作业和脚本，对测试执行过程进行标准化、流程化处理，使新加入的测试人员能够在较短时间内独立承担测试工作，达到工厂化作业模式，同时结合自主开发的小工具，实现测试报告单自动编制生成，有效提高测试效率，据统计，测试团队共完成9400多份报告单编制。四是通过研发综合性能测试工具(BPTS)，实现了比照生产交易日志记录，仿真生产实际交易场景，进行日间海量交易回放功能，达到对系统整体性能进行测试验证和评估的目标，该工具研发也填补了商用性能测试工具的空白。BoEing系统投产后整体性能运行平稳，承载了近3亿笔的日均交易量，经受住了“双11”日交易高峰3.6亿笔的考验。交易性能测试标准流程如图5所示。

　　4.注重版本管理，构建测试环境、数据管理体系

　　无论功能测试还是性能测试，测试版本、测试数据以及测试环境是决定测试有效性和测试结果准确性的前提条件，为此，测试团队在这些方面的投入不遗余力。

　　(1)测试版本管理

　　测试版本是指用于测试的软件程序版本。为提高开发、测试的进度和效率，项目组按照系统不同测试目的部署了多套程序版本，为统筹做好这些程序版本管理，测试人员与质量管理人员一起，结合缺陷管理流程、程序变更流程，制定了一套测试版本管理流程，明确了开发人员提交测试版本的标准和相关文档，规划了不同程序版本合并、部署的流程、规则，解决了因测试版本而导致的重复测试、无效测试等问题。

　　(2)测试数据管理

　　测试数据包括存量数据和增量数据两部分，海量的存量数据考验程序版本的兼容性和程序的并发处理能力;大量生产数据涉及客户信息使用。在BoEing测试过程中，测试团队对客户敏感信息严格进行脱敏处理;重点针对不同存量数据进行测试验证，避免存量客户在新系统中办理业务出现问题;通过技术手段，进行增量数据测试和验证。

　　(3)测试环境管理

　　测试环境包括系统基础环境和应用运行环境两部分。系统基础环境是支撑整个BoEing运行的硬件及操作系统环境，包括主机、网络、应用服务器、前台智能终端、打印机、外设等。应用运行环境指BoEing运行所需要的环境设置，包括组织单元、柜员、权限设置等应用系统控制参数设置。在BoEing测试过程中，测试人员与系统管理人员、开发人员就环境使用和部署进行了细致讨论和分类，按照不同测试目的规划了开发、单元测试、集成测试、系统测试、单交易性能测试、综合场景性能测试等多套环境。

　　三、信息系统测试发展的展望

　　当前，信息技术快速发展，跨领域、跨行业的技术融合使得创新更为多样和丰富，信息系统的测试方法和测试技术也面临更为广阔的发展空间。对商业银行来说，只有立足行业信息科技特点和各行实际，顺应技术发展潮流，才能把银行信息系统的测试工作做得更好。

　　今后，农业银行不仅要全面开展业务功能测试，还要大力进行软件安全、运维等非功能测试，把测试贯穿于整个软件产品的生命周期，构建覆盖技术测试和业务测试的完整的测试服务体系，强化对信息化产品的质量把关。同时密切关注和学习业界先进的测试理念和技术，持续改进、优化测试方法，自主研发测试软件和工具，持续提高测试生产力。农业银行还将逐步建设和完善一支与本行业务匹配、规模适中、结构合理、技能精湛的复合型测试队伍,通过提升核心业务领域制定产品质量衡量标准和产品质量验证的能力，打造企业级的信息化产品测试中心。

　　“雄关漫道真如铁，而今迈步从头越。”面对全球信息化高速发展和“金融+互联网”的新业态，农业银行备援测试中心将按照行党委的部署和要求，发扬“勇于创新、敢于担当、乐于奉献”精神，努力开创测试领域新局面，为持续提升软件产品质量做出更大贡献。