广发银行研发中心副总经理 林虎

  数字时代，面对不断升级的内外部需求和挑战，实现业务快速试错和创新成为商业银行积极应对各种趋势变化的重要抓手。聚焦测试领域，随着DevOps 敏捷开发与自动化技术的逐步成熟，各家银行纷纷自主研发新一代测试工具平台，并开始进一步探索精准测试、混沌工程等新兴领域。结合自身特点和技术发展趋势，广发银行在2018 年启动了测试技术升级改造工作，并以此来推动测试转型取得显著效果。

  一、广发银行测试技术升级目标

  回顾以往，商业银行早期的测试管理和测试执行几乎没有工具支撑，测试工作主要以文档管理和手工测试为主，正是LoadRunner、QTP 等工具的问世为商业银行开展自动化测试提供了辅助支撑。顺应技术创新趋势，为进一步提高测试质量和效率，广发银行先后采购了多种测试工具，但也同样面临着许多业界共性问题，如商业工具很难精准匹配行内使用场景、不同厂商的工具无法兼容，以及缺乏自主掌控导致测试技术低水平发展、测试人才难以培养等。

  为应对上述挑战，经过审慎考虑，广发银行决定走测试技术自主研发的道路，并在工作启动之初即结合测试发展需求明确了建设目标：一是打造面向全行的质量保障工具平台;二是打通软件测试生命周期管理全流程;三是构建高效的自动化分层测试体系，支撑各阶段测试活动;四是研究引入业界先进的测试技术和测试实践。在此基础上，广发银行围绕测试技术改造提出了“三步走”实施策略(如图1 所示)。

图1 测试技术改造“三步走”实施策略

  二、广发银行测试体系建设实践

  针对上述目标，广发银行结合测试资源一体化管理、测试全流程线上化、测试全程可度量、分层自动化测试、测试数据自动生成、测试技术多样化等发展需求，通过对通用测试能力进行抽象和共享，以及将成功经验固化到平台内部，打造了集测试资源统一管理、自动化测试、测试数据生成、覆盖率统计、混沌实验等多项能力于一体的统一测试服务平台(如图2 所示)，并从完善体制机制、打造自动化工具、探索创新应用等方面协同发力， 加速推动测试技术转型升级。

图2 统一测试服务平台架构

  1. 完善体制机制

  一是构建一体化的测试资源管理机制，通过将测试任务、测试案例、测试缺陷、测试人员等一系列重要资源纳入测试管理平台，实现对测试资源全生命周期的统一调配、统一管理。在此基础上，基于上述功能模块深度整合测试资源，有助于进一步提高资源复用率及测试缺陷流转效率，显著降低了测试任务的管理成本。

  二是构建全流程线上测试工作机制，通过将测试管理平台与开发工具、持续集成、研发管理等多个平台对接，实现立项、需求、开发、测试、运维等各个环节的全流程线上化管理。同时，测试管理平台还实现了测试任务线上化、测试分析线上化、测试执行线上化、缺陷管理线上化、投产流程线上化、审计文档线上化等六个重要的线上化任务指标，加速推动测试工作向“以项目管理为主线、以测试资源为基础、以测试过程管理为核心”转型升级。

  三是构建全程可度量的测试管理机制，打通了测试工具之间以及测试工具与管理工具之间的数据通道，并建立多维度测试看板，实现了研发数据全方位收集与测试过程展示。此外，自主研发黑猫代码覆盖率工具度量测试充分性，从代码覆盖率层面分析案例覆盖情况，有效减少了“漏测”现象的发生。

  2. 打造自动化工具

  一是自主研发白驹接口测试平台，覆盖案例管理、数据生成、多环境执行、持续集成流水线对接等多种场景，面向测试数据、测试案例、测试执行提供了管理功能。同时，该平台还为整个研发流水线提供了接口相关服务，如应用代码部署后，可通过调起接口案例进行绿灯验证并出具环境质量报告，包括每小时通过接口交易监测应用服务是否正常等。

  二是自主研发飞鱼界面自动化工具，实现了脚本片段化管理，即可将脚本按照业务功能模块进行片段化拆分，形成片段化公共脚本，在提高界面脚本复用率的同时，降低变更运维成本，并分离出业务数据、公共数据、案例数据，引入数据驱动模式，支持组装后的案例仍可以在界面自动化工具上顺利走完流程。此外，该平台采用阈值内失败自动重发机制，进一步提升了界面自动化案例的执行成功率。

  三是自主研发赤兔批量自动化工具，支持根据表结构和自定义随机种子生成批量文件，并上传至应用服务器。同时，该平台可发起行内绝大部分应用系统的批量处理流程，并为批量处理结果提供表达式检验配置界面，支持对文件数据内容进行全量对比，将不符合规则的记录标出，从而实现对批量处理结果的有效校验。

  3. 探索创新应用

  一是打造数据鸿湖造数平台，基于插表、调接口、导数等方式，可快速在测试环境生成测试数据，大幅缩短了测试数据准备时间。例如，对于一般类造数场景，该平台可根据业务逻辑通过插表或调接口的方式进行造数;对于复杂组合类的造数场景，可在内部进行场景串联以保持数据一致性，并完成流程造数;对于各大工具的造数需求，则提供了对外接口以便于其他工具自行调用。

  二是打造万象混沌实验平台，深入挖掘系统存在的风险点。例如，该平台提供了丰富的故障注入场景，可充分验证现实生产场景中的不稳定因素;同时，支持以实验为单位管理故障场景，并在故障注入过程中提供了多个不同维度的监控指标，包括面向业务请求提供的交易成功率、TPS、交易耗时等，面向系统性能提供的CPU 使用率、系统负载等，以及面向应用服务提供的SQL 平均消耗时长等。

  三是打造白鲸流量回放平台，实现流量无限重复回放以及跨环境回放。该平台内置流量清洗、保鲜机制，支持自动化流量采集，同时交易号贯穿整个交易链路， 可获取全链路流量数据;此外，通过提供UI 界面流量录制功能，有效解决了前后端不分离系统UI 自动化实施困难等问题，支持流量并发回放执行，实现了毫秒级全案例回放。

  三、广发银行测试质量提升实践

  基于新一代测试体系建设，广发银行将各阶段质量保障活动全面接入行内版本流水线，实现了全方位、多维度的质量保障。质量保障活动流程如图3 所示。

图3 质量保障活动流程

  实践中，上述活动支持在开发阶段实施质量内建，以及在进入开发阶段前配置好开发侧流水线，在编写应用代码的同时编写测试代码，并在代码提交前进行本地验证，执行持续集成每日构建与自动化验证。截至目前， 广发银行已累计对超过170 个应用开展质量内建，绝大部分应用自动化验证通过率在80% 以上，核心代码覆盖率超过80%，测试工具赋能质量内建取得明显成效。

  此外，该模式还支持在系统集成测试阶段实施自动化案例每日回归，以及将回归案例转换成自动化脚本，在测试环境中定时执行。截至目前，广发银行已累计对超过80 个应用开展了自动化每日回归，绝大部分应用回归测试效率提升了20% 以上，部分应用回归效率提升了80%。此外，通过实施每日回归，广发银行过去一年内累计发现缺陷上百个，有效弥补了传统手工测试覆盖面不足以及传统测试时间短而难以执行回归测试等问题。

  四、未来规划

  面对持续演进的技术创新趋势，广发银行坚持创新探索与实践，成功走出了一条以自主、高效、创新为基石的质量保障之路。后续，广发银行仍将继续完善测试工具和方法，努力实现“三创、四提”的发展目标—— 创新银行分层测试体系、创造高效测试手段及方法、创建一流测试工具平台，提高测试分析手段、提高测试执行效率、提高测试管理水平以及提高工具满意程度。面向未来，通过进一步拓展端到端业务测试、推动混沌工程落地以及持续研究变异测试技术等新领域，广发银行的质量保障之路也必将越走越宽阔。

作者：广发银行研发中心副总经理 林虎

     广发银行研发中心 王丽辉 曾睦宁