云南省农村信用社联合社软件测试部 徐乙怀

　　云南农信基于TMMi和私有云的软件质量管理实践，对TMMi如何在银行业落地实施、如何构建符合银行实际的私有云平台、如何整合运用测试工具集、如何整合软硬件资源提升软件质量等问题给出了有效的解决方案，相关成果已经在云南农信所有系统建设中推广使用，取得了良好的应用效果。同时，采用的多项创新技术和实践成果具有较强通用性，得到银保监会的高度认可，也为银行业实施TMMi提供了典型参考案例。

　　随着金融科技和互联网金融的迅猛发展，软件系统已经成为了银行拓宽金融业务渠道、提升金融服务能力的重要载体，银行软件质量的好坏直接关系到系统能否可靠稳定地运行，能否有效提供各项金融服务。围绕如何提高软件质量这一核心问题，云南农信以测试成熟度模型集成(TMMi)作为切入点，以云计算技术搭建基于OpenStack开源框架并全面集成SDN的私有云平台，构建了基于TMMi的质量管理体系，全面梳理整合测试体系、测试类型、测试团队、测试环境、测试工具、测试资产和软件质量度量体系，打造了高效的企业级测试平台，通过规范软件测试过程，建立软件质量检查指标，在软件全生命周期中开展W模型测试，有效解决了软件研发过程中需求分析、系统设计、软件编码、软件测试、系统投产等各阶段质量保证和质量控制问题，实现了软件质量管理的专业化、科学化和精细化，全面提升了软件产品质量。2018年10月，云南农信通过了TMMi3级认证，成为少数通过该项认证的银行之一;2018年12月，云南农信研究课题《基于TMMi和私有云的银行软件质量管理实践》，获得银保监会2018年度信息科技风险管理研究“一类成果奖”，也是测试领域获得的最高级别奖项。

　　一、银行业引入TMMi的背景

　　随着金融创新速度不断加快，银行对信息系统的依赖程度越来越高，信息系统已经成为了银行开展业务不可或缺的载体。然而，信息系统越来越复杂，系统潜在风险越来越高，系统缺陷引发的后果也越来越严重，如何全面提升软件产品质量已经成为银行业转型发展时期急需解决的问题。在此背景下，软件质量管理工作逐步得到重视，但总体来看，银行业尚无成熟、可复制的成功做法，且有一些在发展过程中产生的问题亟待解决：

　　一是银行业引入CMMI，软件质量管理取得了一定成效，但仅能提供基础性的保障。很多机构满足于取得CMMI等级评价，以证明自身的产品质量管理能力，在应用效果和评判标准上关注较少。CMMI虽然提供了一整套研发管理规范，但关注的重点是软件项目宏观的过程管理、是否有阶段性的交付成果等，对软件产品质量仅能提供基础性的保障，而对于软件质量控制的关键环节——软件测试的关注严重不足，软件质量难以得到有效提升。

　　二是TMMi在银行业开始受到重视，但总体应用水平仍较低，缺乏理论成果和应用案例。TMMi在全球已具有较大的影响力，有苏格兰皇家银行、德意志银行的成功实施案例，但国内仅有少数几家机构开始对TMMi的应用进行探索，总体来看，中国银行业基于TMMi的软件质量管理应用水平仍较低。

　　二、云南农信软件质量管理思路

　　云南农信的软件质量管理思路是以TMMi为主要理论依据，从测试管理体系、私有云平台、组织管理体系三个方面入手，构建目标明确、流程规范、支撑有力、持续改进的软件质量管理体系。

　　1.构建测试管理体系，改进测试方法，明确改进指标

　　云南农信构建基于TMMi的软件测试管理体系，与CMMI研发管理流程充分融合，基于TMMi的2级、3级、4级过程域及目标构建软件测试管理体系，在软件研发的业务需求、概要设计、详细设计、编码、模块集成、系统实施、交付等全生命周期中的各阶段开展基于W模型的测试，规范软件测试过程，提升软件测试能力。云南农信结合TMMi要求和自身测试实际情况，确立了以耦合分析为基础，分场景分对象的测试方法;选定了以W模型为基础，分层次的测试模型;明确了以TMMi为标准，分类型的测试流程。

　　2.搭建私有云平台，整合测试工具，建立测试平台

　　云南农信基于POWER和x86异构资源，以及PowerVM+ACI的虚拟化环境软硬一体化动态网络配置技术，实现虚拟化技术和SDN技术的运用，确定了私有云平台的总体架构、逻辑架构、计算资源池架构、网络资源池架构、存储资源池架构，开发部署云平台管理软件。并以私有云平台为依托，研究基于ALM、UFT、代码扫描工具和数据脱敏工具构建的测试工具平台，力求实现测试工作从“定性”到“定量”的重大飞跃，提高测试自动化和流程化水平，缩短测试时间，节约测试成本，有效提升软件质量管理精细度和准确度。

　　3.提升组织管理水平，优化测试团队，积累测试资产

　　云南农信按照TMMi指导规范，从建立测试组织、定义测试职能、完善测试路径等方面进一步明确角色与职责，优化测试团队，对组织的测试过程改进以及测试过程资产进行管理。同时重塑测试资产库，从TMMi体系高度重新规划测试资产库，准确识别和分类管理组织级资产和项目级资产，明确测试资产管理和使用规范，增设最佳实践库，使测试资产“活性化”，发挥积累的知识价值，更有效地提升测试质量，进一步保障软件质量。

　　三、云南农信基于TMMi的软件质量管理实践

　　云南农信针对软件质量管理工作中存在的一系列问题，从TMMi和私有云两个方面入手，以提高软件质量，提升金融服务能力为目的，力求建立一套可复制的、可推广的软件质量管理体系，为行业提供典型参考案例。

　　1.建立基于TMMi的测试管理体系，规范软件测试过程

　　云南农信以国际测试标准TMMi为主导，以测试过程改进模型TPI-Next为补充，结合银行实际，梳理构建了一整套符合银行业实际的测试管理体系，测试管理体系包含4个管理制度、13个操作指南、18个测试模板，测试管理体系规范了从测试申请提出到测试工作结束的整个测试过程，构建了统一的测试工艺流程，实现了测试工作的标准化、规范化、流程化，有效提升了软件产品质量。基于TMMi的测试管理体系结构如图1所示。

　　图1 基于TMMi的测试管理体系

　　云南农信以W模型为基础，结合软件测试实践，构建了覆盖软件全生命周期的测试模型，在需求、设计、编码、集成直到发布的各个关键节点都针对性地开展相应的测试工作，通过将测试工作前移，从需求阶段开始就介入测试工作，尽早发现系统潜在的问题和缺陷，降低软件返工成本，实现了从发现缺陷到预防缺陷的能力提升，全面提高软件质量。软件全生命周期测试体系如图2所示。

　　图2 软件全生命周期测试体系

　　云南农信借鉴ISO(国际标准化组织)提出的SQuaRE(软件产品质量要求和评价)标准，并应用GQM(目标-问题-度量)建模方法，有效结合W模型，构建了符合银行软件质量度量的指标体系，指标体系涵盖8大软件质量特性，包括36个定性指标和31个定量指标，做到了将无形的软件质量转化为有形的指标群，使得软件质量可测量、可对比、可改进。同时，运用Rayleigh模型对系统全生命周期各阶段的质量指标进行汇总分析，形成项目总体质量评价结果。

　　2.构建高效统一的私有云平台，提升软件测试支撑保障能力

　　云南农信综合运用PowerVM、VMWare等虚拟化技术构建资源池，以OpenStack开源框架和SDN技术为基础，参考微服务和DevOps架构构建了高效统一的开发测试云平台。实现了异构的计算资源(x86资源和Power资源)、存储资源(华为、EMC、HP等)、网络资源的统一纳管，有力提高了软硬件资源利用率，大大提高了软件测试环境的建设效率和资源使用效率。开发测试云平台逻辑架构如图3所示。

　　图3 开发测试云平台逻辑架构

　　3.有效整合各类测试工具，提升软件测试效率

　　云南农信以测试管理工具为依托，逐步引入自动化测试工具、性能测试工具、代码扫描工具、数据脱敏工具等涵盖各专项的测试工具，并对测试工具进行有效集成，构建了统一的测试工具平台。测试工具平台横向打通了业务、开发、测试、运维等各个相关部门，纵向集成了需求、开发、测试、运维等各个领域的工具链，实现了无缝的跨团队、跨系统协作，促进了测试管理由“定性”管理向“定量”管理的提升，软件测试工具平台如图4所示。

　　图4 软件测试工具平台

　　4.持续改进的企业级测试平台，提升软件产品质量

　　一是有效整合测试体系、测试类型、测试团队、测试环境、测试工具、测试资产和测试质量度量体系，构建了符合银行实际的企业级测试平台。通过构建企业级测试平台提高了系统建设过程的规范性，提升了系统交付质量，节约了企业信息化建设成本。二是基于测试管理体系和标准筛选测试资产，构建了组织级的测试资产库，并结合TMMi和TPI-Next相关指引完善了测试资产库入库、管理和重用机制，将测试资产管理融入测试管理平台，并与自动化测试工具进行无缝对接，实现了测试资产的有效复用。实践结果表明，测试用例等核心测试资产的复用率可达50%以上。三是参考TMMi框架，结合IDEAL(启动-诊断-建立-行动-学习)过程改进模型和ISTQB(国际软件测试认证委员会)测试过程改进流程，建立了持续优化改进的软件测试机制，通过项目建设实践，不断总结最佳通用实践，完善测试管理体系，优化质量度量指标，持续提高测试能力成熟度，全力推动软件产品质量改进。

　　5.软件质量管理实践中的创新

　　在软件质量管理实践中，云南农信坚持创新思维，不断总结提炼最佳实践，形成了多项工作创新方法，并在实际工作中推广应用。一是以TMMi为主导，TPI-Next为补充，构建了符合银行实际的测试管理和软件质量保证体系，实现测试管理及质量管理的规范化、标准化、科学化，有效提高了软件质量。二是构建了全面融入TMMi和质量管理理念的质量管理平台，实现对测试全过程的精细化管理和全生命周期质量度量分析。三是基于银行业务场景，以业务交易码为关键字，建立系统自动化测试框架，通过对象库、函数库和数据源的分离，实现自动化测试框架以及可重用模块的集成体系。四是以银行业务链耦合关系分析为基础，基于交易流程提取测试需求，根据交易码来划分交易场景，识别对应的关联控制字，再根据关联关系来细化，最终实现基于“流程-交易/系统-场景-控制字”四级控制的测试方法。五是基于SQuaRE(软件产品质量要求与评价标准)和测试策略风险分析技术构建了涵盖8大质量特性、包括36个定性指标和31个定量指标的软件质量评价模型，实现了软件质量可量化、可测量、可评估。六是基于OpenStack开源框架构建了企业级私有云平台，完成了异构计算资源(Power资源和X86资源)、存储资源、网络资源的统一纳管，实现了资源管理集中化、精细化和智能化。七是有效整合基于“PowerVM+VMWare”的云管平台和SDN网络，实现了虚拟化环境软硬一体化动态网络配置。

　　四、云南农信软件质量管理体系应用效果

　　云南农信通过构建基于TMMi和私有云的软件质量管理体系，打造高效统一的企业级测试平台，大力开展软件全生命周期的质量管控，取得了较好的实施效果。一是提升测试效率及测试有效性。测试用例执行率、命中率和执行效率得到了提高，平均缺陷关闭时长下降，工作量和进度估算与实际的差异进一步缩小。二是软件质量保障信心增强。前期在需求和设计阶段发现的缺陷比例提高，相应在后期测试和运行阶段发现的缺陷比例下降，前期解决的缺陷更多，后期泄露到上线后阶段的缺陷更少，系统质量更为可控。三是用户满意度改善和提高。通过对电话反映问题情况对比分析，问题数、来电频率和反映问题严重程度等均有下降，侧面反映了用户满意度的改善和提高。

　　在测试成本控制方面，云南农信也取得显著成效。一是提早发现软件缺陷，节省软件修复成本。基于TMMi的质量管理体系能很好指导软件质量保证过程，在保证软件产品质量的同时，提高早期缺陷发现比，降低缺陷处理成本。二是降低上线出错率，节省运行维护成本。上述软件质量管理方法推广使用后，云南农信测试工作严格按照统一的测试工艺规范开展，系统质量明显提升，软件缺陷在上线前基本就能发现并修复完成。三是提升软件测试效率，节省信息化建设成本。通过运用以交易码为关键字的自动化测试框架，能够有效提高软件测试效率。四是提高资源使用效率，缩短资源交付周期，节省资源购置成本。私有云平台的投入使用，实现了资源管理的自动化和智能化，缩短了资源交付周期。同时，有效降低了环境管理难度和人力资源成本，实现了资源管理的集中化、统一化和精细化，提高了资源使用效率，缩减了资源采购数量。

　　云南农信基于TMMi和私有云的软件质量管理实践，对TMMi如何在银行业落地实施、如何构建符合银行实际的私有云平台、如何整合运用测试工具集、如何整合软硬件资源提升软件质量等问题给出了有效的解决方案，相关成果已经在云南农信所有系统建设中推广使用，取得了良好的应用效果。同时，采用的多项创新技术和实践成果具有较强通用性，得到银保监会的高度认可，也为银行业实施TMMi提供了典型参考案例。