系统测试.ppt

基于CMMI的软件工程,系统测试,第十五章 系统测试,CMMI对应实践系统测试简述系统测试活动内容,Validation确认,The purpose of Validation(VAL)is to demonstrate that a product or product component fulfills its intended use when placed in its intended environment.(用于证明产品或构件被置于预定环境中时能产生其预定的用途)SG 2 Validate Product or Product Components(确认产品或产品构件)目的是确认产品或产品组件，以确保在预期作业环境中可适用。,Validation确认(续),SP 2.1 Perform Validation(执行确认)，为让使用者接受，产品或产品组件置于预期作业环境中，其工作表现必须完全符合预期要求。一般会产生确认/测试报告，确认结果/客户验收报告，确认情况对照表等。SP 2.2 Analyze Validation Results（分析确认结果），依据定义好的准则对确认测试、检查、演示或评估产生的结果数据进行分析。一般会产生确认活动发现的缺陷和问题报告，确认活动的变更申请。在实际工程实践中一般是通过系统测试，客户试运行，客户验收等活动来进行保证。,第十五章 系统测试,CMMI对应实践系统测试简述系统测试活动内容,系统测试的目的,系统测试（System Test，ST）的目的是对最终软件系统进行全面的测试，确保最终软件系统满足产品需求并且遵循系统设计的标准和规定。制定测试计划和设计测试用例活动的进入准则是：产品需求和系统设计文档完成之后，系统测试小组就可提前开始制定测试计划和设计测试用例，不必等到“实现与测试”阶段结束，以提高系统测试效率。执行系统测试计划活动的进入准则是：集成测试已通过。一般采用黑盒测试的方法进行测试，主要内容有：功能性测试、健壮性测试、性能-效率测试、用户界面测试、安全性测试、压力测试、可靠性测试、安装/反安装测试等。,角色与职责,测试小组来源,委托外部测试机构进行测试，比如：软件测评中心；与项目组独立的测试小组或测试部门人员；邀请其他项目的开发人员参与测试；本项目的部分开发人员（但绝对不能以本项目开发人员为主进行系统测试）技术支持或工程实施人员（更能清楚了解用户的实际使用环境及需求）。注意：此处的测试与验证中的测试有很大区别。,第十五章 系统测试,CMMI对应实践系统测试简述系统测试活动内容,系统测试内容,1、用户层，主要是面向产品最终的使用操作者的测试，重点突出的是从操作者的角度，测试系统对用户支持的情况，用户界面的规范性、友好性、可操作性，以及数据的安全性。用户支持测试，用户手册、使用帮助、支持客户的其他产品技术手册是否正确、是否易于理解、是否人性化。用户界面测试，在确保用户界面能够通过测试对象控件或入口得到相应访问的情况下，测试用户界面的风格是否满足用户要求，例如：界面是否美观、界面是否直观、操作是否友好、是否人性化、易操作性是否较好。可维护性测试，可维护性是系统软、硬件实施和维护功能的方便性。目的是降低维护功能对系统正常运行带来的影响。例如：对支持远程维护系统的功能或工具的测试。安全性测试，安全性主要包括了两部分：数据的安全性和操作的安全性。验证只有规定的数据才可以访问系统，其他不符合规定的数据不能够访问系统；验证只有规定的操作权限才可以访问系统，其他不符合要求的操作权限不能够访问系统。,2、应用层，针对产品应用的测试,重点在系统应用的角度，模拟实际应用环境，对系统的兼容性、可靠性、性能等进行的测试。系统性能测试，针对整个系统的测试，包含并发性能测试、负载测试、压力测试、强度测试、破坏性测试。系统可靠性、稳定性测试，一定负荷的长期使用环境下，系统可靠性、稳定性。系统兼容性测试，系统中软件与各种硬件设备兼容性，与操作系统兼容性、与支撑软件的兼容性。系统网络测试，网络环境下，系统软件对接入设备的支持情况。包括功能实现及群集性能。系统安装升级测试，安装测试的目的是确保该软件在正常和异常的不同情况下进行安装时都能按预期目标来处理。例如，正常情况下，第一次安装或升级、完整的或自定义的安装都能进行安装。异常情况包括磁盘空间不足、缺少目录创建权限等。还有一个目的是核实软件在安装后可立即正常运行。另外对安装手册、安装脚本等也需要关注。,系统测试内容（续）,3、功能层，针对产品具体功能实现的测试。业务功能的覆盖，关注需求规格定义的功能系统是否都已实现。业务功能的分解，通过对系统进行黑盒分析，分解测试项及每个测试项关注的测试类型。业务功能的组合，主要关注相关联的功能项的组合功能的实现情况。业务功能的冲突，业务功能间存在的功能冲突情况。比如：共享资源访问等。4、子系统层，针对产品内部结构性能的测试，关注子系统内部的性能，模块间接口的瓶颈。单个子系统的性能，应用层关注的是整个系统各种软、硬件、接口配合情况下的整体性能，这里关注单个子系统。子系统间的接口瓶颈，例如：子系统间通讯请求包的并发瓶颈。子系统间的相互影响，子系统的工作状态变化对其他子系统的影响。5、协议/指标层，针对系统支持的协议、指标的测试（主要是测试协议或指标的一致性及互通性）。,系统测试内容（续）,系统测试流程图,制定系统测试计划,系统测试计划主要包括：测试目标测试范围测试方法测试环境与辅助工具测试完成准则人员与任务表系统测试计划根据情况进行正式或非正式评审,设计测试用例,系统测试人员根据系统测试计划和指定的模板，设计系统测试用例并进行同行评审；系统测试用例的编写参照第14章提供的模板及编写指导。测试组长邀请开发人员和同行专家，对系统测试用例进行技术评审。该测试用例通过技术评审后，进入下一步工作，根据测试用例执行系统测试。,执行系统测试,系统测试人员依据系统测试计划和系统测试用例执行系统测试，并对测试过程中发现的缺陷进行跟踪，及时解决验证。将测试结果记录在系统测试报告中，用缺陷管理列表或专门的缺陷管理工具来记录所发现的缺陷，并及时通报给开发人员。在系统通过系统测试之后，一般可以进入如下阶段：安装到客户使用环境下试运行、发布Beta版；系统验收。,在如下情况可以结束系统测试活动：对于非严格系统可以采用“基于测试用例”的准则：功能性测试用例通过率达到100%；非功能性测试用例通过率达到95%。对于严格系统，应当补充“基于缺陷密度”的规则：相邻n个CPU小时内“测试期缺陷密度”全部低于某个值m。具体值根据项目的类型来确定。,系统测试结束标准,本章实训,针对完成集成测试的项目开展系统测试，制定系统测试计划，编写测试用例，按本章讲述的职责分配表进行全组协调工作。完成系统测试，记录测试数据，分析测试结果。用时：812节上机课时。,本章结束，谢谢!,