软件测试之软件自动化测试ppt课件.ppt
第6章 软件自动化测试,由安博测试空间技术中心http:/,6.1 自动化测试基础,自动化测试的定义,测试自动化的原因：测试软件是一项艰苦的工作。 测试的工作量很大（据统计，测试会占用到约40%的软件开发时间；一些可靠性要求非常高的软件，测试时间甚至占到开发时间约70%）。而测试中的许多操作是重复性的、非智力性的和非创造性的，并要求做准确细致的工作。自动化测试的定义：使用一种自动化测试工具来验证各种软件测试的需求，它包括测试活动的管理与实施。,无法覆盖所有代码路径简单的功能性测试用例在每一轮测试中机械地重复,工作量往往较大.手工测试难以捕捉到许多与时序、死锁、资源冲突、多线程等有关的错误。难以模拟大量数据或大量并发用户难以在短时间内完成大量的测试用例,手工测试的局限性,可能缩短软件测试周期测试效率高节省人力资源，降低测试成本增强测试的稳定性和可靠性提高软件测试的准确度和精确度测试工具使测试工作容易，还能产生更高质量的测试结果测试自动化可以完成手工难以完成的测试，如性能、负载测试,测试自动化的好处,比较适合采用自动化测试的: 主要是重复多次的机械性活动，例如测试案例的执行和比较，及一些手工无法或难以执行的测试（包括嵌入式系统测试、压力测试等）。测试自动化在单元测试、集成测试、功能测试、性能测试、稳定性测试、负载测试/压力测试、可靠性测试等方面获得很好的效果。不适合采用自动化测试的: 不稳定软件的测试、开发周期很短的软件、一次性的软件等，还有智力性活动，包括测试规划、测试计划、测试报告等。,软件开发过程，下列情况需要考虑引入自动化测试：P138（1）非常重要的测试； （2）涉及范围很广的测试；（3）对主要功能的测试； （4）容易自动化的测试；（5）很快有回报的测试； （6）运行最频繁的测试；（7）测试个案的生成，包括测试输入、测试输出、测试操作指令等；（8）测试的执行与控制，包括单机运行和网络多机分布式的运行，在节假日的运行;（9）测试结果与标准输出进行对比；（10）不吻合预期的测试结果的分析、记录、分类和报告，及总体测试状况的统计及报表的产生。,自动化测试的原理和方法,软件测试自动化实现的基础: 通过设计的特殊程序模拟测试人员对计算机的操作过程、操作行为，或者类似于编译系统那样对计算机程序进行检查。软件测试自动化实现的原理和方法主要有： 直接对代码进行静态和动态分析、测试过程的捕获(录制)和回放、测试脚本技术、虚拟用户技术和测试管理技术。,(1)代码分析 一种白盒测试的自动化方法,一般针对不同的高级语言去构造分析工具，在工具中定义类、对象、函数、变量等定义规则、语法规则；在分析时对代码进行语法扫描，找出不符合编码规范的地方；根据某种质量模型评价代码质量，生成系统的调用关系图等。,(2)捕获和回放（录制回放）:一种黑盒测试的自动化方法。 捕获是将用户每一步操作都记录下来。这种记录的方式有两种：程序用户界面的像素坐标或程序显示对象（窗口、按钮、滚动条等）的位置，以及相对应的操作、状态变化或是属性变化。所有的记录转换为一种脚本语言所描述的过程，以模拟用户的操作。 回放时，将脚本语言所描述的过程转换为屏幕上的操作，然后将被测系统的输出记录下来同预先给定的标准结果比较。这可以大大减轻黑盒测试的工作量，在迭代开发的过程中，能够很好地进行回归测试。,“捕获回放”步骤：(1)先由手工完成一遍需要测试的流程(2)计算机记录下这个流程期间客户端和服务器端之间的通信信息，这些信息通常是一些协议和数据(3)形成特定的脚本程序 (Script) (4)然后在系统的统一管理下，修改脚本，同时生成多个虚拟用户，并运行该脚本，监控硬件和软件平台的性能，提供分析报告或相关资料。 通过几台机器就可以模拟出成百上千的用户对应用系统进行负载能力的测试。,（3）脚本技术 脚本是一组测试工具执行的指令集合，也是计算机程序的一种形式。脚本可以通过录制测试的操作产生，然后再做修改，这样可以减少脚本编程的工作量。当然，也可以直接用脚本语言编写脚本。脚本中可包含数据和指令，并包括以下一些信息：同步(何时进行下一步输入)比较信息(比较什么、如何比较以及和谁比较)捕获何种屏幕数据以及存储在何处控制信息等,测试脚本的开发流程,1)根据测试设计文档，确定自动测试范围。使用捕获/回放工具生成初始的测试脚本；2)对生成的脚本进行修改，得到正确的、可复用的、可维护性好的脚本。3)执行修改后的脚本，获得实际的运行效果。4)对观察到的运行结果进行分析和比较，报告发现的缺陷；评价本次运行结果，分析存在的问题和不足，提出下一步的改进方案。5)重复前面的步骤，进行回归测试和其他测试。根据需要，可能从第一步开始重复执行， 也可能从后面各步开始重复执行。,（4）自动比较 自动测试时，预期输出是事先定义的，或插入脚本中的(checkpoint)，然后在测试过程中运行脚本，将捕获的结果和预先准备的输出进行比较，从而确定测试用例是否通过。自动比较可以对比屏幕或屏幕区域图象、比较窗口或窗口上空间的数据或属性、比较网页、比较文件等。,（5）测试管理 指对测试输入、执行过程、测试结果进行管理。除了对和手工测试共性的测试计划、测试用例、缺陷、产品功能、需求变化等实施管理外，还要对自动化测试中的测试数据文件、测试脚本代码、预期输出结果、测试日志、测试自动比较结果等进行跟踪、控制和管理。,6.2 软件自动化测试生存周期方法学 P145,图 自动化测试生存周期方法学结构,软件自动化测试生存周期方法学（续）,采用自动化测试方法的确认自动化测试工具的获取：自动化工具可以购买，也可以自己开发 自动化测试的引入阶段 包括测试过程分析和测试工具的考查。测试计划与测试设计 包括制订测试计划、建立测试环境、测试设计和设计开发。测试执行与管理测试活动评审与评估,6.3 自动化测试生存周期方法的应用,软件自动化测试不是灵丹妙药测试计划产生：主要靠测试工程师与软件生产质量保证 专家的合作，自动化工具只能起到一定的辅助作用。一种测试工具不完全适用于所有测试自动测试不一定减轻工作量测试进度可能不一定缩短测试工具不一定易于使用自动化测试的普遍应用存在局限测试覆盖率不会达到百分之百,测试自动化限制,测试自动化可以带来非常明显的收益，但也有以下限制：不能取代手工测试，可作为手工测试的补充，手工测试比自动测试发现的缺陷更多对测试质量的依赖性极大，自动测试一般可能使测试得更快，而不能保证测试得更好自动测试脚本可能包含错误；需要被测试的程序相对稳定；测试自动化可能会制约软件开发。测试工具本身不能代替人的想象力和创造力。人工测试比测试工具更优越的另一个方面是可以处理意外事件。,软件测试工具分类,根据测试方法分类:黑盒测试工具、白盒测试工具。根据测试的对象和目的：单元测试工具、功能测试工具、负载测试工具、性能测试工具和测试管理工具等。,自动化测试工具在设计时往往针对被测试的对象不同而不同,黑盒测试工具：是指测试软件功能或性能的工具，主要用于系统测试和验收测试；其又可分为功能测试工具和性能测试工具。一般原理是利用脚本的录制/回放，模拟用户的操作，然后将被测系统的输出记录下来同预期结果比较。 白盒测试工具：是指测试软件的源代码的工具，可以实现代码的静态分析，动态测试，评审等功能，主要用于单元测试。又分为静态测试工具和动态测试工具。 测试管理工具：是指管理整个测试流程的工具，主要功能有测试计划的管理，测试用例的管理，缺陷跟踪，测试报告管理等，一般贯穿于整个的软件测试生命周期。 所有的测试工具都可以归到上面的3个大类里面，比如一些数据库测试工具、链接测试工具可以归到黑盒测试工具里面，一些缺陷管理工具如Bugzilla可以归到测试管理工具里面，但有时缺陷管理工具也可以自成一类。,软件测试工具分类,MI公司,全称Mercury Interactive，软件测试工具领域的NO.1。其开发的LoadRunner属于性能测试工具，主要用于C/S和B/S结构的软件系统的测试，其通过模拟虚拟的并发用户数来对被测系统进行压力测试。通过以模拟上千万用户实施并发负载及实时性能监测的方式来确认和查找问题，能够 对整个企业架构进行测试, 使企 业能最大限度地缩短测试时间， 优化性能和加速应用系统的发 布周期。,测试工具主流产品,TD,TestDirector,是MI公司开发的一款知名的测试管理工具，可以实现需求管理，测试计划管理，用例管理，缺陷管理。TestDirector能够很好的和MI公司的其他测试工具（如QTP,LoadRunner等）很好的集成，并且具有强大的图表统计功能，会自动生成丰富的统计图表。 TestDirector是B/S结构的软件，只需要在服务器端安装软件，所有的客户端就可以通过浏览器来访问TestDirector,方便测试人员的团队合作和沟通交流。 QC(Quality Center)可以说是TD的升级版。Bugzilla是缺陷管理工具。,黑盒测试工具,WinRunner是MI公司开发的一款功能测试工具，是基于 Windows操作系统的，通过脚本的录制和回放来进行自动化的功能测试。脚本语言是类C的。QTP的全称是Quick Test Professional, 是MI公司开发的一款功能测试工具，也是MI公司主推的一款测试工具，其功能与WinRunner类似。 脚本语言是类VBScript。,黑盒测试工具,LoadRunner是MI公司的性能测试工具，跨平台的，可以安装运行在Windows等多种操作系统。近年，国内的51testing网和MI公司等联合推出了LoadRunner的认证培训。小知识：安装LoadRunner后卸载，卸载干净才能重装成功。软件是否卸载完全，重点观察系统的注册表。,黑盒测试工具,IBM Rational公司，原来叫作Rational；后来被IBM公司收购，就改成了IBM Rational。IBM Rational公司开发的软件测试工具的市场占有率仅次于MI公司，IBM Rational公司的测试工具主要有4款：Rational TestManager（测试管理工具）Rational ClearQuest（缺陷管理工具）Rational Robot（功能/性能工具）Rational Purify （白盒测试工具）Rational公司的其他软件工程领域的工具: Rational Requisitepro(需求管理)，Rational Rose(建模工具)， Rational Clearcase（配置管理）等，其公司的定位是为软件公司客户提供一整套软件生命周期解决方案。,美国Compuware（康博）其公司开发的测试工具主要有QACenter（测试管理）Trackrecord（缺陷管理）QARun(功能)QALoad（性能）Devpartner （白盒测试） 这些测试工具在国内不是很流行，但在欧美比较普及。,其他测试工具,Telelogic,其开发了很多软件工程领域的工具，如Telelogic doors（需求管理）等，但是最有名的是Logiscope（白盒测试）。微软公司-WAS（性能测试）Radview公司-WebLoad（性能测试），TestView Manager（测试管理）Parasoft公司Jtest（白盒测试）,C+ test（白盒测试）另外，很多缺陷管理工具都是开源的，可在网络上免费下载，比如Bugzilla（免费）,Junit(白盒工具)，Mantis（免费）,Jira（免费）。,按照功能选择测试工具 “适合才是根本” 。考虑以下几点：操作系统兼容性。如LoadRunner是跨平台的，而WinRunner只能在Windows平台上运行。测试工具的集成能力：同一家公司的测试工具一般彼此间可共享和传递数据，例如MI公司的产品。如TD中可导入LoadRunner, QTP中的测试脚本。是否需要报表统计功能，如LoadRunner有强大的报表统计功能。在适当的生命周期选择测试工具按照测试人员的实际技能选择匹配的测试工具选择一个可提供的测试工具,如何选择合适的软件测试工具,6.4.4 常用测试工具概要 P152,Parasoft C+ TestTD,QCQACenterDataFactoryWinRunner、QTPLoadRunnerMS ACTRational RobotPureLoadBugzilla,
