黑盒测试及其测试实例ppt课件.ppt

测试的方法与技术,软件测试的策略和方法,静态测试方法,动态测试方法,人工测试方法,计算机辅助静态分析方法,白盒测试方法,黑盒测试方法,黑盒测试方法是在程序接口上进行测试，主要是为了发现以下错误：是否有不正确或遗漏了的功能?在接口上，输入能否正确地接受?能否输出正确的结果?是否有数据结构错误或外部信息(例如数据文件)访问错误?性能上是否能够满足要求?是否有初始化或终止性错误?,软件,输入,不深入代码细节的测试方法称为动态黑盒测试。软件测试员充当客户来使用。,输出,这种方法是把测试对象看做一个黑盒子，测试人员完全不考虑程序内部的逻辑结构和内部特性，只依据程序的需求规格说明书，检查程序的功能是否符合它的功能说明。,动态黑盒测试 戴上眼罩测试软件,所谓等价分类，就是把所有可能的输入数据（有效的和无效的）划分成若干个等价类(等价类是指某个输入域的子集合。在该集合中，各个输入数据对于揭露程序中的错误都是等价的)。因此，可以把全部输入数据合理地划分为若干等价类，在每一个等价类中取一个数据作为测试的输入条件，这样就可以少量的代表性测试数据，来取得较好的测试结果。,Windows计算器程序实例分析（1）你测试了1+1，1+2,1+3和1+4之后，还有必要测试1+5和1+6吗？你能放心地认为它们正确吗？（2）1+15与1+99999999999999999999999999999999有什么区别呢？（3）测试计算器中“菜单”命令中的复制功能（单击复制命令，在菜单弹出时键入c或者C，或者按Ctrl+c,这几种方法在设计测试用例时可以缩减为按Ctrl+c组合键),注意：在寻找等价类划分时，考虑把软件具有相似输入、相似输出、相似操作的分在一组，这些组就是等价划分。,如何划分等价类？有效等价类(合理等价类)无效等价类(不合理等价类),划分等价类的规则（5个),(1)如果输入条件规定了取值范围，可定义一个有效等价 类和两个无效等价类。,例1.1:输入值是学生成绩，范围是0100。,0 100,有效等价类0成绩100,无效等价类 成绩100,无效等价类 成绩0,(2)如果输入条件规定了输入值的集合，或者是规定了“必须如何”的条件，这时可确立一个有效等价类和一个无效等价类。例1.2：输入条件要求：x=5，答案：有效等价类：1个x=5 无效等价类：1个：x!=5,（3）在输入条件是一个布尔量的情况下，可确定一个有效等价类和一个无效等价类。例1.3：输入条件要求：x=ture，答案：有效等价类：1个x=ture 无效等价类：1个：x=false,(4)在规定了输入数据的一组值(假定n个，or关系)，并且程序要对每一个输入值分别进行处理的情况下，可确立n个有效等价类和一无效等价类（and关系）。例1.4：输入条件说明学历可为:专科、本科、硕士、博士四种之一。答案：有效等价类：4个：专科、or本科、or硕士、or博士 无效等价类：1个：!专科and！本科and！硕士and！博士,例如，在教师上岗方案中规定对教授、副教授、讲师和助教分别计算分数，做相应的处理。因此可以确定4个有效等价类为教授、副教授、讲师和助教，一个无效等价类，它是所有不符合以上身分的人员的输入值的集合。,（5）在规定了输入数据必须遵守的规则的情况下（and关系），可确立一个有效等价类（符合规则）和若干个无效等价类（从不同角度违反规则，or关系）。例1.5：要求输入必须满足年龄18岁，性别男，地区河南的人。答案:有效等价类：1个：年龄18岁and性别男and地区河南 无效等价类：3个：年龄=18岁，or 性别！男，or地区！河南,根据等价类创建测试用例的步骤,建立等价类表，列出所有划分出的等价类：,(1)为每一个等价类规定一个唯一编号；(2)设计一个新的测试用例，使其尽可能多地覆盖尚未被覆盖的有效等价类，重复这一步，直到所有的有效等价类都被覆盖为止；(3)设计一个新的测试用例，使其仅覆盖一个尚未被覆盖的无效等价类，重复这一步，直到所有的无效等价类都被覆盖为止。,从划分出的等价类中按以下原则设计测试用例：,常见等价类划分测试形式,针对是否对无效数据进行测试，可以将等价类测试分为 标准等价类测试和健壮等价类测试。标准等价类测试不考虑无效数据值，测试用例使用每个等价类中的一个值。健壮等价类测试主要的出发点是考虑了无效等价类。对有效输入，测试用例从每个有效等价类中取一个值；对无效输入，一个测试用例有一个无效值，其他值均取有效值。,使用等价类划分法测试的实例,例1 三角形问题分析：在多数情况下，是从输入域划分等价类的，但并非不能从被测程序的输出域反过来定义等价类，事实上，这对于三角形问题却是最简单的划分方法。在三角形问题中，有四种可能的输出：等边三角形、等腰三角形、一般三角形和非三角形。利用这些信息能够确定下列输出（值域）等价类。R1=a，b，c：边为a，b，c 的等边三角形R2=a，b，c：边为a，b，c 的等腰三角形R3=a，b，c：边为a，b，c 的一般三角形R4=a，b，c：边为a，b，c 不能构成三角形标准等价类测试不考虑无效数据值，测试用例使用每个等价类中的一个值。,三角形问题的4个标准等价类测试用例,三角形问题的7个健壮等价类测试用例,例2:某报表处理系统要求用户输入处理报表的日期，日期限制在2005年1月至2009年12月，即系统只能对该段期间内的报表进行处理，如日期不在此范围内，则显示输入错误信息。系统日期规定由年、月的6位数字字符组成，前四位代表年，后两位代表月。如何用等价类划分法设计测试用例,来测试程序的日期检查功能？,步骤:,第一步：等价类划分第二步：为有效等价类设计测试用例。（多个有效等价类可使用一个测试用例）第三步：为每一个无效等价类设至少 设计一个测试用例,第一步：等价类划分,第二步：为有效等价类设计测试用例对表中编号为1，2，3的3个有效等价类用一个测试用例覆盖：,第三步：为每一个无效等价类设至少设计一个测试用例,不能出现相同的测试用例,本例的10个等价类至少需要8个测试用例,例3.在某网站申请免费信箱时，要求用户必须输入用户名、密码及确认密码，对每一项输入条件的要求如下：用户名要求为4位以上，16位以下，使用英文字母、数字、“-”、“_”，并且首字符必须为字母或数字；密码要求为616位之间，只能使用英文字母、数字以及“-”、“_”，并且区分大小写。分析如下：分析程序的规格说明，列出等价类表（包括有效等价类和无效等价类），如表4-5所示。,表4-5 等价类表,根据上述等价类表，设计测试用例如表4-6所示。,表4-6 测试用例,例4.保险公司计算保费费率的程序 某保险公司的人寿保险的保费计算方式为：投保额保险费率 其中，保险费率依点数不同而有别，10点及10点以上保险费率为0.6%，10点以下保险费率为0.1%；而点数又是由 投保人的年龄、性别、婚姻状况和抚养人数来决定，具体规则如下：,（1）分析程序规格说明中给出和隐含的对输入条件的要求，列出等价类表（包括有效等价类和无效等价类）。年龄：一位或两位非零整数，值的有效范围为199性别：一位英文字符，只能取值M或F婚姻：字符，只能取值已婚或未婚抚养人数：空白或一位非零整数（19）点数：一位或两位非零整数，值的范围为199（2）根据（1）中的等价类表，设计能覆盖所有等价类的 测试用例。,2.边界值分析法（Boundary Value Analysis）,软件边界与悬崖很类似,测试内点,测试外点,被测试子域,边界值分析法与等价类划分法区别(1)边界值分析不是从某等价类中随便挑一个作为代表，而是使这个等价类的每个边界都要作为测试条件。(2)边界值分析不仅考虑输入条件，还要考虑输出空间产生的测试情况（NextDate函数用例）。,边界值分析法,边界值分析法是对等价类划分方法的补充。人们从长期的测试工作经验得知，大量的错误是发生在输入或输出范围的边界上，而不是在输入范围的内部。因此针对各种边界情况设计测试用例，可以查出更多的错误。边界值分析的基本思想是把测试的重点放在各个等价类的边界上，使用在最小值、略小于最小值、略高于最小值、正常值、最大值、略低于最大值和略超过最大值处的值做为测试数据，并据此设计出相应的测试用例。,比如，在做三角形计算时，要输入三角形的三个边长：A、B和C。我们应注意到这三个数值应当满足 A0、B0、C0、ABC、ACB、BCA，才能构成三角形。但如果把六个不等式中的任何一个大于号“”错写成大于等于号“”，那就不能构成三角形。问题恰出现在容易被疏忽的边界附近。,1:Rem Creat a 10 element integer array2:Rem Initialize each element to-13:Dim data(10)As Integer4:Dim i As Integer5:For i=1 To 106:data(i)=-17:Next I8:End,演示边界条件缺陷的简单BASIC程序,边界值设计原则,（1）如果输入条件规定了值的范围，则应取刚达到这个范围的边界的值，以及刚刚超越这个范围边界的值作为测试输入数据。例如，如果程序的规格说明中规定：“重量在10公斤至50公斤范围内的邮件，其邮费计算公式为”。作为测试用例，我们应取10及50，还应取10.01,49.99,9.99及50.01等。,（2）如果输入条件规定了值的个数，则用最大个数、最小个数、比最小个数少一、比最大个数多一的数作为测试数据。例如，一个输入文件应包括1-255个记录，则测试用例可取1和255，还应取0及256等。,3.将规则1和2应用于输出条件，即设计测试用例使输出值达到边界值及其左右的值。例如，一程序属于情报检索系统，要求每次”最少显示1条、最多显示4条情报摘要”，这时我们应考虑的测试用例包括1和4，还应包括0和5等。再如，一个学生成绩管理系统规定，只能查询95-98级大学生的各科成绩，可以设计测试用例，使得查询范围内的某一届或四届学生的学生成绩，还需设计查询94级、99级学生成绩的测试用例（不合理输出等价类）。由于输出值的边界不与输入值的边界相对应，所以要检查输出值的边界不一定可能，要产生超出输出值之外的结果也不一定能做到，但必要时还需试一试。,（4）如果程序的规格说明给出的输入域或输出域是有序集合（如顺序文件、线性表等），则应选取集合的第一个元素和最后一个元素作为测试用例。（5）如果程序中使用了一个内部数据结构，则应当选择这个内部数据结构的边界上的值作为测试用例。例如，如果程序中定义了一个数组，其元素下标的下界是0，上界是100，那么应选择达到这个数组下标边界的值，如0与100，作为测试用例。（6）分析规格说明，找出其他可能的边界条件。,程序中判断输入日期（年月）是否有效，假设使用如下语句：IF（ReportDate=MinDate）THEN 产生指定日期报表 ELSE 显示错误信息ENDIF如果将程序中的“=”误写为“”，则上例的等价类划分中所有测试用例都不能发现这一错误，采用边界值分析法的测试用例如下表所示。,对上述报表处理系统中的报表日期输入条件，以下用边界值分析设计测试用例。,输入条件,报表日期的类型及长度,1个数字字符5个数字字符7个数字字符有1个非数字字符全部是非数字字符6个数字字符,显示出错显示出错显示出错显示出错显示出错输入有效,日期范围,月份范围,“报表日期”边界值分析法测试用例,测试用例说明,测试数据,期望结果,选取理由,52006520070052008.5MAY-200605,月份为1月月份为12月月份12,200501200512200500200513,200501200912200500200913,输入有效输入有效显示出错显示出错,输入有效输入有效显示出错显示出错,在有效范围边界上选取数据,仅有1个合法字符比有效长度少1比有效长度多1只有1个非法字符6个非法字符类型及长度均有效,最小日期最大日期刚好小于最小日期刚好大于最大日期,最小月份最大月份刚好小于最小月份刚好大于最大月份,边界值分析法与等价类划分法比较(1)等价分类法的测试数据是在各个等价类允许的值域内任意选取的，而边界值分析的测试数据必须在边界值附近选取。(2)一般地说，用边界值分析法设计的测试用例比等价分类法的代表性更广，发现错误的能力也更强。但是对边界的分析与确定比较复杂，要求测试人员具有更多的经验和创造性。(3)还需指出，有些包含的边界情况比较简单，只需要分析输入等价类。在有些情况下，除了考察输入值边界外，还需要考察输出值和其他可能存在的边界。,例：假定被测程序是一个计算x的正弦值sin（x）,其输出具有3个边界值-1、0、1。在选择测试用例时，应使x的值分别产生上述的3种输出边界值，即选取-/2、0、/2作为x的测试数据。,3.错误猜测法,错误推测法的基本思想是：列举出程序中所有可能有的错误和容易发生错误的特殊情况，根据它们选择测试用例。显然，它比前两种方法更多地依靠测试人员的直觉和经验。所以，一般都先用前两种方法设计测试用例，然后用猜错法补充一些例子作为辅助手段。,根据经验来设计测试用例的方法：例如，数据测试中的：缺省值空白空值零值无,又如输入、输出数据为零是容易发生错误的情况；再如，输入表格为空或输入表格只有一行是容易出错的情况等。例如对于一个排序程序，列出以下几项需特别测试的情况：(1)输入表为空。(2)输入表只含一个元素。(3)输入表中所有元素均相同。(4)输入表中已排好序。,仍以上述的报表日期为例，在已经用等价分类法和边界值分析发设计过测试用例的基础上，还可用错误猜测法补充一些测试用例，例如：报表日期为：“0”漏送“报表日期”年月次序颠倒，例如将“200112”误输为“122001”,4.决策表法,4.1决策表法决策表通常由四个部分组成，如图4-1所示。条件桩：列出了问题的所有条件，通常认为列出的条件的先后次序无关紧要。动作桩：列出了问题规定的可能采取的操作，这些操作的排列顺序没有约束。条件项：针对条件桩给出的条件列出所有可能的取值。动作项：与条件项紧密相关，列出在条件项的各组取值情况下应该采取的动作。规则：一种条件取值组合和与其对应的动作组合（即判定表中贯穿条件项和动作项的一列）构成了判定表中的一个规则。条件取值组合的数目就是规则的数目。,图4-1 决策表的组成,建立决策表的步骤：列出条件桩和动作桩。确定规则的个数，用来为规则编号。若有n个原因，由于每个原因可取0或1，故有2的n次方个规则。完成所有条件项的填写。完成所有动作项的填写。合并相似规则，用以对初始决策表进行简化(见书P56)。建立了决策表后，可针对决策表中的每一列有效规则设计一个测试用例，用以对程序进行黑盒测试。,决策表最突出的优点：能够将复杂的问题按照各种可能的情况全部列举出来，简明并避免遗漏。因此，利用决策表能够设计出完整的测试用例集合。运用决策表设计测试用例，可以将条件理解为输入，将动作理解为输出。,4.2 实例分析 举例：以下列问题为例给出构造决策表的具体过程。如果某产品销售好并且库存低，则增加该产品的生产；如果该产品销售好，但库存量不低，则继续生产；若该产品销售不好，但库存量低，则继续生产；若该产品销售不好，且库存量不低，则停止生产。,表4-2 决策表,解法如下：确定规则的个数。对于本题有2个条件（销售、库存），每 个条件可以有两个取值，故有22=4种规则。列出所有的条件桩和动作桩。填入条件项。填入动作项，得到初始决策表，如表4-2所示。,5.因果图法,在等价类划分方法和边界值方法中未考虑输入条件的各种组合，当输入条件比较多时，输入条件组合的数目会相当大。因果图法是一种帮助人们系统地选择一组高效测试用例的方法，它既考虑了输入条件的组合关系，又考虑了输出条件对输入条件的依赖关系，即因果关系，其测试用例发现错误的效率比较高。因果图方法的特点是：考虑输入条件的组合关系；考虑输出条件对输入条件的依赖关系，即因果关系；测试用例发现错误的效率高；能检查出功能说明中的某些不一致或遗漏。,在因果图中出现的基本符号 在因果图中使用4种符号分别表示4种因果关系，如图5-1所示。用直线连接左右节点，其中左节点ci表示输入状态（或称原因），右节点ei表示输出状态（或称结果）。ci和ei都可取值0或1，0表示某状态不出现，1表示某状态出现。主要的原因和结果之间的关系有:,图中左边的结点表示原因，右边的结点表示结果原因和结果之间的关系有：恒等：若c1=1，则e1=1；若c1=0，则e1=0非：若c1=1，则e1=0；若c1=0，则e1=1或：若c1=1或c2=1 或c3=1，则e1=1；否则e1=0与：若c1=c2=c3=1，则e1=1；否则e1=0画因果图时原因在左，结果在右，由上向下排列，并根据功能说明中规定的原因和结果之间的关系，用上述符号连接起来。必要时还可以引入一些中间结点。,表示约束条件的符号 为了表示原因与原因之间，结果与结果之间可能存在的约束条件，在因果图中可以附加一些表示约束条件的符号。见图5-2.,图5-2 约束符号,图中互斥、包含、唯一、要求是对原因的约束，屏蔽是对结果的约束互斥：表示a、b、c中至多只有一个为1，即不同时为1包含：表示a、b、c中至少有一个为1，即不同时为0唯一：表示a、b、c中有且仅有一个1要求：表示若a=1，则要求b必须为1，即不可出现a=1 且b=0屏蔽（强制）：表示若a=1，则b必须为0，即不可出现a=1 且b=1,利用因果图产生测试用例的基本步骤,(1)分析软件规格说明描述中，哪些是原因(即输入条件或输入条件的等价类)，哪些是结果(即输出条件)，并给每个原因和结果赋予一个标识符。(2)分析软件规格说明描述中的语义，找出原因与结果之间，原因与原因之间对应的是什么 关系?根据这些关系，画出因果图。,(3)由于语法或环境限制，有些原因与原因之 间，原因与结果之间的组合情况不可能出 现。为表明这些特殊情况，在因果图上用 一些记号标明约束或限制条件。(4)把因果图转换成决策表。(5)把决策表的每一列拿出来作为依据，设计测试用例。从因果图生成的测试用例中包括了所有输入数据的取TRUE与FALSE情况，构成的测试用例数目达到最少，且测试用例数目随输入数据数目的增加而线性地增加。,图5-3 因果图法示例,5.2因果图法测试用例,某软件规格说明中包含这样的要求：输入的第一个字符必须是A或B，第二个字符必须是一个数字，在此情况下进行文件的修改；但如果第一个字符不正确，则给出信息L；如果第二个字符不是数字，则给出信息M。解法如下：（1）分析程序的规格说明，列出原因和结果。原因：C1-第一个字符是A C2-第一个字符是B C3-第二个字符是一个数字结果：e1-给出信息Le2-修改文件e3-给出信息M（2）将原因和结果之间的因果关系用逻辑符号连接起来，得到因果图，如图5-4所示。编号为11的中间节点是导出结果的进一步原因。,图5-4 因果图示例,图5-5 具有E约束的因果图,因为C1和C2不可能同时为1，即第一个字符不可能既是A又是B，在因果图上可对其施加E约束，得到具有约束的因果图，如图5-5所示。,（3）将因果图转换成决策表，如表5-1所示。（4）设计测试用例。表5-1中的前两种情况，因为原因1和原因2不可能同时为1，所以应排除这两种情况。根据此表，可以设计出6个测试用例，如表5-2所示。,表5-1 决策表,表5-2 测试用例,例2：某电力公司有A、B、C、D四类收费标准,并规定：居民用电 100度/月 按A类收费 100度/月 按B类收费 动力用电 10000度/月，非高峰，B类收费 10000度/月，非高峰，C类收费 10000度/月，高峰，C类收费 10000度/月，高峰，D类收费,输入条件（原因）输出动作（后果）,c1居民用电 e1 按A类收费c2动力用电 e2 按B类收费c3 100度/月 e3 按C类收费c410000度/月 e4 按D类收费c5高峰用电,设计测试用例的步骤:1.列举所有存在的输入条件和输出结果。,2.根据输入条件和输出条件生成决策表。,把因果图转换为决策表,-,-,-,-,-,-,-,-,-,-,1列 居民电,90度/月 A2列 居民电,110度/月 B3列 动力电,非高峰,8000度/月 B4列 动力电,非高峰,1.2万度/月 C5列 动力电,高峰,0.9万度/月 C6列 动力电,高峰,1.1万度/月 D,条件 测试用例 预期结果组合(输入数据)(输出动作),3.针对决策表的每一列产生一个测试用例。,例3，有一个处理单价为5角钱的饮料自动售货机软件，其规格说明如下：饮料自动售货机允许投入5角或1元的硬币，用户可通过“橙汁”和“啤酒”按钮选择饮料，售货机还装有一个表示“零钱找完”的指示灯，当售货机中有零钱找时指示灯暗，当售货机中无零钱找时指示灯亮。当用户投入5角硬币并押下“橙汁”或“啤酒”按钮后，售货机送出“橙汁”或“啤酒”。当用户投入1元硬币并押下“橙汁”或“啤酒”按钮后，如果售货机有零钱找，则送出相应的饮料，并退还5角硬币；如果售货机没有零钱找，则饮料不送出，并且退还1元硬币。,(1)分析规格说明，列出原因和结果规格说明中的红色部分是输入条件（原因），蓝色部分是输出条件（结果）。由于“售货机有零钱找”是在投入1元硬币时判断是否能找零钱的依据，所以也可把它看作是一个输入条件，即原因。与之对应的结果是售货机指示灯亮（或暗）。,售货机有零钱找,投入1元硬币,投入5角硬币,押下橙汁按钮,押下啤酒按钮,6.测试方法的选择,为了最大程度地减少测试遗留的缺陷，同时也为了最大限度地发现存在的缺陷，在测试实施之前，测试工程师必须确定将要采用的测试策略和测试方法，并以此为依据制定详细的测试方案。通常，一个好的测试策略和测试方法必将给整个测试工作带来事半功倍的效果。如何才能确定好的测试策略和测试方法呢？通常，在确定测试方法时，应该遵循以下原则：根据程序的重要性和一旦发生故障将造成的损失来确定测试等级和测试重点。认真选择测试策略，以便能尽可能少地使用测试用例，发现尽可能多的程序错误。因为一次完整的软件测试过后，如果程序中遗留的错误过多并且严重，则表明该次测试是不足的，而测试不足则意味着让用户承担隐藏错误带来的危险，但测试过度又会带来资源的浪费。因此，测试需要找到一个平衡点。,以下是各种测试方法选择的综合策略，可在实际应用过程中参考。首先进行等价类划分，包括输入条件和输出条件的等价划分，将无限测试变成有限测试，这是减少工作量和提高测试效率的最有效方法。在任何情况下都必须使用边界值分析方法。经验表明用这种方法设计出测试用例发现程序错误的能力最强。对照程序逻辑，检查已设计出的测试用例的逻辑覆盖程度。如果没有达到要求的覆盖标准，应当再补充足够的测试用例。如果程序的功能说明中含有输入条件的组合情况，则应在一开始就选用决策表法或者因果图法。,7.小 结,测试用例的设计方法不是单独存在的，具体到每个测试项目里都会用到多种方法，每种类型的软件有各自的特点，每种测试用例设计的方法也有各自的特点，针对不同软件如何利用这些黑盒方法是非常重要的，在实际测试中，往往是综合使用各种方法才能有效提高测试效率和测试覆盖度，这就需要认真掌握这些方法的原理，积累更多的测试经验，以有效提高测试水平。,