非参数统计 单一样本的推断问题课件.ppt

胡雪梅,QQ:182048520 E-mail：,第三章,数学与统计学院,单一样本的推断问题,主要内容,第一节 符号检验和分位数推断,假设总体 ， 是总体的中位数，对于假设检验问题： 是待检验的中位数取值,定义: ，则 在零假设情况下 ，在显著性水平为 的拒绝域为其中k是满足上式最大的k值。,例3.1. 假设某地16座预出售的楼盘均价，单位(百元/平方米)如下表所示： 36 32 31 25 28 36 40 32 41 26 35 35 32 87 33 35,解一: 用t检验法,用T统计量,结论: 不能拒绝H0。,解二: 用符号检验法,在显著性水平0.05下，拒绝H0。符号检验与t检验得到了相反的结论，到底选择哪一种结果呢？,结论：符号检验在总体分布未知的情况下优于t 检验！,补充: R中的t检验法的用法,t-test(x) X1,X2,XnN(a, 2), H0 : a=a0 , H1: aa0,补充: R中的t检验法的用法,例如, 某食品厂用自动装罐机装罐头食品,每罐质量为500g, 现从每天生产的罐头中随机抽测9罐,其质量分别为:510, 505, 498, 503, 492, 502, 497, 506, 495(单位:g)欲检验H0: a=500, H1: a500, t.test(x-500)data: x - 500 t = 0.46, df = 8, p-value = 0.6578 alternative hypothesis: mean is not equal to 0 95 percent confidence interval: -3.567471 5.345249 sample estimates: mean of x 0.8888889,2) 配对t检验法 X1,X2,XnN(a1, 12), Y1,Y2,YnN(a2, 22), H0 : a1=a2 , H1: a1a2,补充: R中的t检验法的用法,例如, 欲比较甲乙两种轮胎的耐磨性, 现抽取数据如下:甲: 4900,5220,5500,6020,6340,7660,8650,4870乙: 4930,4900,5140,5700,6110,6880,7930,5010欲检验H0 : a1=a2 , H1: a1a2, x y t.test(x,y,alternative=“less”,paired=T),补充: R中的t检验法的用法,Paired t-Testdata: x and y t = 2.8312, df = 7, p-value = 0.9873 alternative hypothesis: mean of differences is less than 0 95 percent confidence interval: NA 534.1377 sample estimates: mean of x - y 320接受H0, 认为两种轮胎无显著性差异.,结果讨论,例 生产过程是否需要调整。 某企业生产一种钢管，规定长度的中位数是l0米。现随机地：从正在生产的生产线上选取10根进行测量，结果： 9.8 10.1 9.7 9.9 9.8，10.0，9.7 10.0，9.9 9.8,分析：中位数是这个问题中所关心的一个位置参数。若产品长度真正的中位数大于或小于10米，则生产过程需要调整。这是一个双侧检验，应建立假设,大样本结论,当n较大时 ：当n不够大的时候可用修正公式进行调整。双边： ，p-值左侧： ，p-值右侧： ，p-值,例3.2 设某化妆品厂商有A和B两个品牌，为了解顾客对A品牌和B品牌在使用上的差异，将A品牌和B品牌同时交给45个顾客使用，一个月后得到如下数据： 喜欢A品牌的客户人数：22人 喜欢B品牌的客户人数：18人 不能区分的人数： 5人,解：假设检验问题：,由给定的数据知：,运用大样本的性质，,结论：不能拒绝零假设。,符号检验在配对样本比较中的应用,配对样本(x1,y1), (x2,y2) , (xn,yn) 将 记为“+”， 记为“-” ， 记为“0”，记P+ 为“+”比例， P- 为“-”比例， 那么假设检验问题： 可以用符号秩检验。,H0:P+=P- H1:P+=P-,例3.4 如右表是某种商品在12家超市促销活动前后的销售额对比表，用符号检验分析促销活动的效果如何？,连 促销前 促销后锁 销售额 销售额 符号店1 42 40 + 2 57 60 - 3 38 38 0 4 49 47 + 5 63 65 - 6 36 39 - 7 48 49 - 8 58 50 + 9 47 47 0 10 51 52 - 11 83 72 + 12 27 33 -,结论：不能拒绝零假设。,根据同样原理，可以将中位数符号检验推广为任意分位点的符号检验。,例3.1. 假设某地16座预出售的楼盘均价，单位(百元/平方米) 36,32,31,25,28,36,40,32,41,26,35,35,32,87,33,35,36 32 31 25 28 36 40 32 41 26 35 35 32 87 33 35 - - - - - - 0 - + - - - - + - -,S+=2, S-=13, Pbinom(15, 0.75)minS+,S-2=0因此,拒绝H0。,binom.test(sum(x40),length(x)-1,0.75)Exact binomial testdata: sum(x 40) out of length(x)-1 number of successes = 2, n = 15, p-value = 9.23e-07alternative hypothesis: p is not equal to 0.75,R编程计算：,95 percent confidence interval: 0.01657591 0.40460270 sample estimates:probability of success 0.1333333,Cox-Staut趋势存在性检验,检验原理:设数据序列： ，双边假设检验问题：令：取数对 ， ， 为正的数目， 为负的数目, 当正号或者负号太多的时候，认为数据存在趋势。在零假设情况下 Di服从二项分布。从而转化为符号检验问题。,X1,X2,Xn,例3.6 某地区32年来的降雨量如下表 问 （1）：该地区前10年来降雨量是否有变化？ （2）：该地区32年来降雨量是否有变化？,年份 1971 1972 1973 1974 1975 1976 1977 1978降雨量 206 223 235 264 229 217 188 204年份 1979 1980 1981 1982 1983 1984 1985 1986降雨量 182 230 223 227 242 238 207 208年份 1987 1988 1989 1990 1991 1992 1993 1994降雨量 216 233 233 274 234 227 221 214年份 1995 1996 1997 1998 1999 2000 2001 2002降雨量 226 228 235 237 243 240 231 210,=5,结论: 不能拒绝零假设。, x y binom.test(sum(xy),length(x),0.5)Exact binomial testdata: sum(x y) out of length(x) number of successes = 2, n = 5, p-value = 1 alternative hypothesis: p is not equal to 0.5, x y binom.test(sum(xy),length(x-y),0.5)Exact binomial testdata: sum(x y) out of length(x - y) number of successes = 2, n = 16, p-value = 0.004181alternative hypothesis: p is not equal to 0.5 结论: 拒绝H0, 认为降雨量有明显变化., rain year anova(lm(rain(year)Analysis of Variance TableResponse: rainTerms added sequentially (first to last) Df Sum of Sq Mean Sq F Value Pr(F) year 1 535.36 535.3637 1.579228 0.2185691Residuals 30 10170.11 339.0035 接受H0,认为降雨量线性趋势并不显著.,随机游程检验,游程的概念 一个总体，如按性别区分的人群，按产品是否有毛病区分的总体等等，随机从中抽取一个样本，样本也可以分为两类；类型I和类型E。若凡属类型I的给以符号A，类型E的给以符号B，则当样本按某种顺序排列(如按抽取时间先后排列)时，一个或者一个以上相同符号连续出现的段，就被称作游程，也就是说，游程是在一个两种类型的符号的有序排列中，相同符号连续出现的段。,例如，将某售票处排队等候购票的人按性别区分，男以A表示，女以B表示。按到来的时间先后观察序列为：AABABB。在这个序列中，AA为一个游程，连续出现两个A；B是一个游程，A也是一个游程，BB也是一个游程。于是，在这个序列中，A的游程有2个，B的游程也有2个，序列共有4个游程。每一个游程所包含的符号的个数,称为游程的长度。如上面的序列中，有一个长度为2的A游程、一个长度为2的B游程，长度为1的A游程、B游程也有1个。,游程: 01111为两个游程游程长度: 一个游程中数据的个数一个序列里游程个数记为R.例3.7 序列1100001110110000111100 R=8，游程长度分别为2,4,3,1,2,4,4,2极端情况: 000001111111 R=2 0101010101010 R=2min(n0,n1)+1 所以, 2R2min(n0,n1)+1极端情况都说明数据不具有随机性。R服从什么分布呢？,检验原理和计算方法,设是由0或者1组成的序列 ，假设检验问题：,R为游程个数，假设有 个0， 个1， ，这时R取任何一个值的概率都是 ，R的条件分布,建立了抽样分布之后，在零假设成立时，可以计算 或者 的值，进行检验。,X1,X2,Xn,小样本的例子(p69 例3.8),H0: 样本中的观测是随机产生的.Ha: 样本中的观测是随机产生的 = .05n1 = 18n2 = 8R = 12由于 7 R = 12 17,不能拒绝 H0,Runs Test: 大样本的例子,经验表明：如果 n1或 n2 20, R 的抽样分布近似为正态,Runs Test:大样本例子(p70 例3.10),H0: 样本中的观测是随机产生的.Ha: 样本中的观测是随机产生的 = .05n1 = 40n2 = 10如果 -1.96 Z 1.96,不能拒绝 H0否则 拒绝H0. 1 1 2 3 4 5 6 7 8 9 0 11NNN F NNNNNNN F NN FF NNNNNN F NNNN F NNNNN 12 13FFFF NNNNNNNNNNNN R = 13,Runs Test: 大样本例子,-1.96 Z = -1.81 1.96,不能拒绝 H0,http:/cran.r-project.org/web/packages/tseries/index.html, library(tseries) run1=c(1,1,1,0,rep(1,7),0,1,1,0,0,rep(1,6),+ 0,rep(1,4),0,rep(1,5),rep(0,4),rep(1,13) ff=as.factor(run1) runs.test(ff) Runs Testdata: ff Standard Normal = -1.8074, p-value = 0.0707alternative hypothesis: two.sided,Wilcoxon符号秩检验,基本概念及性质 对称分布的中心一定是中位数，在对称分布情况下，中位数不唯一，研究对称中心比中位数更有意义。,例：下面的数据中，O是对称中心吗？,称连续分布F(x)关于 对称,如果,称 是分布的对称中心。,Wilcoxon符号秩检验既考虑了Xi-M0的符号，又考虑其大小。,Wilcoxon符号秩检验原理以及性质,如果数据关于0点对称，那么对称中心两侧的数据疏密程度应该一样，取正值数据在绝对值样本中的秩和与取负值在绝对值样本中的秩和相近。,用 表示 在绝对值样本中的秩，Wilcoxon符号秩统计量定义为：,正等级的总和即正秩次总和,负等级的总和即负秩次总和,Wilcoxon符号秩检验原理以及性质,例3.11 如果样本值：9,13,-7,10,-18,4，计算符号秩统计量。,Wilcoxon符号秩检验步骤：,3. 令 表示和 对应的 的秩和，令 表示 和 对应的 的秩和。,2. 找出 的秩，打结时取平均秩。,1. 计算,4. 双边检验 ,取 ，当W很小时拒绝零假设；对 ,取 ；对 ，取 。,5. 根据W的值查Wilcoxon符号秩检验分布表。对n很大的时候，可以采用正态近似。,Wilcoxon符号秩统计量分布,在小样本情况下可以计算Wilcoxon符号秩统计量的精确分布。在大样本情况下可以使用正态近似：,计算出Z值以后，查正态分布表对应的p-值，如果p-值很小，则拒绝零假设。,在小样本情况下，用连续性修正公式：,例3.12,为了解垃圾邮件对大型公司决策层工作发影响程度，某网站收集了19家大型公司的CEO邮箱里每天收到的垃圾邮件数，得到如下数据: (单位：封) 310 350 370 377 389 400 415 425 440 295 325 296 250 340 298 365 375 360 385问收到垃圾邮件的数量的中心位置是否超出320封？,使用Wilcoxon符号秩检验法计算如下：,例3.12,结论：不拒绝原假设。,例3.12,用R的内置函数计算格式: wilcox.test(x, y, alternative=two.sided, mu=0, paired=F, exact=T, correct=T) alternative two.sided“ or greater or less mu X分布的中心位置paired 是否是配对 exact 使用W+的精确分布correct 使用正态近似, x y wilcox.test(x, y)Exact Wilcoxon rank-sum testdata: x and y rank-sum statistic W = 135, n = 10, m = 10, p-value = 0.0232 alternative hypothesis: mu is not equal to 0 wilcox.test(x,y,alternative=greater)Exact Wilcoxon rank-sum testdata: x and y rank-sum statistic W = 135, n = 10, m = 10, p-value = 0.0116 alternative hypothesis: mu is greater than 0,例3.12, ssn wilcox.test(x-320) Wilcoxon signed rank testdata: ss - 320 V = 158, p-value = 0.009453alternative hypothesis: true location is not equal to 0,例3.12,如果采用binom符号检验法，即计算Yi=IXi320, S+=SUM(Yi),结论：接受H0。 Wilcoxon符号秩检验采用了比符号检验更多的信息，一般地，可以得到比较好的结果。但如果假定了总体分布的对称性，如果对称性不成立，则使用符号检验的结果更可靠。,