《假设检验完全》PPT课件.ppt

假设检验,假设检验是在两种互相对立的行动之间，通过对样本的试验，在一定的保证条件下进行决策的统计分析方法。,假设检验在统计方法中的地位,例子:,1.康涅狄格州高速公路巡警对超速驾驶者实施严厉制裁后高速公路交通事故死亡人数下降。怀俄明州杰克逊谷地公共卫生工程队的垃圾处理量是平均每周247吨。传统上，假设检验都是以否定句的形式表示。以否定句的形式表述的假设为原假设（假设什么也未发生）,（一）假设检验的意义和程序1.设立假设。2.作检验统计量。3.确定显著性水平及相应的t值。4.确定拒绝域。5.作出决策。（二）假设检验的内容1.双侧检验2.单侧检验,（一）假设检验的意义假设检验是抽样推断中的一项重要内容。它是根据原资料作出一个总体指标是否等于某一个数值，某一随机变量是否服从某种概率分布的假设，然后利用样本资料采用一定的统计方法计算出有关检验的统计量，依据一定的概率原则，以较小的风险来判断估计数值与总体数值(或者估计分布与实际分布)是否存在显著差异，是否应当接受原假设选择的一种检验方法。,（二）假设检验的步骤,1.问题的提出：对问题详加调查研究之后，根据试验或观察数据来选择一个适宜的概率模型2.假设的设立：陈述假设，即提出一个零假设和一个备择假设3.确定检验统计量：识别被检验的统计量及其分布4.确定显著性水平5.作出判断：计算被检验的实际统计量之值,用实际统计量之值与临界值比较，以确定接受或拒绝,1.什么是假设检验,假设检验是推论统计的重要内容，是先对总体的未知数量特征作出某种假设，然后抽取样本，利用样本信息对假设的正确性进行判断的过程。,统计假设有参数假设、总体分布假设、相互关系假设（两个变量是否独立，两个分布是否相同）等。参数假设是对总体参数的一种看法。总体参数包括总体均值、总体比例、总体方差等。分析之前必需陈述。,我认为该企业生产的零件的平均长度为4厘米!,参数假设检验,参数假设检验是通过样本信息对关于总体参数的某种假设合理与否进行检验的过程。即先对未知的总体参数的取值提出某种假设，然后抽取样本，利用样本信息去检验这个假设是否成立。如果成立就接受这个假设，如果不成立就放弃这个假设。下面主要讨论参数假设检验的问题。参数假设检验举例:,例1：根据1989年的统计资料，某地女性新生儿的平均体重 为3190克。为判断该地1990年的女性新生儿体重与1989年相比有无显著差异，从该地1990年的女性新生儿中随机抽取30人，测得其平均体重为3210克。从样本数据看，1990年女新生儿体重比1989年略高，但这种差异可能是由于抽样的随机性带来的，也许这两年新生儿的体重并没有显著差异。究竟是否存在显著差异？可以先假设这两年新生儿的体重没有显著差异，然后利用样本信息检验这个假设能否成立。这是一个关于总体均值的假设检验问题。,例2：某种大量生产的袋装食品，按规定每袋重量不得少于250克，现从一批该种食品中任意抽取50袋，发现有6袋重量低于250克。若规定食品不符合标准的比例达到5就不得出厂，问该批食品能否出厂。可以先假设该批食品的不合格率不超过5，然后用样本不合格率来检验假设是否正确。这是一个关于总体比例的假设检验问题。,2.假设检验的基本思想,假设检验所依据的基本原理是小概率原理。什么是小概率？概率是01之间的一个数，因此小概率就是接近0的一个数著名的英国统计家Ronald Fisher 把20分之1作为标准，也就是0.05，从此0.05或比0.05小的概率都被认为是小概率Fisher没有任何深奥的理由解释他为什么选择0.05，只是说他忽然想起来的,什么是小概率原理？,小概率原理发生概率很小的随机事件（小概率事件）在一次实验中几乎是不可能发生的。根据这一原理，可以先假设总体参数的某项取值为真，也就是假设其发生的可能性很大，然后抽取一个样本进行观察，如果样本信息显示出现了与事先假设相反的结果且与原假设差别很大，则说明原来假定的小概率事件在一次实验中发生了，这是一个违背小概率原理的不合理现象，因此有理由怀疑和拒绝原假设；否则不能拒绝原假设。检验中使用的小概率是检验前人为指定的。,下面我们用一例说明这个原则.,小概率事件在一次试验中基本上不会发生.,这里有两个盒子，各装有100个球.,小概率事件在一次试验中基本上不会发生.,现从两盒中随机取出一个盒子，问这个盒子里是白球99个还是红球99个？,小概率事件在一次试验中基本上不会发生.,我们不妨先假设：这个盒子里有99个白球.,现在我们从中随机摸出一个球，发现是,此时你如何判断这个假设是否成立呢？,假设其中真有99个白球，摸出红球的概率只有1/100，这是小概率事件.,这个例子中所使用的推理方法，可以称为,小概率事件在一次试验中竟然发生了，不能不使人怀疑所作的假设.,带概率性质的反证法,不妨称为概率反证法.,小概率事件在一次试验中基本上不会发生.,它不同于一般的反证法,概率反证法的逻辑是：如果小概率事件在一次试验中居然发生，我们就以很大的把握否定原假设.,一般的反证法要求在原假设成立的条件下导出的结论是绝对成立的，如果事实与之矛盾，则完全绝对地否定原假设.,在假设检验中，我们称这个小概率为显著性水平(Level of significance)，用 表示.常取 简而言之，我们确定拒绝原假设时究竟需要多大的把握性，取决于我们所涉及问题的重要性。,的选择要根据实际情况而定.,社会学家惯用0.05的概率作为拒绝原假设的依据。但对许多管理问题而言，0.05的概率所隐藏的风险可能太大。如120急救中心可以确认，一个员工在任意一天不能够处理所有可能求援电话的概率是0.05，这就意味着每隔20天就有一天，或每3星期就有一次无法对病人进行援助，这个场合中，0.05的水平包含风险太大，0.001的水平，或说3年失败一次的风险，可能更容易被接受。对于警察局，一辆警车的出警概率为0.05是可以接受的。但对于消防队而言，必须确保自己的消防水管失灵的概率不超过0.0001。,的选择要根据实际情况而定.,假设检验的基本思想,.因此我们拒绝假设=50,样本均值,m,=50,抽样分布,H0,假设检验的两个特点：,第一，假设检验采用逻辑上的反证法，即为了检验一个假设是否成立，首先假设它是真的，然后对样本进行观察，如果发现出现了不合理现象，则可以认为假设是不合理的，拒绝假设。否则可以认为假设是合理的，接受假设。第二，假设检验采用的反证法带有概率性质。所谓假设的不合理不是绝对的，而是基于实践中广泛采用的小概率事件几乎不可能发生的原则。至于事件的概率小到什么程度才算是小概率事件，并没有统一的界定标准，而是必须根据具体问题而定。,假设检验的两个特点：,如果一旦判断失误，错误地拒绝原假设会造成巨大损失，那么拒绝原假设的概率就应定的小一些；如果一旦判断失误，错误地接受原假设会造成巨大损失，那么拒绝原假设的概率就应定的大一些。小概率通常用 表示，又称为检验的显著性水平。通常取0.05或0.01，即把概率不超过0.05或0.01的事件当作小概率事件。,3.假设的设立：原假设和备择假设,假设检验中，我们称作为检验对象的待检验假设为原假设或零假设，用H0表示。原假设的对立假设称为备择假设或备选假设，用H1表示。例如，设0为总体均值的某一确定值。例1.对于总体均值是否等于某一确定值0的原假设可以表示为：H0：0（如H0：3190克）其对应的 备择假设则表示为：H1：0（如H1：3190克),原假设和备择假设,例2.对于总体均值是否小于某一确定值0的原假设可以表示为：H0：0（如H0：5）其对应的备择假设则表示为：H1：0（如H1：5）注意：原假设总是有等号：=或 或,4.假设检验：双侧检验和单侧检验,根据假设的形式不同，假设检验可以分为双侧假设检验和单侧假设检验。若原假设是总体参数等于某一数值，如H0：0，即备择假设H1：0，那么只要0和0 二者中有一个成立，就可以否定原假设。这种假设检验称为双侧检验。,4.假设检验：双侧检验和单侧检验（续）,若原假设是总体参数大于等于或小于等于某一数值，如H0：0（即H1：0）；或H0：0（即H1：0），那么对于前者当0时，对于后者当0 时，可以否定原假设。这种假设检验称为单侧检验。可以分为左侧检验和右侧检验。,双侧检验与单侧检验(假设的形式),5.假设检验中的拒绝域和接受域,在规定了检验的显著性水平后，根据容量为n的样本，按照统计量的理论概率分布规律，可以确定据以判断拒绝和接受原假设的检验统计量的临界值。临界值将统计量的所有可能取值区间分为两个互不相交的部分，即原假设的拒绝域和接受域。对于正态总体，总体均值的假设检验可有如下图示：,正态总体，总体均值假设检验图示：（1）双侧检验,设H0：0，H1：0，有两个临界值，两个拒绝域，每个拒绝域的面积为/2。也称双尾检验。,双侧检验示意图,0,双侧检验示意图（显著性水平与拒绝域）,双侧检验示意图（显著性水平与拒绝域）,观察到的样本统计量,双侧检验示意图（显著性水平与拒绝域）,观察到的样本统计量,双侧检验示意图（显著性水平与拒绝域）,观察到的样本统计量,（2）单侧检验有一个临界值，一个拒绝域，拒绝域的面积为。分为左侧检验和右侧检验两种情况。单侧检验示意图（显著性水平与拒绝域）,1）左侧检验,设H0：0，H1：0；临界值和拒绝域均在左侧。也称下限检验。,0,左侧检验示意图（显著性水平与拒绝域）,左侧检验示意图（显著性水平与拒绝域）,观察到的样本统计量,2）右侧检验,设H0：0，H1：0；临界值和拒绝域均在右侧。也称上限检验。,0,右侧检验示意图（显著性水平与拒绝域）,右侧检验示意图（显著性水平与拒绝域）,观察到的样本统计量,6.假设检验的两类错误,根据假设检验做出判断无非下述四种情况：原假设真实，并接受原假设，判断正确原假设不真实，且拒绝原假设，判断正确原假设真实，但拒绝原假设，判断错误原假设不真实，却接受原假设，判断错误,6.假设检验的两类错误,假设检验是依据样本提供的信息进行判断，有犯错误的可能。所犯错误有两种类型：第一类错误是原假设H0为真时，检验结果把它当成不真而拒绝了。犯这种错误的概率用表示，也称作错误(error)或弃真错误。第二类错误是原假设H0不为真时，检验结果把它当成真而接受了。犯这种错误的概率用表示，也称作错误(error)或取伪错误。,假设检验的两类错误正确决策和犯错误的概率可以归纳为下表：,假设检验中各种可能结果的概率,假设检验两类错误关系的图示以单侧上限检验为例，设H0：0，H1：0,弃真错误区,取伪错误区,从上图可以看出，如果临界值沿水平方向右移，将变小而变大，即若减小错误，就会增大犯错误的机会；如果临界值沿水平方向左移，将变大而变小，即若减小错误，也会增大犯错误的机会。,图(a)0H0为真图(b)10H0为伪,错误和 错误的关系,在样本容量n一定的情况下，假设检验不能同时做到犯和两类错误的概率都很小。若减小错误，就会增大犯错误的机会；若减小错误，也会增大犯错误的机会。要使和同时变小只有增大样本容量。但样本容量增加要受人力、经费、时间等很多因素的限制，无限制增加样本容量就会使抽样调查失去意义。因此假设检验需要慎重考虑对两类错误进行控制的问题。,7.假设检验中的P值(P-value),P值是用于确定是否拒绝原假设的另一重要工具，是现代统计检验中常用的检验统计量。传统的统计量检验方法是事先确定检验的显著性水平，明确拒绝域，检验时只要检验统计量的值落入拒绝域就拒绝原假设。但只给出检验结论可靠性（或犯弃真错误）的大致范围，无法给出某一样本观测结果与原假设不一致程度的精确度量。P值是当原假设为真时，得到特定样本观测结果及更极端结果的概率，其具体取值可以用计算机统计软件计算出来。如果P值很小，说明这种样本观测结果出现的可能性很小，有理由拒绝原假设。P值越小，拒绝原假设的理由就越充分。,影响P值的因素：样本数据与原假设值之间的差异样本量的大小被假设参数的总体分布利用P值进行假设检验的准则：将P值与事先确定的检验显著性水平进行比较，若P值小于，说明小概率事件发生，则拒绝原假设；若P值大于，说明小概率事件没有发生，则不能拒绝原假设。,双侧检验的P 值图示,抽样分布图,左侧检验的P 值图示,右侧检验的P 值图示,样本统计量,8.假设检验的步骤,1.问题的提出2.根据研究需要提出原假设H0和备择假设H13.确定适当的检验统计量4.确定显著性水平和临界值及拒绝域5.作出拒绝或接受原假设的决策,8.假设检验的步骤（续1）,（一）根据研究需要提出原假设H0和备择假设H1应该注意：对任一假设检验问题，其所有可能结果均应包括在所提出的两个对立假设中，原假设与对立假设总有一个、也只能有一个成立。原假设一定要有等号：或 或。原假设不是随意提出的，应该本着“不轻易拒绝原假设”的原则。,双侧检验原假设与备择假设的确定,双侧检验属于决策中的假设检验。即不论是拒绝H0还是接受H0，都必需采取相应的行动措施。例如，某种零件的尺寸，要求其平均长度为10厘米，大于或小于10厘米均属于不合格。待检验问题是该企业生产的零件平均长度是10厘米吗?(属于决策中的假设)则建立的原假设与备择假设应为 H0:=10 H1:10,单侧检验原假设与备择假设的确定,应区别不同情况采取不同的建立假设方法。对于检验某项研究是否达到了预期效果一般是将研究的预期效果（希望、想要证明的假设）作为备择假设H1，将认为研究结果无效作为原假设H0。先确立备择假设H1。因为只有当检验结果与原假设有明显差别时才能拒绝原假设而接受备择假设，原假设不会轻易被拒绝，就使得希望得到的结论不会轻易被接受，从而减少结论错误。,单侧检验原假设与备择假设的确定,例1，有研究预计，采用新技术生产后将会使某产品的使用寿命明显延长到1500小时以上。则建立的原假设与备择假设应为：H0:1500 H1:1500例2，有研究预计，改进生产工艺后会使某产品的废品率降低到2%以下。则建立的原假设与备择假设应为：H0:2%H1:2%,单侧检验原假设与备择假设的确定,对于检验某项声明的有效性一般可将所作的声明作为原假设。将对该声明的质疑作为备择假设。先确立原假设H0。因为除非有证据表明“声明”无效，否则就应认为该“声明”是有效的。例1，某灯泡制造商声称，该企业生产的灯泡平均使用寿命在1000小时以上。通常除非样本能提供证据表明使用寿命在1000小时以下，否则就应认为厂商的声称是正确的。建立的原假设与备择假设应为：H0:1000 H1:1000,单侧检验原假设与备择假设的确定,对于上述问题还可以结合不同背景建立假设。同样的问题背景不同可以采用不同的原假设。例如，一商店经常从某工厂购进某种商品，该商品质量指标为，值愈大商品质量愈好。商店提出的进货条件是按批验收，只有通过假设“0”检验的批次才能接受。有两种可能情况：如果根据过去较长时间购货记录，商店相信该厂产品质量好，于是同意把原假设定为0，而且选择较低的检验显著性水平。这对工厂是有利的，使得达到质量标准的产品以很小的概率被拒收。虽然这会使商店面临接受不合标准产品的风险，但历史记录显示出现这种情况的可能性很小，而且商店也可因此获得较好的货源。如果过去一段时期的记录表明，该厂产品质量并不理想，商店则会坚持以0为原假设，并选定较小的检验显著性水平。这对商店是有利的，不会轻易地拒绝原假设，有 1的可能把劣质产品拒之门外。,确定适当的检验统计量,假设检验根据检验内容和条件不同需要采用不同的检验统计量。在一个正态总体的参数检验中，Z统计量和t统计量常用于均值和比例的检验，2统计量用于方差的检验。选择统计量需考虑的因素有被检验的参数类型、总体方差是否已知、用于检验的样本量大小等。,确定适当的检验统计量,假设检验根据检验内容和条件不同需要采用不同的检验统计量。在一个正态总体的参数检验中，Z统计量和t统计量常用于均值和比例的检验，2统计量用于方差的检验。选择统计量需考虑的因素有被检验的参数类型、总体方差是否已知、用于检验的样本量大小等。,8.总体均值的假设检验检验统计量的确定,总体标准差 是否已知？,用样本标准差S代替,几种主要类型的假设检验实例,1.总体方差2已知时均值的检验（归纳）假定条件总体服从正态分布若总体不服从正态分布,可用正态分布来近似(要求n30)使用Z统计量,1.1 总体方差2 已知时均值的双侧检验某机床厂加工一种零件，根据经验知道，以前加工零件的椭圆度近似服从正态分布,其总体均值为0=0.081mm，总体标准差为=0.025。今换一种新机床进行加工，抽取n=200个零件进行检验，得到的椭圆度均值为0.076mm。试问新机床加工零件的椭圆度均值与以前有无显著差异？（0.05）,解：已知：0=0.081mm，=0.025，n=200，提出假设：假定椭圆度与以前无显著差异 H0:=0.081 H1:0.081=0.05双侧检验/2=0.025 查表得临界值:Z0.025=1.96,决策:,Z值落入拒绝域，在=0.05的水平上拒绝H0,结论:有证据表明新机床加工的零件的椭圆度与以前有显著差异,得两个拒绝域：(-,-1.96)和(1.96,)计算检验统计量值：,总体方差2 已知均值的检验(P 值的计算与应用),第1步：进入Excel表格界面，选择“插入”下拉菜单第2步：选择“函数”点击第3步：在函数分类中点击“统计”，在函数名的菜单下选择字符“NORMSDIST”然后确定第4步：将Z的绝对值2.83录入，得到的函数值为 0.9976726。表示标准正态分布曲线下Z值2.83左侧的面积为0.9976726。双侧检验计算P值：2(10.9976726)=0.0046548 P值远小于=0.05，故拒绝H0,1.2总体方差2 已知时均值的单侧检验（归纳）,1.2总体方差2已知时均值的单侧检验（左检验举例）,某批发商欲从生产厂家购进一批灯泡，根据合同规定，灯泡的使用寿命平均不能低于1000小时。已知灯泡使用寿命服从正态分布，标准差为20小时。在总体中随机抽取100只灯泡，测得样本均值为960小时。批发商是否应该购买这批灯泡？(0.05),解：已知：0=1000小时，=20，n=100，提出假设：假定使用寿命平均不低于1000小时 H0:1000 H1:1000=0.05 左检验临界值为负得临界值:-Z0.05=-1.645,计算检验统计量值:,Z值落入拒绝域，在=0.05的显著性水平上拒绝H0，接受H1,有证据表明这批灯泡的使用寿命低于1000小时,决策:,结论:,得拒绝域：(-,-1.645),1.3总体方差2已知时均值的单侧检验（右检验举例）,根据过去大量资料，某厂生产的灯泡的使用寿命服从正态分布N(1020，1002)。现从最近生产的一批产品中随机抽取16只，测得样本平均寿命为1080小时。试在0.05的显著性水平下判断这批产品的使用寿命是否有显著提高？(0.05),解：已知：0=1020小时，=100，n=16，提出假设：假定使用寿命没有显著提高 H0:1020 H1:1020=0.05 右检验临界值为正得临界值:Z0.05=1.645,计算检验统计量值:,Z值落入拒绝域，在=0.05的显著性水平上拒绝H0，接受H1,有证据表明这批灯泡的使用寿命有显著提高,决策:,结论:,得拒绝域：(1.645,),2.1 总体方差2 未知时均值的双侧检验某厂采用自动包装机分装产品，假定每包产品的重量服从正态分布，每包标准重量为1000克。某日随机抽查9包，测得样本平均重量为986克，样本标准差为24克。试问在0.05的显著性水平上，能否认为这天自动包装机工作正常？,解：已知：0=1000克，s=24，n=9，提出假设：假定每包产品的重量与标准重量无显著差异 H0:=1000 H1:1000=0.05双侧检验/2=0.025df=9-1=8 得临界值:t0.025(8)=2.306,计算检验统计量值:,t值落入接受域，在=0.05的显著性水平上接受H0,有证据表明这天自动包装机工作正常,决策：,结论：,得两个拒绝域：(-,-2.306)和(2.306,),总体方差2 未知小样本均值的检验(P 值的计算与应用),第1步：进入Excel表格界面，选择“插入”下拉菜单第2步：选择“函数”点击第3步：在函数分类中点击“统计”，在函数名的菜单中选择字符“TDIST”，然后确定第4步：在弹出的对话框录入：在X栏中录入计算出的t的绝对值1.75 在自由度(Deg-freedom)栏中录入8在Tails栏中录入2，表明是双侧检验(单测检验则在该栏内录入1)显示计算结果P值为0.118232783P值大于/2=0.025，故接受H0,2.2 总体方差2 未知时均值的单侧检验,一个汽车轮胎制造商声称，某一等级的轮胎的平均寿命在一定的汽车重量和正常行驶条件下大于40000公里，对一个由20个轮胎组成的随机样本作了试验，测得平均值为41000公里，标准差为5000公里。已知轮胎寿命的公里数服从正态分布，我们能否根据这些数据作出结论，该制造商的产品同他所说的标准相符？(=0.05),解：已知：0=40000公里，s=5000，n=20，提出假设：假定平均寿命不低于40000公里 H0:40000 H1:40000=0.05 左检验临界值为负df=20-1=19得临界值:-t0.05(19)=-1.7291,计算检验统计量值:,t值落入接受域，在=0.05的显著性水平上接受H0,结论:有证据表明轮胎使用寿命显著地大于40000公里，可以认为该制造商的声称是可信的。,决策:,得拒绝域：(-,-1.7291),3.总体均值与样本均值间差异的检验例如，一个由50名学生组成的样本其平均身高为174.94cm，标准差为6.42cm，假设样本是抽自平均身高为172.50cm的总体，这样样本的值与总体均值间的误差为：,属于抽样误差?假定显著性水平为0.05。,解：1陈述假设：,2识别检验统计量并计算,3规定显著性水平：,这就是说，在0.05显著性水平下，由平均身高174.94cm的50个学生所抽成的样本，不是抽自平均身高为172.50cm的总体。也就是所观察到的两者的误差，不是抽样误差。,4.用置信区间进行检验,一种袋装食品每包的标准重量应为1000克。现从生产的一批产品中随机抽取16袋，测得其平均重量为991克。已知这种产品重量服从标准差为50克的正态分布。试确定这批产品的包装重量是否合格？(=0.05),双侧检验,解：提出假设：H0:=1000 H1:1000已知：n=16，=50，=0.05双侧检验/2=0.025 临界值:Z0.025=1.96,置信区间为,决策:,结论:,在置信区间内，不拒绝H0,可以认为这批产品的包装重量合格,习题1:有科学家提出，如果人们在早餐中食用高纤维的谷物，那么平均而言，与早餐没有食用谷物的人群相比，食用谷物者在午餐中摄取的热量(大卡)将会减少.为了验证这个假设，随机抽取了35人，询问他们早餐和午餐的通常食谱，根据他们的食谱，将其分为二类，一类为经常的谷类食用者(总体1),一类为非经常谷类食用者(总体2).然后测定每人午餐的大卡摄取量.经过一段时间的实验，得到如下结果.试检验该假设.,解:,两个总体均值之差的检验用Excel进行检验,第1步：选择【工具】下拉菜单，并选择【数据分析】选项 第2步：选择【t 检验，双样本异方差假设】第3步：当出现对话框后 在【变量1的区域】方框内输入数据A1:A15 在【变量2的区域】方框内输入数据B1:B20 在【假设平均差】的方框内输入“0”在【】框内键入“0.05”在【输出选项】中选择输出区域 选择【确定】,表：两个总体均值之差的检验,习题2,一个以减肥为主要目标的健美俱乐部声称，参加其训练班至少可以使肥胖者平均体重减轻8.5kg以上.为了验证该宣称是否可信，调查人员随机抽取了10名参加者，得到他们的体重记录如表1.在 的水平下，调查结果是否支持该俱乐部的声称？,表1 训练前后的体重记录 单位：kg,表 2:,差值样本构造表单位：kg,解:,案例:圣经里真有密码吗？,1994年8月，魏茨滕、芮普斯及罗森博格在期刊Statistical Science中发表了一篇名为圣经创世记里的等距字母序列的论文（以下简称魏文）。“Equidistant Letter Sequences in the Book of Genesis”,Statistical Science,429-438,等距字母序列(ELS),早期的ELS,STSFGLOHAKEROLTOEIOPNOUAHEIVLSDOTNKEHALOMPHKEROFHARTRNYPMNALEONDDJGALF,等距字母序列(ELS)(续),“创世纪”第三十一章第二十八节为例子And hast not suffered me to kiss my sons and my daughters?Thou hast now done foolishly in so doing.(又不容我与外孙和女儿告别，你所行的真是愚昧！)我们先把空格和标点符号去掉，合并成字符串：AndhastnotsufferedmetokissmysonsandmydaughtersThouhastnowdonefoolishlyinsodoing,物理学家托马斯(David Thomas)以英王钦定版(King James Version),等距字母序列(ELS)(续),AndhastnotsufferedmetokissmysonsandmydaughtersThouhastnowdonefoolishlyinsodoing,ROSWELL,从”daughters”的r 开始，跳过三个字母,AndhastnotsufferedmetokissmysonsandmydaughtersThouhastnowdonefoolishlyinsodoing,UFO,提出假设,思考题：魏茨滕、芮普斯及罗森博格应该如何设置他们的假设？,HO:三十二位教士的名字与他们出生死亡日期的 排列是偶然的H1：三十二位教士的名字与他们出生死亡日期的排列并不是偶然的,魏文的拉比(Rabbi)实验（A）选取样本,将希伯来文的创世纪排成无空隙的一长串 L=78,064 字 G=g1gL 从 Encyclopaedia of Great Men in Israel(9世纪至18世纪末)选出32位 Rabbi 定义:xi=名字；yi=出生、死亡日期取整数d(skip)及等距字母序列(ELS)gn,gn+d,.,gn+(k-1)d,1n,n+(k-1)d L如果有多对相同，取距离最短的那对 这样的配对如此靠近纯属运气吗?,魏文的拉比(Rabbi)实验（B）定义距离设置检验统计量,对一个二维度的字符串(xi,yi)定义一个距离c(xi,yi)，目的在于将资料定量化魏文找到了一个距离，但是公式复杂、抽象，用一个类似的例子来说明,假设现在有8对夫妇共16个人，我们姑且用数学上的数对符号（X1,Y1），（X2,Y2），（X3,Y3），-,（X8,Y8）来称呼他们，亦即，X1 和Y1 是夫妇，X2 和Y2 是夫妇，以此类推，排成两排吃饭。其中第一排坐先生，第二排坐太太，且假定先生的位置依次坐下，而太太们的作为可以改变。假设他们的排列次序（P1）如下,我们就可以定义这个特定排列P1的距离为：D（P1）|1-7|+|2-4|+|3-2|+|4-8|+|5-6|+|6-3|+|7-5|+|8-1|=26,固定,共有 8!=40320 种方法，距离的可能值为：0,2,4,6,8,10,12,14,16,18,20,22,24,26,28,30,32共有17种，这些距离值在 8!中出现的次数分别为1,7,33,115,327,765,1523,2553,3696,4852,5708,5892,5452,4212,2844,764,576。所以可以算出得到某一距离值的频率，例如距离值为 2 的频率是 7/40320=0.000173611，距离值为 32 的频率是 576/40320=0.0142857。也可以画出其分布图。,分布图,魏文中拉比实验的距离试验（1）,魏文一共选择了32位拉比，那么其排列方式就有 32!种，32！1030。如果用世界上最快的计算机(每秒万亿次)来计算，需要年,不可能完成，如何办？,拉比实验的距离试验（2）,利用统计学的抽样。利用电脑通过“简单随机抽样”方式进行，分别抽取2万，10万，100万个样本。将样本中的距离值用条形图的方式表示出来。就得到后面的三个图,【图1】样本数为2万个的条形图，图中1%的位置为距离值252，5%的位置为距离值278，50%的位置为距离值342，95%的位置为距离值404，99%的位置为距离值428，99.95%的位置为距离值452,1%,5%,99.95%,【图2】样本数为10万个的长条图，图中1%的位置为距离值252，5%的位置为距离值278，50%的位置为距离值342，95%的位置为距离值402，99%的位置为距离值426，99.95%的位置为距离值454。,【图3】样本数为100万个的长条图，图中1%的位置为距离值252，5%的位置为距离值278，50%的位置为距离值342，95%的位置为距离值402，99%的位置为距离值426，99.95%的位置为距离值454。,从【图1】至【图3】可以看出95%以上的距离小于 402，99%以上的距离小于 426，而距离超过 454的机率不会大于0.0005。魏茨滕等人的文章中说明，若以他们所定义的距离去计算那三十二位犹太教士，有关名字和生日的相关排列位置，其结果是应该拒绝 H0，而且其 P 值均远低于0.05（实际上为0.00002），也就是说，那三十二位犹太教士的名字及生日的排列，铁定是不寻常的。,战争与和平(War and Peace),对照实验实验结果不显著,Leo Tolstoy,1997年5月28日，The New York Times 全页广告The Bible Code(圣经密码)作者：Michael Drosnin(卓思宁)(前华盛顿邮报，华尔街日报记者)“根据密码显示，拉宾的名字和暗杀连在一起”(1994年9月给拉宾信，1995年11月拉宾死于刺客之下)期刊、数学家证明了密码的存在。(同行审核的)摩西五经(创世记、出埃及记、利未记、民数记、申命记)都发现藏有圣经密码,是有东西在，可是是密码吗？对立假设是什么呢？(H1：三十二位教士的名字与他们出生死亡日期的排列并不是偶然的)批评：(1)Rips 认为数学家的反应：F.P.Ramsey定理-宴会问题，完全的无秩序是不可能的战争与和平、白鲸记用相同的方法也藏有密码,批评(1)同门相残,不能预测，有些“翻译”的密码统计意义不显著,数学家的反应Ramsey定理,Frank Plumpton Ramsey（19031930）,Paul Erds(1913-1996),Ramsey定理说，“世界上的事物不可能完全无序”。意思就是说，只要点数够多，我们就可以在里面“看出”你要的任何图像，所以你可以在夜空中看到各种星座；同理，叫一只猩猩在打字机上乱打，只要字母够长，你可以找到你要的任意有意义的句子，Drosnin用计算机做所谓等距密码,其实道理是一样的.,5.3.3 对照实验战争与和平、白鲸中的密码,Michael Drosnin反驳道：“你只要在白鲸(Moby Dick)中找到密码，I就服了U”,澳大利亚国立大学的一位计算机教授-Brendan McKay，找到了印度总理甘地被刺的“信息”：,O R W I T H A W H I T E P N A H A B Y O U N G M A NK L E S H I S G R A N D D D S Y E T I N G E N E R A T H E B L O O D Y D E E D E R M W H A L E S H E A DT T O I M P O S S I B L E,Indian Prime Minister Indira Gandhi was killed on Oct 31,1984,O R W I T H A W H I T E P N A H A B Y O U N G M A NK L E S H I S G R A N D D D S Y E T I N G E N E R A T H E B L O O D Y D E E D E R M W H A L E S H E A DT T O I M P O S S I B L E,O R W I T H A W H I T E P N A H A B Y O U N G M A NK L E S H I S G R A N D D D S Y E T I N G E N E R A T H E B L O O D Y D E E D E R M W H A L E S H E A DT T O I M P O S S I B L E,美国林肯总统遇刺“信息”,美国总统肯尼迪遇刺的“信息”,以色列总理拉宾遇刺的“信息”,1999年 B.Mckay(数学，计算机)Australia National U.,D.Bar-Natan(数学)Hebrew U.,M.Bar-Hillel(理性研究中心)Hebrew U.,G.Kalai(数学)Hebrew U.“Solving the Bible Code Puzzle”解决圣经密码的迷惑，Stat.Science，150-173。认为1994年的文章有严重的缺陷，特别是实验的设计与数据的收集都有问题,试验设计与协议(protocol),Main Features(Clinical Trials by S.J.Pocock)1.背景与一般目的(Background and general aims)2.特殊目的(Specific objectives)3.患者的选取标准(Patient selection criteria)4.疗程(Treatment schedules)5.评估患者的方法(Methods of patient evaluation)6.试验设计(Trial design)7.病患的注册与随机分配(Registration and randomization of patients),8.病患的同意(Patient Consent)9.研究所须患者的人数(Required size of study)10.试验进展的监控(Monitoring of trial progress)11.表格与数据的处理(Forms and data handling)12.协议的偏离(Protocol deviations)13.统计分析的规划(Plans for Statistical analysis)14.行政责任(Administrative responsibilities)议定书要严格执行的，否则结果不一定有效！,双盲试验,方法：对一小部份的数据敏感数据：最严重的是Rabbi的称呼选择、拼法、缩写Prof.Havlin 替他们准备的；M.Cohen：“没有科学根据，完全是不一致、随意选择的结果”数据并非由实验规则严格定义，有很大伸缩的空间但是否因此就有足够的“自由”可以发挥？是，稍微自由一下，得到另一组数据，对“战争与和平”就有显著的结果有没有证据说原先方法“发挥过度”？有，测试了许多小变动，发现大部分的结果都变弱了，数据的选择偏向正面的结果，调动(tuning)存在直觉的统计期望：结果太好了，以致不认为是真的(Fisher对Mendel实验结果起疑)不允许抽样误差带来的噪音,孟德尔的豌豆试验,特征显性隐性比率A Seed ShapeRound 5474Wrinkled 18500.338B Cotyledon ColorYellow 6022Green 20010.332C Seed Coat ColorGrey-Brown 705White 2240.318D Pod ShapeSimply Inflated 882Co