概率论基础知识.ppt

应 用 数 理 统 计Applied Mathematical Statistics,教学时数：32学 分：2主 讲：孙薇单 位：理学院数学系,课 程 的 地 位,Importance of the Course,对于理工科的研究生来讲，应用数理统计是最重要的基础课程之一。在数理统计中，同学们不仅可以学到处理随机性数据的具体的学科知识，而且还能受到严谨细密的思维方法和科学精神的熏陶。,研究生课程与本科生有许多区别。比如难度大、进度快、讲课不再面面具到。要想尽快适应这种学习，加强预习是个好方法。这里讲的预习，不仅仅是课前5分钟翻翻书，而是安排专门的时间，按照指定的进度有计划地预习新内容。预习中不能光阅读，还要钻研概念、推导证明、演算例题，查表计算，等等。坚持预习也是培养自学能力的好方法。,第一章 概率论基础知识,概率论是数理统计的理论基础，为了使它们能更好地衔接起来，本章扼要地复习概率论的基本概念、定理与公式。,一、事件及其运算,第一章 概率论基础知识,1.基本事件：随机试验中，每个可能出现的结果；样本空间：全体基本事件组成的集合；事件：样本空间的子集，常用A、B等表示；事件发生、不可能事件、必然事件；互斥事件、对立事件。,2.事件的运算（与集合运算对应）（1）交换律：AB=BA，AB=BA；（2）分配率：A(B C)=AB AC，A(B-C)=AB-AC（3）结合律：A(BC)=(AB)C=ABC,A(B C)=(A B)C=A B C,二、概率,1.概率的定义,第一章 概率论基础知识,设为样本空间，F为所有事件的全体。如果定义在F上的函数P()满足如下性质，则对于F中的任意元素A，称P(A)为事件A发生的概率，P为F上的概率测度，(,F,P)为概率空间。（1）0 P(A)1（2）P()=1（3）对两两互斥的事件序列A1,A2,Ak，有,第一章 概率论基础知识,二、概率,（1）不可能事件的概率为零,P（）=0;,（2）P(AB)=P(A)+P(B)P(AB).,2.概率的性质,第一章 概率论基础知识,（1）条件概率定义：设A、B是两个随机事件，且P(A)0，则称 事件A发生的条件下事件B 发生的条件概率。,第一章 概率论基础知识,（4）独立性推广：设A1,A2,An为n个事件，若对任意的r(1rn)及任意的1i1i2irn有 P(Ai1Ai2Air)=P(Ai1)P(Ai2)P(Air)则称A1,A2,An相互独立。,第一章 概率论基础知识,二、概率,4.全概率公式与Bayes公式,（1）完备事件组的定义：设H1,H2,Hn为n个事件，若 则 为一个完备事件组。,（2）全概率公式：设 是一完备事件组，且对任意的i有 P(Hi)0，则对任一事件A，都有,第一章 概率论基础知识,二、概率,（3）Bayes公式：,设 是一完备事件组，且对任意的i有 P(Hi)0及P(A)0，则,4.全概率公式与Bayes公式,第一章 概率论基础知识,二、概率,例.用自动血压计计量血压。以C表示被测成人患高血压，B表示血压计显示高血压。假定P(C)=0.15，P(B|C)=0.95及P(B|)=0.05。那么若血压计显示高血 压，被测成人患有高血压的概率有多大？,第一章 概率论基础知识,三、随机变量及其分布函数,1.一维随机变量及其分布,（1）随机变量定义：设(,F,P)为概率空间，定义 在上的单值实函数X(w)称为随机变量。,（2）离散型随机变量,定义:若随机变量X的所有可能取的值是有限多个或可列无限多个,则称X为离散型随机变量。,设X可能的取值为x1,x2,xn,记PX=xi=pi,i=1,2,.，则称p1,p2,为X的概率函数或概率分布。,三、随机变量及其分布函数,第一章 概率论基础知识,例1.（单点分布）若随机变量X概率为1地取常数值c，即P(X=c)=1，则称X服从单点分布或退化分布。此时X可被视为常数。,三、随机变量及其分布函数,第一章 概率论基础知识,例3.（二项分布）设在一次试验中事件A发生的概率为p(0p1)，X表示n次独立重复试验中事件A发生 的次数，则称X服从二项分布，记作XB(n,p).,例4.（泊松分布）设离散型随机变量X可能的取值为所有非负整数，且 其中 0,则称X服从参数为的Poisson分布，记作XP().,（3）连续型随机变量 若X为随机变量，若存在非负函数f(x)满足在 R上的积分小于-，且,则称X为连续型随机变量，称f(x)为X的分布密度（简称密度）或概率函数。,第一章 概率论基础知识,三、随机变量及其分布函数,1.一维随机变量及其分布,第一章 概率论基础知识,三、随机变量及其分布函数,例1.（均匀分布）若随机变量X的密度函数为 则称X服从a,b上的均匀分布，记作XU(a,b)。,例2.（指数分布）若随机变量X的密度为 其中 0，则称X服从参数为的指数分布，记为 XExp().,第一章 概率论基础知识,三、随机变量及其分布函数,例3.（正态分布）若随机变量X的密度函数为 则称X服从以(,2)为参数的正态分布，记为XN(,2),第一章 概率论基础知识,三、随机变量及其分布函数,（4）随机变量的分布函数及性质,分布函数的性质：F(x)单调上升、右连续 0 F(x)1,Px1 X x2=F(x2)F(x1),分位点的概念：设一个分布的分布函数为F(x)，为(0,1)中一给定数，则定义该分布的上分位 点x为 x=inf x:F(x)1-.,分布函数定义:设X为一随机变量，对任意实数x，令 F(x)=P(X x)，则称F(x)为X的分布函数。,第一章 概率论基础知识,三、随机变量及其分布函数,2.多维随机变量,（1）联合分布,(X,Y)的分布函数：F(x,y)=P(Xx,Yy),n维随机向量：X=(X1,X2,Xn),下面以二维为例进行说明.,F(x,y)的性质：0 F(x,y)1；关于x,y单调上升，右连续；,第一章 概率论基础知识,三、随机变量及其分布函数,2.多维随机变量,（1）联合分布,连续型的：F(x,y)=P(Xx,Yy)=,离散型的：(X,Y)只取有限或可列无穷个值；,并且 f(s,t)0,pij=P(X=xi,Y=yj)0 且,第一章 概率论基础知识,三、随机变量及其分布函数,2.多维随机变量,（2）边缘分布,FX(x)=P(Xx，Y+)FY(y)=P(X+，Yy),（3）独立性,若对R2中任意(x,y),有F(x,y)=FX(x)FY(y),则X与Y相互独立。,第一章 概率论基础知识,三、随机变量及其分布函数,2.多维随机变量,推广到高维情况：,若n维随机向量(X1,X2,Xn)的联合分布函数为,则,且关于每个变元xi单调上升;,(2)部分变量(Xi1,Xi2,Xin)的分布称为(X1,X2,Xn)的关于其的边缘分布;,(3)若任意实数x1,x2,xn有 则称(X1,X2,Xn)相互独立。,第一章 概率论基础知识,三、随机变量及其分布函数,3.条件概率分布,（1）离散型随机变量的条件分布,若P(Y=yj)0，那么在Y=yj条件下，X的条件概率函数为p(xi|yj):i=1,2,，其中,（2）连续型随机变量的条件分布,若，则给定X=x的条件下，Y的条件密度函数为,第一章 概率论基础知识,四、随机变量的函数及其分布,例1.设XF(x)，Y=aX+b，a0，求Y的分布函数FY(y).,例2.设(X,Y)的联合密度为f(x,y)，求X+Y的分布.,以两个例题为例进行说明,五、随机变量的数字特征,1、矩,第一章 概率论基础知识,数学期望E(X),离散型：,连续型：,g(X)的数学期望：E(g(X),性质：E(c)=c;E(aX+bY)=aE(X)+bE(Y)；如果X与Y独立，则E(XY)=E(X)E(Y).,（1）一阶矩,五、随机变量的数字特征,1、矩（2）方差与高阶矩,第一章 概率论基础知识,定义：k阶原点矩E(Xk)k阶绝对原点矩E(|X|k)k阶中心矩E(X-E(X)k k阶绝对中心矩E|X-E(X)|k,性质：Var(c)=0，c为常数.Var(aX+b)=a2Var(X)，a,b为常数.Var(X+Y)=Var(X)+Var(Y)，若X与Y独立.如果Var(X)=0，则P(X=E(X)=1.,五、随机变量的数字特征,1、矩（2）协方差与相关系数,第一章 概率论基础知识,定义：协方差Cov(X,Y)=E(X-E(X)(Y-E(Y),定理：|1；若X与Y独立，则(X,Y)=0;|(X,Y)|=1等价于存在a与b使P(Y=aX+b)=1.,相关系数,五、随机变量的数字特征,1、矩 协方差阵与相关矩阵：,第一章 概率论基础知识,协方差矩阵：若X=(X1,X2,Xn)T为n维随机向量，则其数学期望为 E(X)=(E(X1),E(X2),E(Xn)T,其协方差矩阵为,五、随机变量的数字特征,1、矩,第一章 概率论基础知识,若以ij记Xi与Xj的相关系数，则X的相关矩阵为:,相关矩阵：,结论：随机向量的协方差阵和相关阵都是对称且半正定的.,五、随机变量的数字特征,2、条件期望,第一章 概率论基础知识,定义：设X有数学期望E(X)，且当给定Y=y时X的条件分布为F(x|y)，则 为给定Y=y时X的条件期望，记作E(X|Y)或E(X|Y=y)。,记g(y)=E(X|Y=y).,称随机变量g(Y)为给定Y时X的条件期望，记作E(X|Y)。,例1.记X1,X2,.且XiB(1,p),X=X1+X2,求E(Xk|X).,解：由定义，有,五、随机变量的数字特征,第一章 概率论基础知识,E(Xk|X=i)=1P(Xk=1|X=i)+0P(Xk=0|X=i),=1P(Xk=1|X=i)=i/n,因此，E(Xk|X)=X/n.,条件期望的例题,例2.一射手进行射击,击中目标的概率为p,射击直到击中目标两次为止.设以X表示首次击中目标所进行的射击次数,以Y表示第二次击中目标的射击次数.试求条件期望E(X|Y=n).,五、随机变量的数字特征,第一章 概率论基础知识,条件期望的例题,例3.若X与Y是相互独立的，证明E(Y|X)=E(Y).,五、随机变量的数字特征,第一章 概率论基础知识,条件期望的性质,六、大数定律和中心极限定理,第一章 概率论基础知识,2.定理：设Xn为独立同分布的随机变量序列，且 2=Var(Xi),以Gn(x)记 的分布函数，则 其中，(x)是标准正态分布函数。,定义：设Xn为p维随机变量序列,E(Xn)存在,若任意0，都有 则Xn服从大数定律，其中.,本章应着重了解：,分位点的概念及应用随机向量条件期望大数定律与中心极限定理的本质及应用,1.用自动血压计计量血压。以C表示被测成人患高血压，B表示血压计显示高血压。假定P(C)=0.15，P(B|C)=0.95及P(B|)=0.05。那么若血压计显示高血 压，被测成人患有高血压的概率有多大？,2.设(X,Y)的联合密度为f(x,y)且X与Y相互独立，求X+Y的分布.,作业,3.一射手进行射击,击中目标的概率为p,射击直到击中目标两次为止.设以X表示首次击中目标所进行的射击次数,以Y表示第二次击中目标的射击次数.试求条件期望E(X|Y=n).,休息一下,