非参数估计(完整)课件.ppt
《非参数估计(完整)课件.ppt》由会员分享,可在线阅读,更多相关《非参数估计(完整)课件.ppt(72页珍藏版)》请在三一办公上搜索。
1、非参数估计,刘芳,戚玉涛qi_,1,PPT课件,引言,参数化估计:ML方法和Bayesian估计。假设概率密度形式已知。实际中概率密度形式往往未知。实际中概率密度往往是多模的,即有多个局部极大值 。实际中样本维数较高,且关于高维密度函数可以表示成一些低维密度函数乘积的假设通常也不成立。本章介绍非参数密度估计方法:能处理任意的概率分布,而不必假设密度函数的形式已知。,2,PPT课件,主要内容,概率密度估计Parzen窗估计k-NN估计最近邻分类器(NN)k-近邻分类器(k-NN),3,PPT课件,概率密度估计,概率密度估计问题:,给定i.i.d.样本集:估计概率分布:,4,PPT课件,概率密度估
2、计,直方图方法:非参数概率密度估计的最简单方法 1. 把x的每个分量分成k 个等间隔小窗, ( xEd ,则形成kd 个小舱) 2. 统计落入各个小舱内的样本数qi 3. 相应小舱的概率密度为: qi /(NV ) ( N :样本 总数,V :小舱体积),5,PPT课件,概率密度估计,直方图的例子,6,PPT课件,概率密度估计,非参数概率密度估计的核心思路:,一个向量x落在区域R中的概率P为:,因此,可以通过统计概率P来估计概率密度函数p(x),7,PPT课件,概率密度估计,假设N个样本的集合,是根据概率密度,函数为p(x)的分布独立抽取得到的。,那么,有k个样本落在区域R中的概率服从二项式定
3、理:,k 的期望值为:,对P的估计:,当 时, 估计是非常精确的,8,PPT课件,概率密度估计,假设p(x)是连续的,且R足够小使得p(x)在R内几乎没有变化。令R是包含样本点x的一个区域,其体积为V,设有N个训练样本,其中有k落在区域R中,则可对概率密度作出一个估计:,对p(x) 在小区域内的平均值的估计,9,PPT课件,概率密度估计,当样本数量N固定时,体积V的大小对估计的效果影响很大。 过大则平滑过多,不够精确; 过小则可能导致在此区域内无样本点,k=0。此方法的有效性取决于样本数量的多少,以及区域体积选择的合适。,10,PPT课件,概率密度估计,收敛性问题:样本数量N无穷大是,估计的概
4、率函数是否收敛到真实值?,11,PPT课件,概率密度估计,理论结果:,设有一系列包含x 的区域R1,R2,,Rn,,对R1采用1个样本进行估计,对R2用2 个, Rn包含kn个样本。Vn为Rn的体积。,为p(x)的第n次估计,12,PPT课件,概率密度估计,如果要求,能够收敛到p(x),那么必须满足:,选择Vn,选择kn,13,PPT课件,概率密度估计,两种选择方法:,14,PPT课件,主要内容,概率密度估计Parzen窗估计k-NN估计最近邻分类器(NN)k-近邻分类器(k-NN),15,PPT课件,Parzen窗估计,定义窗函数:假设Rn是一个d维的超立方体。令hn为超立方体一条边的长度,
5、则体积:,立方体窗函数为:,中心在原点的单位超立方体,16,PPT课件,Parzen窗估计,X处的密度估计为:,落入以X为中心的立方体区域的样本数为:,可以验证:,17,PPT课件,窗函数的要求,Parzen窗估计过程是一个内插过程,样本xi距离x越近,对概率密度估计的贡献越大,越远贡献越小。只要满足如下条件,就可以作为窗函数:,18,PPT课件,窗函数的形式,方窗函数,指数窗函数,正态窗函数,其中:,19,PPT课件,窗口宽度的影响,Parzen估计的性能与窗宽参数hn紧密相关当hn较大时,x和中心xi距离大小的影响程度变弱,估计的p(x)较为平滑,分辨率较差。当hn较小时,x和中心xi距离
6、大小的影响程度变强,估计的p(x)较为尖锐,分辨率较好。,20,PPT课件,窗口宽度的影响,21,PPT课件,窗函数,密度估计值,5个样本的Parzen窗估计:,22,PPT课件,渐近收敛性,Parzen窗密度估计的渐近收敛性: 无偏性: 一致性:,当 时,,23,PPT课件,24,PPT课件, x是一维的,上式用图形表示是6个分别以3.2,3.6,3,6,2.5,1.1为中心的正态曲线,而PN(x)则是这些曲线之和。,代入:,由图看出,每个样本对估计的贡献与样本间的距离有关,样本越多,PN(x)越准确。,25,PPT课件,例:设待估计的P(x)是个均值为0,方差为1的正态密度函数。若随机地抽
7、取X样本中的1个、 16个、 256个作为学习样本xi,试用窗口法估计PN(x)。解:设窗口函数为正态的, 1,0hN:窗长度,N为样本数,h1为选定可调节的参数。,26,PPT课件,27,PPT课件,由图看出, PN(x)随N, h1的变化情况 当N1时, PN(x)是一个以第一个样本为中心的正态曲线,与窗函数差不多。 当N16及N=256时 h10.25 曲线起伏很大,噪声大 h11 起伏减小 h14 曲线平坦 当N时, PN(x)收敛于一平滑的正态曲线, 估计曲线较好。,28,PPT课件,例:待估的密度函数为二项分布解:此为多峰情况的估计设窗函数为正态解:此为多峰情况的估计设窗函数为正态
8、,x,-2.5,-2,1,0.25,0,2,P(x),-2.5x-2,0 x2,x为其它,29,PPT课件,30,PPT课件,当N=1、16、256、 时的PN(x)估计如图所示 当N1时, PN(x) 实际是窗函数。 当N16及N=256时 h10.25 曲线起伏大 h11 曲线起伏减小 h14 曲线平坦 当N时,曲线较好。,31,PPT课件,Parzen窗估计,优点由前面的例子可以看出, Parzen窗估计的优点是应用的普遍性。对规则分布,非规则分布,单锋或多峰分布都可用此法进行密度估计。可以获得较为光滑且分辨率较高的密度估计,实现了光滑性和分辨率之间的一个较好平衡。缺点要求样本足够多,才
9、能有较好的估计。因此使计算量,存储量增大。窗宽在整个样本空间固定不变,难以获得区域自适应的密度估计。,32,PPT课件,识别方法,保存每个类别所有的训练样本;选择窗函数的形式,根据训练样本数n选择窗函数的h宽度;识别时,利用每个类别的训练样本计算待识别样本x的类条件概率密度:采用Bayes判别准则进行分类。,33,PPT课件,例子: 基于Parzen估计的Bayesian分类器,较小,较大,34,PPT课件,主要内容,概率密度估计Parzen窗估计Kn近邻估计最近邻分类器(NN)k-近邻分类器(k-NN),35,PPT课件,Kn近邻估计,在Parzen窗估计中,存在一个问题:对hn的选择。若h
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 参数估计 完整 课件
链接地址:https://www.31ppt.com/p-1800074.html