信号的统计估计理论.ppt

第五章 信号的统计估计理论,基本要求,掌握随机参量的贝叶斯估计方法掌握最大似然估计方法掌握估计量的性质掌握多参量估计方法掌握线性最小均方误差估计方法掌握最小二乘估计方法掌握信号波形中参量的估计方法,5.1 引言,估计理论与第三、四章介绍的检测理论有很多相似的地方，有些分析方法是相同的。检测理论的主要任务是从M个可能的信号假设中，判断哪个假设成立，检测系统结构、性能分析方法及最佳信号波形设计等问题。估计理论，主要任务是在某种信号假设下，估算该信号中某个参数（比如幅度、相位、达到时间）的具体取值，该需要估计的参数一般是连续变量。如果信号的某个参数取离散值，估计理论和检测理论的界限变得不明显。,5.1 引言,1.通信系统中的估计问题,载波频率,信号的幅度,信道噪声的均值和方差,2.参量估计的数学模型和估计量的构造,估计规则,参量空间,观测空间,5.1 引言,本章的核心问题之一就是研究上述函数的构造方法，评估所构造估计量的优劣。,5.1 引言,3.估计量性能的评估,估计量的均值,估计量的均方误差,5.2 随机参量的贝叶斯估计,1.掌握常用代价函数和贝叶斯估计的概念,2.掌握最小均方误差估计,3.掌握最大后验概率估计,4.掌握条件中值估计,5.理解最佳估计的不变性,5.2 随机参量的贝叶斯估计,1.常用代价函数和贝叶斯估计的概念,误差平方代价函数,误差绝对值代价函数,均匀代价函数,贝叶斯估计：使平均代价最小的一种估计准则。,代价函数的基本特性：非负性和 时的最小性。,5.2 随机参量的贝叶斯估计,2.平均代价,设被估计的单随机变量的先验概率密度函数为,平均代价C为,易知代价函数,在 给定，选定代价函数的条件下，使平均代价最小的估计称为贝叶斯估计。,5.2 随机参量的贝叶斯估计,2.平均代价,由,是非负值，,条件平均代价,5.2 随机参量的贝叶斯估计,3.最小均方误差估计,选定的代价函数为,求解方法,5.2 随机参量的贝叶斯估计,3.最小均方误差估计,5.2 随机参量的贝叶斯估计,3.最小均方误差估计,注：,1.最小均方误差估计的估计量实际是条件均值,2.最小均方误差估计的条件平均代价实际是条件方差,3.最小均方误差估计量的另一种形式,5.2 随机参量的贝叶斯估计,4.最大后验估计,选定的代价函数为,使条件平均代价最小，应该使 取到最大值,5.2 随机参量的贝叶斯估计,4.最大后验估计,根据上述分析，得到最大后验概率估计量为,两种等价形式,5.2 随机参量的贝叶斯估计,5.条件中值估计,选定的代价函数为,求解方法,5.2 随机参量的贝叶斯估计,5.2 随机参量的贝叶斯估计,例5.1 研究在加性噪声中单随机参量 的估计问题。,观测方程为,其中nk是均值为零，方差为 的独立同分布高斯随机噪声,被估计量 是均值为零，方差为 高斯随机变量,求 的贝叶斯估计量(最小均方误差、最大后验和条件中值),5.2 随机参量的贝叶斯估计,解：,根据最大后验估计准则，估计量为满足以下方程的解，即,最大后验估计,由题设，可知，给定 条件下，观测信号xk是均值为，方差为 的高斯随机变量,5.2 随机参量的贝叶斯估计,所以最大后验估计量为满足以下方程的解,5.2 随机参量的贝叶斯估计,估计量的均方误差为,5.2 随机参量的贝叶斯估计,根据最小均方误差估计准则，估计量为,最小均方误差估计,由题设，可知，给定 条件下，观测信号xk是均值为，方差为 的高斯随机变量,5.2 随机参量的贝叶斯估计,5.2 随机参量的贝叶斯估计,5.2 随机参量的贝叶斯估计,上述分布是高斯型的，其均值为,估计量的均方误差为,方差为,所以最小均方误差估计量为,5.2 随机参量的贝叶斯估计,条件中值估计,估计量的均方误差为,所以条件中值估计量为,由于,5.2 随机参量的贝叶斯估计,结论：如果被估计量的后验概率密度函数是高斯型的，在三种典型代价函数下，使平均代价最小的估计量相同，都等于最小均方误差估计量，估计量的均方误差都是最小的 最 佳估计的不变性。,条件中值估计,最小均方误差估计,最大后验估计,5.2 随机参量的贝叶斯估计,例5.2 研究在加性噪声中单随机参量 的估计问题。,观测方程为,其中nk是均值为零，方差为 的独立同分布高斯随机噪声,被估计量 在(-SM,SM)之间均匀分布的随机变量,求 的贝叶斯估计量(最小均方误差和最大后验),5.2 随机参量的贝叶斯估计,解：,根据最大后验估计准则，估计量为满足以下方程的解，即,最大后验估计,由题设，可知，给定 条件下，观测信号xk是均值为，方差为 的高斯随机变量,5.2 随机参量的贝叶斯估计,所以最大后验估计量为满足以下方程的解,5.2 随机参量的贝叶斯估计,由于s在(-SM,SM)之间取值，所以,5.2 随机参量的贝叶斯估计,根据最小均方误差估计准则，估计量为,最小均方误差估计,5.2 随机参量的贝叶斯估计,5.最佳估计的不变性,结论：如果被估计量的后验概率密度函数是高斯型的，在三种典型代价函数下，使平均代价最小的估计量相同，都等于最小均方误差估计量，估计量的均方误差都是最小的 最 佳估计的不变性。,问题：代价函数的选取带有一定的主观性，且后验概率密度函数也不一定是高斯型的，能否找到一种估计方法，使对放宽约束条件的代价函数和后验概率密度函数是最佳的？即可以获得均方误差最小的估计?,5.2 随机参量的贝叶斯估计,约束情况1,对称,下凸,且后验概率密度函数对称于条件均值，即满足,则使平均代价最小的估计量,5.2 随机参量的贝叶斯估计,约束情况2,对称,下凸,且后验概率密度函数是对称于条件均值的单峰函数，即满足,则使平均代价最小的估计量,对称,单峰,5.3 最大似然估计,1.掌握最大似然估计原理,2.掌握最大似然估计量的构造方法,3.掌握最大似然估计量的不变性,5.3 最大似然估计,1.最大似然估计原理,最大似然估计常用来估计未知的非随机参量或者概率密度函数未知的随机参量。,被估计量的似然函数为,最大似然被估计的基本原理是：,5.3 最大似然估计,2.最大似然估计量的构造,或,根据最大似然估计原理，如果已知似然函数，则最大似然估计量可由,解得。,5.3 最大似然估计,例5.3 如果参量 的观测方程为,其中nk是均值为零，方差为 的独立同分布高斯随机噪声,被估计量 是未知的非随机参量,求 的最大似然估计量和均方误差,由题设，可知，给定 条件下，观测信号xk是均值为，方差为 的高斯随机变量,由最大似然估计原理，得最大似然估计量为满足以下方程的解。,所以最大似然估计量为,均方误差为,5.3 最大似然估计,例5.4 研究在加性噪声中单随机参量 的估计问题。,观测方程为,其中n是均值为零，方差为 的独立同分布高斯随机噪声,被估计量 是未知非随机参量,求 的最大似然估计量，并求均方误差。,5.3 最大似然估计,解：,由题设，可知，给定 条件下，观测信号x是均值为，方差为 的高斯随机变量,由最大似然估计原理，得最大似然估计量为满足以下方程的解。,所以最大似然估计量为,均方误差为,5.3 最大似然估计,3.最大似然估计量的不变性,很多情况下，需要估计 的一个函数。,例5.5 如果参量 的观测方程为,其中nk是均值为零，方差为 的独立同分布高斯随机噪声,被估计量 是未知的非随机参量,求 的最大似然估计量,由题设，可知，给定 条件下，观测信号xk是均值为，方差为 的高斯随机变量,由于 是 的一对一变换，即是单调函数，因此可得,解：,所以最大似然估计量为,由最大似然估计原理，得最大似然估计量为满足以下方程的解。,5.3 最大似然估计,最大似然估计量不变性归纳,则有以下两个结论,如果参量 的最大似然估计量为，函数 的最大似然估计量为,(1)如果 是 的一对一变换，则有,5.3 最大似然估计,例5.5 如果参量 的观测方程为,其中nk是均值为零，方差为 的独立同分布高斯随机噪声,被估计量 是未知的非随机参量,求 的最大似然估计量,由题设，可知，给定 条件下，观测信号xk是均值为，方差为 的高斯随机变量,由于，可得,解：,或,由于，可得,由最大似然估计原理，得最大似然估计量为满足以下方程的解。,所以最大似然估计量为,单参量估计方法小结(1),最小均方误差估计,注：,1.最小均方误差估计的估计量实际是条件均值,2.最小均方误差估计的条件平均代价实际是条件方差,3.最小均方误差估计量的另一种形式,单参量估计方法小结(2),最大后验估计,两种等价形式,单参量估计方法小结(3),最大似然估计,或,根据最大似然估计原理，如果已知似然函数，则最大似然估计量可由,解得。,单参量估计方法小结(4),最大似然估计适用于非随机参量和概率密度函数未知的随机参量估计,最小均方误差估计和最大后验估计适用于概率密度函数已知的随机参量估计。,但对于非高斯型的，不同的估计方法，可能会得到不同的估计量，如何来衡量一个估计量的好坏？,如果后验概率密度是高斯型的，则最小均方误差、最大后验和条件中值三种方法得到的估计量相同，都是具有最小均方误差的估计量。,5.4 估计量的性质,掌握估计量的无偏性、有效性和一致性的定义。,掌握克拉美-罗不等式和克拉美-罗界(非随机参量、随机参量、非随机参量的函数),5.4 估计量的性质,1.估计量的主要性质,1.1 估计量的无偏性,(1)对于随机参量，如果估计量 的均值满足,则称 是随机参量 的无偏估计。,5.4 估计量的性质,1.1 估计量的无偏性,(2)对于非随机参量，如果估计量 的均值为,若 则称 是非随机参量 的无偏估计。,若 则称 是非随机参量 的有偏估计。,若 则称 是非随机参量 的已知偏差的有偏估计，,可从估计量 中减去常数b获得无偏估计。,5.4 估计量的性质,1.1 估计量的无偏性,(3)如果根据N次观测量构造的估计量 是有偏的，但满足,或,非随机参量,随机参量,则称 是 的渐近无偏估计。,5.4 估计量的性质,1.2 估计量的有效性,对于被估计量 的任意无偏估计 和，若估计的均方误差,则称估计量 比 更有效。,如果 的无偏估计量 小于其他任意无偏估计量的均方误差，则称该估计量为最小均方误差估计量。,问题：能否确定一个均方误差的下界？,5.4 估计量的性质,1.3 估计量的一致性,假设根据N次观测量构造的估计量为,若,则称估计量 是一致收敛的估计量。,若,则称估计量 是均方一致收敛的估计量。,5.4 估计量的性质,若被估计量 的估计量为，x是观测量。如果以 为参量的似然函数 能够表示为：则称 为充分估计量。其中，是通过 才与x有关的函数，并且以 为参量。,1.4估计量的充分性,5.4 估计量的性质,2.非随机参量的克拉美-罗不等式,设 是非随机参量 的无偏估计，则有,或,当且仅当 时，上述两式取等号。,克拉美-罗不等式,克拉美-罗不等式取等号的条件,5.4 估计量的性质,证明：,设 是非随机参量 的无偏估计，则有,对上式求偏导，得,5.4 估计量的性质,证明：,上式改写为,5.4 估计量的性质,根据柯西-施瓦滋不等式,当且仅当 时，上式等号成立。,5.4 估计量的性质,等号成立条件,5.4 估计量的性质,克拉美-罗不等式的另一种形式,求偏导,再求一次偏导,5.4 估计量的性质,克拉美-罗不等式的另一种形式,所以,5.4 估计量的性质,2.1 非随机参量情况下的克拉美-罗不等式的含义和用途,(1)非随机参量 的任意无偏估计量 的方差，即均方误差恒不小于,(2)若非随机参量 的无偏估计量 满足,则无偏估计量 是有效的，否则是无效的。,5.4 估计量的性质,2.1 非随机参量情况下的克拉美-罗不等式的含义和用途,(3)若非随机参量 的无偏估计量 是有效的，则估计量的方差，即均方误差可由克拉美-罗界取得。,5.4 估计量的性质,2.1 非随机参量情况下的克拉美-罗不等式的含义和用途,(4)若非随机参量 的无偏有效估计量 存在，它必定是 的最大似然估计量，且可由最大似然方程解得。,(5)若非随机参量 的最大似然估计量 不一定是无偏有效的。,最大似然估计量为,由,5.4 估计量的性质,2.2 非随机参量情况下，无偏有效估计量的均方误差计算方法,若非随机参量 的无偏估计量 也是有效的，则其均方误差为,由,5.4 估计量的性质,例5.6 如果参量 的观测方程为,其中nk是均值为零，方差为 的独立同分布高斯随机噪声，,试讨论估计量 的最大似然估计量 的无偏性、有效性和一致性。,由题设，,由于,5.4 估计量的性质,3.随机参量的克拉美-罗不等式,设 是随机参量 的无偏估计，则有,或,当且仅当 时，上述两式取等号。,克拉美-罗不等式,克拉美-罗不等式取等号的条件,5.4 估计量的性质,证明：,设 是随机参量 的无偏估计，则有,对上式求偏导，得,5.4 估计量的性质,证明：,上式改写为,5.4 估计量的性质,根据柯西-施瓦滋不等式,当且仅当 时，上式等号成立。,5.4 估计量的性质,等号成立条件,5.4 估计量的性质,克拉美-罗不等式的另一种形式,求偏导,再求一次偏导,5.4 估计量的性质,克拉美-罗不等式的另一种形式,所以,5.4 估计量的性质,3.1 随机参量情况下的克拉美-罗不等式的含义和用途,(1)由于,所以,5.4 估计量的性质,3.1 随机参量情况下的克拉美-罗不等式的含义和用途,(2)随机参量 的任意无偏估计量 的方差，即均方误差恒不小于,5.4 估计量的性质,3.1 随机参量情况下的克拉美-罗不等式的含义和用途,(4)若随机参量 的无偏估计量 是有效的，则估计量的方差，即均方误差可由克拉美-罗界取得。,5.4 估计量的性质,3.1 随机参量情况下的克拉美-罗不等式的含义和用途,(6)若随机参量 的无偏有效估计量 存在，它必定是 的最大后验估计量，且可由最大后验方程解得。,最大后验估计量为,由,5.4 估计量的性质,3.2 随机参量情况下，无偏有效估计量的均方误差计算方法,若随机参量 的无偏估计量 也是有效的，则其均方误差为,由,5.4 估计量的性质,例5.7 如果随机参量 的观测方程为,其中nk是均值为零，方差为 的独立同分布高斯随机噪声，,试讨论估计量 的贝叶斯估计量 的无偏性、有效性和一致性。,由题设，,由于,由于,5.4 估计量的性质,4.非随机参量函数的克拉美-罗不等式,设 非随机参量 的函数，其估计量 是 的任意无偏估计，则有,或,当且仅当 时，上述两式取等号。,克拉美-罗不等式,克拉美-罗不等式取等号的条件,5.4 估计量的性质,例5.8 设线性观测方程为,其中nk是均值为零，方差为 的独立同分布高斯随机噪声，,是非随机参量，求 的最大似然估计量，考查,的无偏性和有效性，并求估计的均方误差。,5.4 估计量的性质,解,由于,易知,根据最大似然估计的不变性，得到,5.4 估计量的性质,5.4 估计量的性质,例5.9 设线性观测方程为,其中nk是均值为零，方差为 的独立同分布高斯随机噪声，,是非随机参量，求 的最大似然估计量，考查,的无偏性和有效性，并求估计的均方误差。,5.4 估计量的性质,解,由于,易知,根据最大似然估计的不变性，得到,5.4 估计量的性质,是高斯分布的随机变量,5.5矢量估计,随机矢量的贝叶斯估计非随机矢量的最大似然估计矢量估计量的性质非随机矢量函数估计的克拉美-罗界,随机矢量的贝叶斯估计,最小均方误差估计 第j个参量的最小均方误差估计为：用矢量表示为：最大后验估计 式中,最大后验方程组,非随机矢量的最大似然估计,如果被估计的矢量是非随机矢量，则应采用最大似然估计。最大似然方程组：它是由M个方程组成的联立方程，可简明表示为：,例5.10 设接收端观测到N个数据,已知xk是均值为，方差为 的独立同分布高斯随机噪声，,(1)若方差 已知，求均值 的最大似然估计,(2)若均值 已知，求方差 的最大似然估计,(3)若均值 和方差 均未知，求均值和方差 的最大似然估计,解：,(1)若方差 已知，给定均值 的条件下，有如下似然函数,所以均值的最大似然估计是满足下述方程的解,由于,所以均值的最大似然估计为,由于,(2)若均值 已知，给定方差的条件下，有如下似然函数,所以方差的最大似然估计是满足下述方程的解,由于,所以方差的最大似然估计为,由于,(3)若均值和方差均未知，则有如下似然函数,所以均值和方差的最大似然估计是满足下述方程组的解,由于,所以均值和方差的最大似然估计分别为,由于,由于,矢量估计量的性质,主要讨论无偏估计量的均方误差的下界，即克拉美-罗界问题。非随机矢量情况 无偏估计量的均方误差：均方误差满足：式中，是 阶矩阵 的第i行第j列元素；,矢量估计量的性质,矩阵J的元素为：矩阵J称为费希尔信息矩阵，它表示从观测数据中获得的信息。,均方误差取到最小值，是 的联合有效估计。,矢量估计量的性质,随机矢量情况 估计的误差矢量为：估计矢量的均方误差阵为：,克拉美-罗不等式,克拉美-罗界,矢量估计量的性质,均方误差取到最小值，是 的联合有效估计。,非随机矢量函数估计的克拉美-罗界,设有M维非随机矢量，我们希望估计M维矢量 的L维函数，这就是非随机矢量函数的估计问题。设L维估计矢量 是L维矢量函数 的任意无偏估计矢量。则估计矢量的均方误差阵为：上式就是矢量函数估计的克拉美-罗不等式，不等式右边就是克拉美-罗界。,克拉美-罗不等式,5.6一般高斯信号参量的统计估计,线性观测模型高斯噪声中非随机矢量的最大似然估计高斯随机矢量的贝叶斯估计随机矢量的伪贝叶斯估计随机矢量的经验伪贝叶斯估计,线性观测模型,线性观测方程称为线性观测模型：式中,高斯噪声中非随机矢量的最大似然估计,所以，非随机矢量的最大似然估计是满足下述方程组的解,利用矢量函数对矢量变量求导的规则，有,高斯噪声中非随机矢量的最大似然估计,高斯噪声中非随机矢量的最大似然估计矢量为：考察 的主要性质：1.无偏性：最大似然估计量 是无偏估计量。2.有效性：是有效估计量。由于 是无偏有效估计量，所以估计矢量的均方误差阵 就是估计矢量的协方差矩阵，且取克拉美-罗界，有：,高斯随机矢量的贝叶斯估计,假设,则，随机矢量的最大后验估计为满足下述方程的解,高斯随机矢量的贝叶斯估计,最大后验估计 最大后验估计矢量：估计的均方误差阵：,高斯随机矢量的贝叶斯估计,后验概率密度函数 的统计特性：均值矢量：协方差矩阵：最小均方误差估计：,最小均方误差估计与最大后验估计的等同性,随机矢量的伪贝叶斯估计,应用范围：随机矢量的均值矢量和协方差矩阵已知，但概率密度函数未知时，可采用伪贝叶斯估计方法。,方法：根据随机矢量的均值矢量和协方差矩阵，将随机矢量的概率密度函数假设为某种分布，然后应用贝叶斯方法进行估计。,最常用的，是假设为随机矢量服从高斯分布。,采用伪贝叶斯估计方法得到的估计量，其均方误差阵不差于采用最大似然估计时的结果。,随机矢量的经验伪贝叶斯估计,应用范围：随机矢量的均值矢量、协方差矩阵和概率密度函数均未知时，可采用经验伪贝叶斯估计方法。,方法：根据观测信号，首先估计随机矢量的均值矢量和协方差矩阵，然后根据估计结果将随机矢量的概率密度函数假设为某种分布，并应用贝叶斯方法进行估计。,最常用的，是假设为随机矢量服从高斯分布。,采用经验伪贝叶斯估计方法得到的估计量，其均方误差阵不差于采用最大似然估计时的结果。,5.7线性最小均方误差估计,线性最小均方误差估计准则 线性最小均方误差估计量的构造线性最小均方误差估计矢量的性质,线性最小均方误差估计的应用范围：,已知观测信号和被估计随机矢量的均值矢量、协方差矩阵和互协方差矩阵。,5.7线性最小均方误差估计,线性最小均方误差估计准则 首先，构造的估计矢量 是观测矢量x的线性函数，即：同时要求估计矢量 的均方误差最小，即为 最小，式中，表示矩阵的轨迹。所以，线性最小均方误差估计的估计规则，就是把估计量构造成观测量的线性函数，同时要求估计量的均方误差最小。,5.7线性最小均方误差估计,5.7线性最小均方误差估计,令,解得,令,5.7线性最小均方误差估计,解得,所以,线性最小均方误差估计矢量的性质,(1)估计矢量是观测矢量的线性函数,(2)线性最小均方误差估计矢量是无偏估计,线性最小均方误差估计矢量的性质,(3)估计矢量均方误差阵的最小性,线性最小均方误差估计矢量在线性估计中具有最小的均方误差，且均方误差矩阵也具有最小性。,(4)估计的误差矢量与观测矢量的正交性,被估计矢量,与观测矢量x是正交的，即,与线性最小均方误差估计矢量 之间的误差矢量,线性最小均方误差估计矢量的性质,线性最小均方误差估计矢量的性质,(5)最小均方误差估计与线性最小均方误差估计的关系,当观测矢量与被估计矢量是联合高斯分布时，最小均方误差估计与线性最小均方误差估计两者相同,随机矢量的最小均方误差估计矢量可以使观测矢量的非线性函数，而线性最小均方误差估计的估计矢量一定是观测矢量的线性函数。,线性最小均方误差估计矢量的性质,例5.12 设M维被估计随机矢量的均值矢量和协方差矩阵分别为 和，观测方程为,求 的线性最小均方误差估计矢量 和估计矢量的均方误差阵,且已知,解：,由,线性最小均方误差递推估计,线性最小均方误差递推估计递推思想：递推估计的公式：修正的增益矩阵：估计量的均方误差阵：估计量的更新：递推估计的过程：第1步，确定初始条件 和，求出修正的增益矩阵；第2步，求出估计矢量的均方误差阵；第3步，确定新息，前乘增益矩阵，结果加到 上，获得估计矢量。,单参量的线性最小均方误差估计,设线性观测方程为：单参量的线性最下均方误差估计：单随机参量 的线性最小均方误差估计量 的构造公式：估计量的均方误差 公式,观测噪声不相关时单参量的线性最小均方误差估计,设线性观测方程为：,观测噪声不相关时单参量的线性最小均方误差估计,令,观测噪声不相关时单参量的线性最小均方误差估计,因而，有以下方程组,解得,式中，,观测噪声不相关时单参量的线性最小均方误差估计,的线性最小均方误差估计量 的构造公式为：的均方误差为：,观测噪声相关时单参量的线性最小均方误差估计,设线性参观方程为：估计量 为：估计量的均方误差 为：,随机矢量函数的线性最小均方误差估计,的线性函数 的线性最小均方误差估计矢量 为：性质：无偏性：可叠加性：若：则：,5.8最小二乘估计,最小二乘估计的基本原理,线性最小二乘估计,加权最小二乘估计,单参量的线性最小二乘估计,应用范围：只有观测信号及观测信号模型时，可应用最小二乘估计。,5.8最小二乘估计,1.最小二乘估计方法,均方误差最小：被估计量与估计量之差在统计平均的意义上达到最小值。,若只有观测信号模型，则无法从统计平均的角度考虑估计误差最小，但可以按照误差的平方和最小的原则进行估计。,观测信号模型为：,所以，线性最小二乘估计量，是满足下述方程的解：,5.8最小二乘估计,2.线性最小二乘估计,由于,所以,5.8最小二乘估计,(1)估计矢量是观测矢量的线性函数(2)若观测噪声矢量n的均值矢量为零，则线性最小 二乘估计矢量是无偏的。(3)若观测噪声矢量n的均值矢量为零，协方差矩阵为，则线性最小二乘估计矢量的均方误差阵为：,3.线性最小二乘估计量的性质,5.8最小二乘估计,线性最小均方误差估计矢量的性质,例5.13根据以下对二维矢量 的两次观测,求 的最小二乘估计.,解：,根据两次观测值,得以下观测方程,线性最小均方误差估计矢量的性质,5.8最小二乘估计,4.线性最小二乘加权估计,提出背景：如果各次观测噪声的强度不同，所得的各次观测量的饿精度也是不同的。,噪声方差小时，观测量的精度较高，噪声方差大，观测量的精度较低。如何在构造估计量时，综合考虑上述因素？,可以通过加权的方式，提高估计的精确度加权线性最小二乘估计。,线性最小二乘加权估计量，是满足下述方程的解：,5.8最小二乘估计,由于,所以,5.8最小二乘估计,(1)估计矢量是观测矢量的线性函数(2)若观测噪声矢量n的均值矢量为零，则线性最小 二乘估计矢量是无偏的。(3)若观测噪声矢量n的均值矢量为零，协方差矩阵为，则线性最小二乘估计矢量的均方误差阵为：,5.线性最小二乘加权估计量的性质,5.8最小二乘估计,5.8最小二乘估计,(4)若观测噪声矢量n的均值矢量为零，协方差矩阵为，则最优的加权矩阵为：,线性最小均方误差估计矢量的性质,例5.14 用电表对电压进行两次测量,测量结果分别为216V和220V,观测方程为,求电压的最小二乘估计和最小二乘加权估计,并对结果进行比较和讨论,其中,观测噪声矢量的均值矢量和协方差矩阵分别为,线性最小均方误差估计矢量的性质,根据两次观测值,得以下观测方程,线性最小二乘估计为,线性最小均方误差估计矢量的性质,由,所以,线性最小二乘估计为,线性最小均方误差估计矢量的性质,5.8最小二乘估计,其中，增益矩阵,6.线性最小二乘递推估计,5.8最小二乘估计,其中，观测系数,7.单参量最小二乘估计,假设单参量估计的观测方程为,已知,观测噪声满足,根据上述观测方程,有,5.8最小二乘估计,因此,单参量的线性最小二乘估计量为,注:若H为全1向量,退化为平均值估计,则有,5.9信号波形中参量的估计,掌握信号振幅的估计方法,掌握信号相位的估计方法,了解信号频率的估计方法,了解信号到达时间的估计方法,掌握信号波形中参量估计的基本原理,波形中参量估计的基本原理,假设在(0,T)时间内,观测到的信号波形为,其中，是M维的待估计的信号参量，n(t)是均值为零，功率谱密度为N0/2的高斯白噪声。,基本思路：,为估计参量，首先需要知道似然函数,可按照随机过程 正交级数展开方法求解。,波形中参量估计的基本原理,任选一组正交函数集，将接收信号进行正交级数展开，得到,波形中参量估计的基本原理,由于 是高斯随机过程，因此在给定 条件下，展开系数是均值为，方差为N0/2的高斯随机变量，即,取前N项，得到N个展开系数的联合概率密度为,波形中参量估计的基本原理,令，得到,波形中参量估计的基本原理,所以，的最大似然估计是满足下述方程的解,由于,信号振幅的估计,信号可表示为,其中，s(t)是已知信号，振幅a是待估计量，其最大似然估计量是满足下述方程的解,信号振幅的估计,由于,所以,信号振幅的估计,信号振幅估计的性质,信号振幅的估计,由于,信号相位的估计,信号可表示为,其中，振幅和频率已知，相位待估计。,相位的最大似然估计是满足下述方程的解,信号相位的估计,由于,所以,信号相位的估计,信号频率的估计,设信号可表示为：其中，a(t)已知，相位 是在 上均匀分布的随机变量；频率 是待估计量。似然函数：由 对 求极大值就能得到频率的最大似然估计量。,