现代控制理论第十四章 最小二乘法辨识ppt课件.ppt

第十四章 最小二乘法辨识,差分方程模型辨识问题包括模型阶的确定和参数估计两个方面。本章只讨论单输入单输出系统在模型结构已知情况下的最小二乘法参数估计问题，例如水箱液面的控制系统。,这里对各种估计方法都按离线辨识和在线辨识两种情况进行讨论。离散辨识是把观测数据集中起来同时处理，得到参数估值。而在线辨识是在辨识过程中按递推计算方法不断地给出参数估计。这些估计方法都可推广到多输入多输出系统的参数估计问题，例如导弹稳定系统控制。,第一节 最小二乘法辨识与递推最小二乘法辨识,式中 为输入信号， 为理论上的输出值。 通过观测得到，在观测过程中往往附加有随机干扰。,为随机干扰。由上式得,把式 (14-3)代入式(14-1)，得,(14-3),如果 也有测量误差，则在 中应包含这一测量误差。,现在分别测出个 输出值和输入值： 及 。则可写出N个方程：,式中 为N个输出值组成的向量； 所组成的维向量， 所组成的 维向量；所组成的N维噪声， 即,式中,式中,可按 来求 的最小二乘法估计值 。,即,显然，当矩阵 存在时，式(14-18)才有解。一般说来，如果 是随机序列或伪随机二位式序列，则矩阵 是非奇异的，即 存在，式(14-18)有解。,则,因此，要求 正定，根据正定矩阵的性质，必须保证 正定。这个条件称为 阶持续激励条件。通常，输入 序列采用随机序列或M序列时，它们都满足这个持续激励条件。显然，若为常值序列时， 为奇异阵，不满足持续激励条件。,下面讨论另一个重要问题，即估计的一致性和无偏性。,如果式(14-6)中的 是不相关随机序列，且其均值为零（实际上 往往得相关随杨序列，对这种情况，以后专门讨论。并假设序列 与 不相关。当 为不相关随机序列时， 只与 及其以前的 有关，而与 及其以后的 等无关。从 的展开式可看出， 与 不相关。,对上式等号两边取数学期望,假设 是不相关随机序列，设,以上分析表明，当 时， 以概率1趋近于 。因此，当 为不相关随机序列时，最小二乘估计具有一致性和无偏性。如果系统的参数估计具有这种特性，就说系统具有可辨识性。,显然，根据这一条件，要使最小二乘估计为无偏，可不必要求 。当 时，如何构造无偏估计，这是本章第二节将要讨论的辅助变量法所要解决的问题。,由上述分析可知，最小二乘法辨识是一种离线整体辨识算法，它不适用于在线辨识。为此提出递推最小二乘法辨识。,递推最小二乘法辨识是一种在线算法。这种方法的辨识精度随着观测次数的增加而提高。,式中,矩阵 为 矩阵，求这个矩阵的逆阵的逆阵是很麻烦的。应用矩阵求逆引理之后，就可把求 的逆阵转变为求标量 的倒数，这样可大大节省计算量，同时又得到 与 的简单递推关系式。,由式(14-40)和式(14-37)得,把式(14-43)代入上式得,上式的后两项为,则,式(14-43)、式(14-44)和式(14-45)为一组递推最小二乘法辨识公式。,为了进行递推计算，需要给出 和 的初值 和 。有两种给初值的方法：, 如果 表示N的初始值 ，则根据式(14-36)和式(14-37)算出初值为, 假设 是充分大的数， 为 单位矩阵。可以证明，经过若干次递推计算之后，可获得较好的估计。,第二节 辅助变量法辨识与递推辅助变量法辨识,辅助变量法是一种在最小二乘法基础上作了某些改进的参数估计方法，其运算与最小二乘法同样简单。,现在的问题是如何确定辅助变量矩阵 的各个元素辅助变量。根据式(14-46)和式(14-47)所假设的 的性质，可以简单地理解为辅助变量与 序列相关，但辅助变量应与 和 中 强烈相关。 有各种不同的选择方法，一种选择方法是,(14-54),中和系数 正是所要求的，但这些系数尚未确定，只得先用最小二乘法求出它们的粗略值，然后将这些值代入式(14-55)，得到 。由于辅助模型(14-55)中没有含 ，所得到的 与 序列不相关。前面已假定 与 不相关，所以与 不相关，即 与 不相关。对于辅助变量法可用图14-2表示。,为了实现在线辨识，需要用递推辅助变量法辨识。下面讨论递推辅助变量法辨识。,设,为了建立递推关系，需要继续给出新的输入量、输出量和辅助变量 、 及 。令 ， ，则得,式中,(14-57),按照本章第一节递推最小二乘法公式的推导方法，可得递推辅助变量法的计算公式如下：,(14-58),(14-59),(14-60),初始条件也可选为是 充分大的数， 为 单位矩阵。,递推辅助变量法的缺点是对初始值 的选取比较敏感。最好在前50至100个采样点用递推最小二乘法，然后转换到辅助变量法，以 和 作为递推辅助变量法的初始值。,第三节 广义最小二乘法辨识与递推广义最小二乘法辨识,本节讨论克服最小二乘法有偏估计的另一种方法广义最小二乘法和递推广义最小二乘法辨识。这种方法的计算比较复杂，但效果比较好。,若已知有色噪声序列 的相关性，随机序列 可用成形滤波器产生。设成形滤波器的差分方程为,式中 是均值为零的白噪声序列， 的多项式。 可表示成,或,(14-62),(14-63),(14-64),式中 是 的多项式，即,把式(14-65)代入式(14-63)，得,或,(14-65),(14-66),将上述方程看作输入为零的差分方程，并且根据式(14-66)可写出N个方程：,(14-69),式(14-75)或式(14-76)中， 为不相关随机序列，故可用最小二乘法求得参数 ； 的一致性无偏估计。因此广义可用最小二乘法的基础上的。,广义最小二乘法辨识的计算步骤如下：, 应用已得到的输入和输出数据 和，按已知模型, 计算残差,式中,实际上，即使 的阶数选得低一些，也能得到较好的结果。, 计算, 应用得到的 和 ，按模型,再用最小二乘法重新估计 ，得 的第2次估值 。然后按步骤计算残差 。重新估计 ，得到估值 。再按步骤计算 和 ，按步骤求 的第3次估计 。重复上循环步骤，直到 的估值 收敛为止。,上述循环的收敛性可用下式判断：,当 较大时，若 近似为1，则意味着 残差已白噪声化了，数据不需要继续滤波了。这时得到的估值与上一次循环相同。这就是说，经过 次循环，计算结果就收敛了，估值 就是参数向量 的一个良好估计。,广义最小二乘法的优点是估计的效果较好，缺点是计算较麻烦。另外，对于循环的收敛性还未有证明，并非总是收敛于最优估值上。为了获得较好的结果，参数估计的初值应尽量选得接近最优参数估值。在没有验前信息的情况下，最小二乘估值是最好的初始条件。,递推广义最小二乘法用于在线辨识。由上一节得到以下得式：,广义最小二乘法的递推过程可分成两部分：按递推最小二乘法，随着N的增大不断计算 ；在递推过程中 是变化的，因此 也随之变化。所以要不断计算 、和 。,式中,参照递推最小二乘法公式，可得,为从 到 所组成的矩阵块， 表示这些多项式中的系数用相应的估值来代替。,递推广义最小于乘法有较好的计算效果。对于最小二乘法，递推计算与离线计算结果完全相同，而对广义最小二乘法，递推计算与离线计算结果不完全一样。,第四节 增广矩阵法辨识,是新息序列，具有白噪声特性。,下面先扩充被估参数的维数，再用最小二乘估计系统参数。设,上述方程结构适宜于用递推最小二乘法计算，但 是未知的。为了克服这一困难，用 代替 。,(14-103),(14-104),(14-105),定义为,(14-106),以上算法中，由于矩阵 的维数比最小二乘法中 的维数扩大了，故称增广矩阵法。此算法在工程上广泛应用，其收敛也较好。,第五节 多步最小二乘法辨识,多步最小二乘法是把复杂的辨识问题分成三步来处理，而第一步只用到简单的最小二乘法，这样可得到参数的一致性和无偏性估计。它计算方便，计算精度也比较高。本节介绍三种常用的多步最小二乘法。,一、第一种方法,这一方法可分成三步：第一步确定原系统脉冲响应序列；第二步估计系统参数；第三步估计噪声模型参数。,第一步：确定原系统的脉冲响应序列。,式中,也可把式(14-113)写成,式中,的变换方块图如图14-3所示。,可能是白噪声，也可能是有色噪声。不管 是否自相关，总能得到系统脉冲响应序列 的一致性和无偏性的最小二乘估计。这一步就是估计系统模型的脉冲响应序列 。,式中,因为 与 不相关，故 与 不相关。设 的均值为零。根据本章第一节所述， 为一致性估计，当 ，以概率1趋近于 。因为 一般是自相关的，所以 不一定有极小方差。一般说来， 选得大，估计精度高，但计算量大。所以选取适当的 ，即要满足计算精度，又要计算量较小。若 是伪随机二位式序列，则 的计算可以简化。,估计 中的各未知参数。,将 代入式(14-119)，得,式中,可以看到，当 和 分别以概率1趋于 和零。因此， 以概率1趋于 ，所以 是一致性和无偏性估计。,这里， 是由于在模型中用 代替 以后所产生的实效误差。,式中,由于 ，因此 ，所以 为一致性和无偏性估计。,以上三个步骤对有色噪声系统的辨识问题提供了完整的解答。如果需要递推计算，可根据前面的递推公式推导方法得到，在此不再重复。,二、第二种方法,第一步：与第一种方法相同，先求系统模型的脉冲响应序列。,第二步：根据脉冲响应序列的定义在 时，用克罗尼克函数激励的系统响应，就是脉冲响应序列。因此，有以下的输入输出序列：,将 代入式（14-119），可得：,这里的 是由于式(14-119)中用 代替 后所引起的实效误差，将上式写成,可得 的最小二乘法估计,为了求估值 ，要求 ，如果 太大，则要花费大量机时计算 ，因此 不能太大。由于这种限制，使得估计量 的精度不如第一种方法。当 ， ， 。所以 仍为一致性和无偏性估计。,第三步：噪声模型的辨识与第一种方法相同。,三、 第三种方法,这个方法也分三步，但与前两种方法不相同。它不是计算系统模型的脉冲响应序列，而是采用一个增广的差分方程，在拟合系统输入输出数据时，把残差变成不相关，然后应用最小二乘法辨识这个增广系统。最后再估计原系统和噪声模型参数。,称式(14-128)为增广系统，其阶数为 ，而噪声 是白噪声。式(14-129)为辅助模型。,定义参数向量,式中,第二步：估计系统模型参数 。,因为 和 中的参数 已经估计出来，把估值 代入式(13-132)，则在式(14-132)中只有 和 的参数 未知。现在要估计 ，为此把式(14-132)乘开，并使等号两边 的同次幂系数相等，由此产生 个包含 和 参数的线性方程。,把这一方程组表示成下列向量矩阵形式：,第三步：估计噪声模型参数。,前两种方法采用原系统脉冲响应序列，形成解高阶（ 比较大）最小二乘法估计问题。第三种方法显然减少了这种困难，因而便于参数估计。由式(14-128)可看到，如果用阶数高的拟合输入输出数据，就能得到白色残差。不过，在这个模型的传递函数中有公因子，消去公因子，就能得到实际系统的传递函数。,为了说明怎样在第二步和第三步中建立最小二乘法的方程，现举一简单例子。,设,可得,从最后两个式子列出第二步中式(14-133)所示的方程：,按下列条件进行计算：, 输入 和 都是零均值的独立高斯随机变量，输出端信噪比为 。, 以后截断脉冲响应序列，实际脉冲响应序列如图14-5所示。,数据长度N300，计算结果如表14-1所示。,从表14-1可看出，在多步最小二乘法中，第三种方法的计算时间最少，而且精度最高。,