线性二次型最优控制ppt课件.ppt

Ch.7 最优控制原理,目录(1/1),目 录7.1 最优控制概述 7.2 变分法7.3 变分法在最优控制中的应用7.4 极大值原理7.5 线性二次型最优控制7.6 动态规划与离散系统最优控制7.7 Matlab问题本章小结,线性二次型最优控制(1/12),7.5 线性二次型最优控制对于最优控制问题,极大值原理很好地描述了动态系统的最优控制解的存在性。但对于复杂的控制问题,如非线性系统的控制问题、系统模型与性能指标函数对控制量u(t)不为连续可微的控制问题,在确定最优控制规律时存在不少困难,如非线性常微分方程求解、最优控制的非平凡性问题,而且带来闭环控制系统工程实现时困难性,难以得到统一、简洁的最优控制规律的表达式。,线性二次型最优控制(2/12),对于线性系统,若取状态变量x(t)和控制变量u(t)的二次型函数的积分作为性能指标泛函,这种动态系统的最优控制问题称为线性系统的最优二次型性能指标的最优控制问题,简称为线性二次型问题。该类问题的优点是能得到最优控制解u*(t)的统一解析表达形式和一个简单的且易于工程实现的最优状态反馈律。因此,线性二次型问题对于从事自动控制研究的理论工作者和工程技术人员都具有很大吸引力。近40年来,人们对各种最优状态反馈控制系统的结构、性质以及设计方法进行了多方面的研究,并且有许多成功的应用。,线性二次型最优控制(3/12),线性二次型问题是最优控制理论中发展最为成熟、最有系统性、应用最为广泛和深入的分支。本节将陆续介绍线性二次型问题及其解的存在性、唯一性和最优控制解的充分必要条件。线性系统的二次型性能指标的最优控制问题可表述如下。,线性二次型最优控制(4/12),线性二次型最优控制问题 设线性时变系统的状态方程和输出量测方程为式中, x(t)是n维状态向量,u(t)是r维输入控制向量,y(t)是m维实际的输出向量。 A(t)、B(t)和C(t)分别是nn、nr和mn维的分段连续的时变矩阵。 假定系统的维数满足0mrn,且u(t)不受约束。用z(t)表示预期的输出,它为m维向量,则定义输出误差向量如下e(t)=z(t)-y(t),线性二次型最优控制(5/12),控制的目标J是寻找最优控制函数u*(t),使下列二次型性能指标泛函为最小式中, R(t), Q(t)和F都为对称矩阵 对称 F为mm维非负定的常数矩阵; 0Q(t)为mm维时变的分段连续的非负定矩阵; 0R(t)为rr维时变的分段连续的正定矩阵,且其逆矩阵存在并有界; 0末态时刻tf是固定的。 固定,线性二次型最优控制(6/12),下面对上述性能指标泛函作细致的讨论:1) 性能指标泛函Ju()中的第1项e(tf)Fe(tf),是为了突出对末端目标的控制误差的要求和限制而引进的,称为末端代价函数。非负定的常数矩阵F为加权矩阵,其各行各列元素的值的不同,体现了对误差向量e(t)在末态时刻tf各分量的要求不同、重要性不同。该项函数值总是为非负的。若矩阵F的第i行第i列元素值较大,代表二次项的重要性较大,对其精度要求较高。,线性二次型最优控制(7/12),2) 性能指标泛函Ju()中的第2项被积函数中的第1项e(t)Q(t)e(t),表示在系统工作过程中对控制误差向量e(t)的要求和限制。由于时变的加权矩阵Q(t)为非负定的,故该项函数值总是为非负的。一般情况下,e(t)越大,该项函数值越大,其在整个性能指标泛函所占的份量就越大。因此,对性能指标泛函求极小化体现了对误差向量e(t)的大小的约束和限制。在e(t)为标量函数时,该项可取为e2(t),于是该项与经典控制理论中判别系统性能的误差平方积分指标一致。,线性二次型最优控制(8/12),非负定的时变矩阵Q(t)为加权矩阵,其各行各列元素的值的不同,体现了对相应的误差向量e(t)的分量在各时刻的要求不同、重要性不同。时变矩阵Q(t)的不同选择,对闭环最优控制系统的性能的影响较大。,线性二次型最优控制(9/12),3) 性能指标泛函Ju()中第2项的被积函数的第2项u(t)R(t)u(t),表示在系统工作过程中对控制向量u(t)的大小的要求和限制。由于时变的加权矩阵R(t)为正定的,故该项函数值在u(t)为非零向量时总是为正的。而且u(t)越大,该项函数值越大,其在整个性能指标泛函所占的分量就越大。因此,对性能指标泛函求极小化体现了对控制向量u(t)的大小的约束和限制。如u(t)为与电压或电流成正比的标量函数时,该项为u2(t),并与功率成正比,而u2(t)dt则与在t0,tf区间内u(t)所做的功或所消耗的能量成正比。,线性二次型最优控制(10/12),因此,该项Lu是用来衡量控制功率大小的代价函数。正定的时变矩阵R(t)亦为加权矩阵,其各行各列元素的值的不同,体现了对相应的控制向量u(t)的分量在各时刻的要求不同、重要性不同。时变矩阵R(t)的不同选择,对闭环最优控制系统的性能的影响较大。综上所述,可见线性系统的二次型性能指标泛函的最优控制问题的实质在于用不大的控制量u,来保持较小的控制误差e,以达到所耗费的能量和控制误差的综合最优。,线性二次型最优控制(11/12),现在讨论上述线性二次型问题的几种特殊情况。1) 若令C(t)=I,z(t)=0,则y(t)=x(t)=-e(t)。这时,线性二次型问题的性能指标泛函变为该问题转化成:用不大的控制能量,使状态x(t)保持在零值附近,称为状态调节器问题。2) 若令z(t)=0,则y(t)=-e(t)。这时,线性二次型问题的性能指标泛函变为该问题转化成:用不大的控制能量,使输出值y(t)保持在零值附近,称为输出调节器问题。,线性二次型最优控制(12/12),3) 若z(t)0,则e(t)=z(t)-y(t)。这时,线性二次型问题为:用不大的控制能量,使输出y(t)跟踪期望信号z(t)的变化(e(t)保持在零值附近),称为输出跟踪问题。下面将陆续介绍状态调节器、输出调节器和最优跟踪问题的求解方法、解的性质以及最优状态反馈实现,具体内容为：时变状态调节器定常状态调节器,时变状态调节器(1/3),7.5.1 时变状态调节器前面已经指出,状态调节器问题为:用不大的控制能量,使状态x(t)保持在零值附近的二次型最优控制问题。该问题的描述如下。,时变状态调节器(2/3),有限时间LQ调节器问题 设线性时变系统的状态方程和初始条件为式中,控制量u(t)不受约束。寻找最优控制函数u*(t),使下列二次型性能指标泛函为最小式中, F和Q(t)为非负定矩阵;R(t)为正定矩阵;末态时刻tf是固定的。,C(t)=I,z(t)=0,则y(t)=x(t)=-e(t),时变状态调节器(3/3),由于所讨论的系统为线性系统,给定的性能指标泛函J 对状态变量x(t)和控制量u(t)均连续可微,因此,状态调节器问题可用变分法、极大值原理和动态规划方法中的任一种求解。本节采用变分法给出最优控制解存在的充分必要条件及最优控制问题解的表达式,讨论最优控制解的存在性、唯一性等性质及解的计算方法。内容为：最优控制的充分必要条件矩阵P(t)的若干性质最优控制的存在性与唯一性,最优控制的充分必要条件(1/10)定理7-14,1. 最优控制的充分必要条件定理7-14(有限时间LQ调节器) 对于有限时间LQ调节器问题,为其最优控制的充分必要条件是最优轨线为下述状态方程的解,而最优性能值为式中,P(t)为下述矩阵黎卡提微分方程的正定或半正定解。,最优控制的充分必要条件(2/10),证明 1）必要性证明。已知u*(t)是最优控制,需要证明。这里可变分的宗量为x(t),u(t)和x(tf) 。首先将有限时间LQ调节器问题(条件极值问题)化为无条件极值问题。为此,引入维向量拉格朗日算子,将性能指标函数表示为,最优控制的充分必要条件(3/10),因而该优化问题就变为对上述相对于求极值问题。定义哈密顿函数则式(7-167)可以进一步表示为,最优控制的充分必要条件(4/10),根据极值的必要条件J=0,可以求得以及极值条件,最优控制的充分必要条件(5/10),由极值条件(7-173)得最优控制律为注意到状态方程和协态方程及其终端条件均为线性,因此,(t)和x(t)之间必定为线性关系,可以表示为由上述两式可以得到u(t)的最优解。其中矩阵P(t)满足规范方程,可由规范方程解出。求解方法如下。,最优控制的充分必要条件(6/10),对方程(7-175)求导数得由方程(7-171),又有比较上述两式,可以求得矩阵P(t)是矩阵黎卡提微分方程的对称正定或半正定解。因此,证明了定理的必要性。,最优控制的充分必要条件(7/10),2) 充分性证明。已知,欲证u*(t)为最优控制。引入如下等式,最优控制的充分必要条件(8/10),进而,利用(7-160)和(7-166),上式可以进一步表示为考虑到若取控制律为u=-R-1BPx ,对上述方程进行配方得,最优控制的充分必要条件(9/10),考虑到P(tf)=F,可以导出这表明,当u=-R-1BPx时,性能指标将取最小值即u*=-R-1BPx为最优控制。于是,定理的充分性得以证明。 ,最优控制的充分必要条件(10/10),上述具有充分必要的最优控制实际上是一个线性状态反馈,因此,可以将线性系统最优状态调节器的最优控制表示成如图7-6所示的状态反馈形式,其闭环系统的状态方程为图7-6 线性系统最优状态调节器上述结论是线性时变系统的结论,当系统是线性定常的时候,上述结论仍然成立,而且计算还要简单。,矩阵P(t)的若干性质(1/3),2. 矩阵P(t)的若干性质对黎卡提微分方程的解P(t),有如下性质。1) P(t)是黎卡提微分方程末值问题的解,与初始状态无关。当在区间t0,tf内A(t)、B(t)、R(t)和Q(t)为分段连续的时间函数,R(t)为正定且其逆矩阵有界,Q(t)矩阵为非负定时,则根据微分方程解的存在性和唯一性理论, P(t)的解在区间t0,tf内唯一存在。,矩阵P(t)的若干性质(2/3),2) 对于任意tt0,tf, P(t)是对称矩阵。事实上,将黎卡提微分方程和边界条件的两边作转置,并考虑到R(t),Q(t)和F都为对称矩阵,则有因此,矩阵P(t)和它的转置P(t)满足同一个矩阵微分方程和边界条件。根据微分方程解的存在性和唯一性理论,则对任意tt0,tf,有P(t)=P(t),即P(t)是对称的。,矩阵P(t)的若干性质(3/3),3) 由于矩阵P(t)的对称性,则nn维的黎卡提矩阵微分方程实质上是一个由n(n+1)/2个非线性标量微分方程组成的微分方程组。因此,求解P(t),只要求解n(n+1)/2个非线性微分方程即可。,最优控制的存在性与唯一性(1/13)定理7-15,3. 最优控制的存在性与唯一性对于一般的最优控制问题,论证最优控制解的存在性是很困难的,但对于最优状态调节器问题,可以证明最优控制解的存在性和唯一性。对此,有如下定理。定理7-15 对线性时变系统的最优状态调节器问题,当tf时,最优控制u*(t)存在且唯一。,最优控制的存在性与唯一性(2/13),证明 (1) 存在性证明。定理7-14给出最优状态调节器问题的u*(t)的充分必要条件为u*=-R-1BPx由于黎卡提微分方程末值问题的解P(t)是唯一存在的,因此,u*(t)的存在性得证。 (2) 唯一性证明。用反证法证明。设u*(t)不唯一,为不失一般性,令 是同一最优状态调节器问题的最优控制函数解。,最优控制的存在性与唯一性(3/13),由P(t)的唯一性可知, 分别为式中, 分别为对应于控制量 的最优状态轨线。因此,在两种最优控制下的闭环系统状态方程分别为可见,最优状态轨线 满足同一个微分方程和同样的初始条件。,最优控制的存在性与唯一性(4/13),根据微分方程初值问题解的唯一性,显然有 从而有即唯一性得证。 证毕由定理7-14和7-15表明,对于线性系统二次型性能指标泛函的最优控制问题,如果控制区间t0,tf有限,则其最优控制必存在且唯一地具有状态线性反馈律的形式。下面通过分析一个一阶系统的最优状态调节器问题,进一步领会该调节器的基本特性。,最优控制的存在性与唯一性(5/13)例7-11,例7-11 已知一阶被控系统的状态方程和性能指标分别为式中,f0,q0,r0。试求其最优控制和最优状态轨线。解 根据定理7-14,可以求出该问题的最优控制为式中,p(t)是如下黎卡提微分方程及边界条件的解,u*=-R-1BPx,最优控制的存在性与唯一性(6/13),由上述微分方程可知,p(t)的解满足积分上式,可得其中,最优控制的存在性与唯一性(7/13),最优状态轨线为下列一阶时变微分方程的解 于是得,最优控制的存在性与唯一性(8/13),最优状态轨线为对上述线性定常系统的最优状态调节器问题,其最优状态反馈律和闭环系统状态方程都呈现时变的性质。,图7-7 状态最优调节器结构图,这是最优状态调节器在tf的一个重要性质。图7-7是例7-11的最优状态调节器的结构图。图中信号p(t)是对黎卡提微分方程进行电子电路模拟的结果,其初始信号p(0)是对黎卡提微分方程的解在t=0时的值。,最优控制的存在性与唯一性(9/13),图7-8(a)表示在a=-1,f=0,tf=1,x(0)=1和q=1时,以r为参数的一组最优状态轨线x(t)。可见r很小意即在性能指标中控制u的价值不太重要,状态x(t)将迅速被控制到零值;r很大意即控制u的价值较重要,状态x(t)将由于控制量投入得小,则衰减得很慢。,图7-8 不同r值最优状态调节器各变量变化轨迹,最优控制的存在性与唯一性(10/13),图7-8(b)表示以r为参数的一组最优控制u(t)的曲线。可见随着r的减小,在控制区间0,1的开始阶段,控制量u(t)较大;当r0时,控制将逐渐变成在t=0时刻的脉冲信号。,图7-8 不同r值最优状态调节器各变量变化轨迹,最优控制的存在性与唯一性(11/13),图7-8(c)表示以r为参数时,黎卡提微分方程的解p(t)的一组曲线。可见随着r的减小,在控制区间0,1的开始阶段,p(t)几乎为一常数;当r很小时,p(t)仅在控制区间的最后阶段才呈现时变的性质。,图7-8 不同r值最优状态调节器各变量变化轨迹,最优控制的存在性与唯一性(12/13),图7-9表示在a=-1,f=0,q=r=1,f取0或1的情况下,以tf为参数时黎卡提微分方程的解p(t)的一组曲线。这些曲线表明,随tf的增长,函数p(t)的前面部分趋于同一个稳态值,其时变值仅在后面很小的时间段内呈现,而且该稳态值与末端条件无关。,图7-9 不同末端时刻p(t)曲线,这一事实可用如下数学关系式来说明。,最优控制的存在性与唯一性(13/13),即当tf时,p(t)为一常数。当a=-1,q=r=1时,p(t)0.414。由此可见,只要tf足够大,线性定常系统的最优状态调节器的时变状态反馈律可用定常状态反馈律近似,其中矩阵P(t)用其稳态值代替。,定常状态调节器(1/12),7.5.2 定常状态调节器前面已经指出,即使被控系统是线性定常的,性能指标泛函中的矩阵Q(t)和R(t)也为定常的,在末态时刻为有限时间(tf)时,其最优状态调节器的最优状态反馈律也是时变的。这样就为控制方法的实施带来了相当大的困难,控制系统的结构变得复杂。显然,最优状态反馈律为时变的症结在于P(t)是时变的。因此,建立P(t)为定常矩阵的最优状态调节器问题的条件就是得到定常最优状态反馈律的条件。以定常最优状态反馈律构成闭环系统,既大大减少了控制系统实施的困难性,简化了系统的结构,又便于维护使用,无论在理论上和工程上都具有较大价值。,定常状态调节器(2/12),从例7-11的一阶线性定常系统的最优状态调节器问题可以看出,随着末态时刻tf的无限增长,黎卡提微分方程的解p(t)趋于常数,而最优状态反馈律也转化为定常的。因此,对线性定常系统的最优状态调节器问题,若其泛函指标中矩阵Q(t)和R(t)均为定常,最优状态反馈律为定常的条件与末态时刻tf无限有关。下面将先给出线性定常系统在无限时间时最优状态调节器问题,再给出和证明最优状态反馈律为定常的条件以及定常的最优状态反馈解。线性定常系统在无限时间时最优状态调节器问题的描述如下。,定常状态调节器(3/12),无限时间最优状态调节器问题 设线性定常系统的状态方程和初始条件为式中,系统矩阵A和输入矩阵B为常数矩阵;控制量u(t)不受约束。寻找最优控制函数u*(t),使下列二次型性能指标泛函为最小式中,Q为非负定常数矩阵; R为正定常数矩阵。,定常状态调节器(4/12),上述无限时间最优状态调节器问题的性能指标泛函中没有末态性能指标项S(x(tf),tf)。这是因为,对无限时间调节器问题,使性能指标泛函最小的末态x()必定为原点,否则,Ju()将趋于。因此,x()必为原点,此时再规定末态性能指标项是无意义的。前面已经指出,上述线性定常系统的无限时间最优状态调节器的最优状态反馈律为定常的条件与末态时刻tf为无限的有关。该结论可简单说明如下。,定常状态调节器(5/12),由黎卡提微分方程解的性质可知,矩阵P(t)是如下黎卡提微分方程末值问题的解。式中,矩阵A、B、Q和R都为定常矩阵。由于P(t)与末态时刻tf有关,可记为P(t,tf)。由微分方程理论可知,上述定常微分方程的解P(t,tf)的值只与tf-t有关,与时刻t无直接关系。因此,有,定常状态调节器(6/12),即当tf时定常微分方程(7-178)的解P(t,tf)与时间t无关。因此,只要黎卡提微分方程(7-178)的解P(t,tf)存在且为有限矩阵,则P(t,tf)必为常数矩阵。所以,该黎卡提微分方程可记为如下代数矩阵方程也称为黎卡提矩阵代数方程。因此,上述结论可归纳为如下线性定常系统的无限时间最优状态调节器定理。,定常状态调节器(7/12)定理7-16,定理7-16(无限时间状态调节器定理) 无限时间最优状态调节器问题的最优控制存在且唯一,并可由下式决定u*=-R-1BPx式中,nn维矩阵P是黎卡提矩阵代数方程的唯一非负定的解。此时,最优状态调节器的闭环系统状态方程为从任意初始状态开始的最优性能指标为,定常状态调节器(8/12),关于线性定常系统的无限时间最优状态调节器的定理,有如下说明。1) 在该定理中,强调了被控的线性定常系统状态要能镇定的(即能稳的)。由6.3节知识可知,状态能稳性的意义是:一定存在一个状态反馈,使状态能稳的系统闭环渐近稳定。无限时间的最优状态调节器问题要求调节被控系统在末态时刻tf时的状态x()为零状态(原点)。如果被控系统是状态能控的,当然就存在线性定常状态反馈律,使被控系统的反馈闭环系统是渐近稳定的,即状态x(t)可逐渐衰减至零;或存在时变的状态反馈律,使被控系统的状态在有限时间内转移到零状态。,定常状态调节器(9/12),若被控系统是状态不完全能控的,则至少要求不能控的子系统是渐近稳定的,才能使得该部分子系统的状态能随时间t而自由衰减至零状态。因此,在无限时间的最优状态调节器问题中,要求系统至少是状态能镇定的。在前一节讨论的有限时间最优状态调节器问题中,未要求被控系统是状态能控的或状态能镇定的。这是因为,该问题的末态x(tf)是自由的。控制的目的是使性能指标泛函最小,而不是将系统状态调节到指定的末态。即使系统状态不是能控的和能镇定的,也总可以找到控制u(t)使得性能指标泛函对该系统而言是最小的。,定常状态调节器(10/12),2) 若被控线性定常系统是状态能镇定的,即矩阵对(A,B)是能镇定矩阵对,则黎卡提矩阵代数方程的解P至少是非负定的。 若被控线性定常系统是状态完全能控的,即矩阵对(A,B)是能控矩阵对,则黎卡提矩阵代数方程的解P是正定的(参见参考文献43)。下面通过分析一个一阶线性定常系统的无限时间最优状态调节器问题,进一步领会该调节器的基本特性。,定常状态调节器(11/12)例7-12,例7-12 已知一阶被控系统的状态方程和性能指标分别为。式中,q0,r0。试求其最优控制和最优状态轨线。解 根据定理7-16,可以求出该问题的最优控制为式中,p是如下黎卡提代数方程的解,u*=-R-1BPx,定常状态调节器(12/12),解之得因此,最优状态反馈律为相应的最优状态调节器的闭环系统状态方程为于是得,