现代控制理论第八章 极小值原理ppt课件.ppt

第八章 极小值原理,在用古典变分法求解最优控制问题时，假定控制变量 不受任何限制，即容许控制集合可以看成整个m维控制空间开集，这时控制变分 可以任取。同时还严格要求哈密尔顿函数H对u连续可微。在这种情况下，应用变分法求解最优控制问题是行之有效的。,但是，实际工程问题中，控制变量往往是受到一定限制，容许控制集合是一个m维有界闭集，这时，控制变分 在容许集合边界上就不能任意选取，最段控制的必要条件 变不存在了。若最优控制解（如时间最小问题）落在控制集的边界上，一般便不满足 ，就不能再用古典变分法来求解最优控制问题了。,本章介绍的极小值原理是控制变量 受限制的情况下求解最优控制问题的有力工具。它是由苏联学者庞特里亚金于1956年提出的。极小值原理从变分法引伸而来，它的结论与古典变分法的结论极为相似，但由于它能应用于控制变量 受边界限制的情况，并不要求哈密尔顿函数H对u连续可微，因此其适用范围扩大了。,L.S.Pontryagin,第一节 连续系统的极小值原理,设连续系统动态方程为： (8-1)边界条件可以固定、自由或受轨线约束，控制变量 属于m维有界闭集U，即 (8-2)性能指标为： (8-3),则使性能指标 达到极小的最优控制 及最优状态轨线 必须满足以下条件：, 正则方程,(8-4),(8-5),这里， 为哈密尔顿函数， 为协态变量，其定义与在变分法中相同。, 哈密尔顿函数对应最优控制时为极小值，即：,(8-5),或,(8-6),当不受边界限制时，则上式与等效。 根据不同的边界情况， 及 满足相应的边界条件及横截条件，它们与变分法中所应满足的边界条件及横截条件完全相同。,比较上述极小值原理与变分法所得的结果，可以发现两者的差别仅在。极小值原理的严格证明很复杂，下面的证明将重于物理概念的阐述，尽量避免烦琐的数学推导。设系统动态方程为：,(8-7),边界条件为： ，为简单起见，假设终端时刻 及终端状态 均为自由。控制变量 受有界闭集约束，即,(8-8),求最优控制 使性能指标,(8-9),为极小。,设对应于最优情况的性能指标为 ，仅考虑由于 偏离 时的性能指标为，则按最优的定义，下式必然成立,设偏离足够小,(8-10),则由此引起的的增量可以由下式表示,(8-11),这里， 表示二阶及二阶以上的高阶项， 是 的线性主部，它与 成线性关系。当 时 这时可以由泛函变分 来近似代替泛函的实际增量 设有控制变量 ，在时间区间 内只能在容许范围内变化，如图8-1所示。设对应取极小时之最优控制为 （见图8-1），它由三个区间组成： 在 及 区间内， 处在容许集内，由于 可以任取， 均处在容许集内，这种情况下，泛函达极小值的必要条件为：,(8-12),图8-1 的容许域, 在 区间内， 处在容许集的边界上， 不能任取，它只能取负值，这时泛函为极小值的必要条件应为：,这说明对 的任何容许偏离都会引起泛函 比其足够小的邻区内的值 要小，故有可能为极小。,(8-13),下面，根据以上结论来求泛函极小的具体条件。首先，用拉格朗日乘子法建立增广泛函,(8-14),定义哈密尔顿函数,则得,下面求泛函 的变分。这里，假设终端时刻 及终端状态 均自由。经过同变分法中的类似推导，最后得,(8-16),(8-15),(8-17),(8-18),根据泛函存在极值的必要条件的结论可知，当 不受限制时，应满足,由于各个变量的变分是独立的，因此，必须同时满足,(8-20),(8-23),(8-22),(8-21),(8-19),这里，式(8-19)、式(8-20)为正则方程，式(8-21)为控制方程，式(8-22)，式(8-23)为横截条件，这与第六章变分法中所得结论完全相同。,当 受边界限制时，泛函极小的必要条件是：,为了寻找 与 的关系，在式(8-16)中可令除含有 项以外的各项均为零，则泛函极小必要条件式(8-23)变成,(8-24),(8-25),这里，被积函数为哈密尔顿函数对于控制变分引起的增量的线性主部。当 足够小时，可用它来一次近似代替实际增量，即,代入式(8-24)，得：,以上条件应对 出现的容许 都满足，由此可得以下结论：使指标泛函达极小的最优控制的必要条件是：,(8-27),(8-26),(8-28),我们对式(8-27)作一些简单解释，假定控制变分 出现在 区间的某一小区 内，而在其它区间内部为最优控制 则如果式(8-27)不满足，即存在 ，指标泛函变分式可表示成：,(8-29),显然，这与 矛盾。同时，小区间 可能出现在 区间的任何位置，因此要求整个区间 内均满足以下条件,到此，极小值原理得证。,极小值原理同时还给出以下条件，即：如果哈密尔顿函数不显含变量 ，则哈密尔顿函数 沿最优轨线保持为常数，即,(8-31),(8-30),如果终端时刻 自由，则,这里需要指出：极小值原理只是最优控制应满足的必要条件。但实际问题中由极小值原理给出的经常是单值的最优控制，而最优控制又确实存在，这种情况下，求出的最优控制也就满足了充分条件。有时可能给出非单值的最优控制，这就要根据问题性质作进一步判断。,(8-32),第二节 离散系统的极小值原理,设离散系统状态方程为：,这里， 为n维状态向量， 为m维控制向量，k为步数，N为总参数。设初始状态 ，终端状态 自由。控制变量受限制，即,系统的性能指标为：,要求寻找最优控制序列 ，使性能 为极小。我们同样可用极小值原理来求解最优控制问题。首先，用拉格朗日乘子法建立增广指标泛函,等式右边最后一项可表示成,代入式(8-34),求的一阶变分，得,当控制变量受限制时，性能指标 达极小值的必要条件为,由此可得，使 达极小的最优控制必须满足以下条件：, 满足正则方程, 相对于最优控制，哈密尔顿函数达极小值，即, 及满足以下边界条件及横截条件,同理，对不同的边界情况，只需选取相应的边界条件及横截条件，条件1、2不变。当控制变量不受限制时，则条件2与控制方程,等效。,第三节 极小值原理解最短时间控制问题,一般情况下，非线性受控系统的最短时间控制问题的解析解是很困难的，本节只讨论线性定常受控系统的最短时间控制问题导弹舵面的打开时间。,R-73的栅格舵,AIM9L导弹的舵面,为n维状态向量， 为m维控制向量，并受以下不等式约束,设线性受控系统状态方程为,寻找最优控制 使性能指标,为最小。我们应用极小值原理来求解。这时哈密尔顿函数为,故得正则方程为,根据极小值原理可得,即,将 阵表示成如下形式,这里， 为 阵的第 列数组， ，则得,这里， 为 第 个分量。设各控制分量互相独立，则不等式(8-51)对相应分量应该成立，即,由此可得最优控制规律为,设求得 的解如图8-2，则相应的最优控制规律示于图8-2。,图8-2 的关系,由图可见： 时，可以找出确定的 来，并且它们都为容 控制的边界值。 当 通过零点时， 由一个边界值换向另一个边界值。 如果 出现在某一时间区间内保持为零，则 为不确定值，称这种情况为奇异问题或非平凡问题，相应的时间区段称为奇异区段。关于奇异区段内的最段控制问题将在下节中作简单介绍。当整个时间区间内不出现奇异区段时，则称为非奇异瓿或平凡问题，本节的讨论仅限于平凡问题。为了便于研究，我们首先不加证明地介绍几个有关的定义及定理。,1.砰-砰（bang-bang）原理设线性系统(8-44)如果属于平凡情况，则其最短时间控制为：,的各个分量都是时间的分段恒值函数，并均取边界值，称此为bang-bang原理。bang-bang原理不仅适用于线性定常系统，同时也适用于如下一类非线性系统：,上式可以包含状态的非线性项，但只包含控制变量的线性项。,2.最短时间控制存在定理 设线性定常系统(8-44)为完全可控，并系统阵 的特征值均具有非正实部，控制变量满足不等式约束 ，则最短时间控制存在。3.最短时间控制的唯一性定理 设线性定常系统(8-44)属于平凡情况，则若时间最优控制存在，它必定是唯一的。4.开头次数定理 设线性定常系统(8-44)属于平凡情况，控制变量满足不等 式 约束，并系统阵A的特征值全部为实数，则如果最短时间控制存在，必为bang-bang控制，并每个控制分量在两个边界值之间的切换次数最多不超过n-1次。,下面，以二阶双积分装置为例，应用极小值原理来求解最短时间控制问题。设系统状态方程为,边界条件为,控制变量的不等式约束为,性能指标为,寻求最优控制使为最小。,由于,具有两个零特征值，满足非正实部要求，并,系统完全可控，因此最短时间控制存在，如果系统平凡情况，则最优控制解是唯一的，开头换向次数至多只有一次。列写哈密尔顿函数,得正则方程为,根据极小值原理可得,即,由此可得最优控制规律为：,下面，首先讨论系统是否存在着在某区段中 的奇异段。根据正则方程，可以解得：,这里， 为积分常数。如果存在奇异段，则应满足在某区段内 ，这时要求 。代入哈密尔顿函数，则得,不满足极小值原理的必要条件，由此证明本例不存在奇异段。因此，最优控制规律只有两种情况，即,它确是bang-bang形式。可能的控制方案有四种，如图8-3所示。将 代入状态方程，可解得相应的状态轨线。由状态方程 得,图8-3 可能的控制方案,积分后得,代入状态方程 得,这里， 为积分常数，式中符号“+”对应 ，符号“-”对应 。消去式(8-76)、式(8-77)中的 ，可得,这里， 为积分常数。这是两族抛物线，如图8-4，箭头方向为时间增加的方向。,图8-4 时的状态轨迹,现在来讨论对应于不同初始状态 的最优控制方案 如 处在 曲线上，则可在 作用下，不需换向就将 转移至原点 。因此，这时的最优控制为： ， （见图8-5）。 (b) 如 处在 曲线上，同理，可在 的作用下，不需换向就将 转移至原点 。因此，这时的最优控制为： ， （见图8-5）。 (c) 如 处在 曲线的下方，则状态转移将分两段进行，首先，在 作用下，由 沿式(8-78)的抛物线转移至B-0曲线上的某点，然后再沿曲线转移至原点。因此，这时的最优控制为,这里， 为两段轨迹交接处的时刻。由此可见，这时控制作用产生1次换向。（见图8-5）。 如 处在 曲线的上方，则同理，状态将首先在 的作用下同 转移至曲线上的某点，然后再在 的作用下沿曲线 转移至原点，相应 同样，这时控制作用产生一次换向。（见图8-5）。,通过以上讨论，可得以下结论： 最优控制为bang-bang控制，换向次数最多1次， 为开头换向曲线，其表示式为 段对应于由 向 的换向线， 段为由 向 的换向线。 最优控制 与状态轨迹之间的关系为,由此我们得到了很重要的特性，即最优控制可以由状态的非线性反馈来形成，从而可以实现闭环控制，这在工程上是十分有用的。图8-6给出了本例最优控制工程实现的可能方案之一，它包括一个两位置式继电器及一个二次函数发生器。这里遇到的一个原理上的困难是当处在开关曲线上时，继电器输入信号为零，因而不能实现换向，但是由于继电器总是具有一定惯性，所以继电器的实际换向都不会准确地发生在输入信号的过零处，而是超过一点，这时由于输入信号不再为零，因此换向是可以实现的。图8-6 最优控制的工程实现,在前节讨论最短时间控制问题时，我们应用了极小值原理的必要条件 来确定最优控制 与最优状态及协态轨线之间的关系。但是我们遇到了这样的情况，当在某个时间区间 内， ，上述必要条件没有提供有关 与 及 之间相互关系的任何信息，因此就无法由此求出 与 、 之间的确定关系式，我们称这类问题为奇异情况或非平凡情况，出现奇异情况的时间区间 称为奇异区间。存在奇异情况时并不意味着最优控制一定不存在，它只是说明应用极小值原理必要条件，即,或,无法确定最优控制。如果奇异段内存在最优控制，则称此为奇异最优控制，相应的状态轨线称为奇异轨线或奇异弧。显然，这时为了确定最优控制，就得进一步探讨能够提供确定最优控制的有效信息的补充条件，当然它们必须满足极小值原理。奇异最优控制问题是一个十分复杂的问题，有些问题如奇异最优控制的充分条件等至今没有完全解决。下面，通过简单例子对奇异情况存在的条件和奇异最优控制的求解两个问题作概要的讨论。,一、线性定常系统（单输入）最短时间控制问题中奇异区段存在的条件 在前节讨论二阶积分装置的最短时间控制时，曾利用极小值原理必要条件（ 自由及H不是t的显函数）来判断是否存在奇异情况，下面，我们将在更普遍的意义上来讨论这个问题。设系统状态方程为,这里，x（t）为n维状态变量，u（t）为一维控制变量，因此b为 维向量，控制不等式约束为：性能指标为： 自由 寻求最优控制 使性能指标J为最小。建立哈密尔顿函数根据极小值原理,即由此可知，当 则 为奇异区段。出现这种情况可能有三种原因：（1）将 代入哈密尔顿函数可得 显然它不满足极小值原理必要条件 ，由此可知， 的情况不可能出现。,（2）当 时，这说明控制作用根本不能影响系统，这时系统是不可控的。 ，由于求解 是复杂的两点边值问题，下面只用间接的方法来判断。如果存在由于可以建立下列方程组,根据建立下列方程组可解得：,代入正则方程得对正则方程求一次导数得：按此类推，可得：将以上结果代入式(8-95)，则得,式(8-105)可表示成如下形式上式两转置得这里，,可以看出，式(8-107)乃是未知向量为 的齐次方程组（n个方程）。已知 即具有非零解，根据线性代数的有关定理，未知数具有非零解的充要条件是系数行列式为零，即故显然，这意味着系统是不可控的。由此可得结论：线性定常系统（单输入）最短时间控制问题存在奇异区段的必要条件是系统不可控，反之，如果系统完全可控，则奇异情况不可能存在。,二、奇异最优控制的求解下面，通过一个例子来讨论如何求解奇异最优控制问题。设系统状态方程为：边界条件为：控制变量不受限制，给定 ，性能指标为寻求最优控制 使J为最小。,建立哈密尔顿函 (8-115)根据极小值原理由此可见，它没有提供最优控制 与 、 之间的确切关系，因此存在奇异情况。如前所述，奇异情况的出现并不意味着最优控制一定不存在，它只是说明应用极小值原理的必要条件无法解出确定的最优控制来，为此，需寻找满足极小值原理必要条件的补充条件。对式(8-116)进行一次求导，得,已知正则方程为：将式(8-116)进行一次求导，得由式(8-120)可知，它仍未提供任何 与 、 的确切关系。对式(8-120)再次求导，得,将正则方程代入式(8-121)，得由此得到 与 之间的确切关系由此可知，奇异控制存在，这是一个状态线性反馈控制律。下面来求相应的奇异轨线，由 的条件可得将式(8-116)代入，得,再将式(8-120)代入，得这就是奇异弧线方程，常数由起始状态及给定的终端时刻确定，这是一族双曲线。一般情况下，可以将求得的奇异控制方程与正则方程联立起来求解奇异弧线，另外，并不是任意起始状态都可能处在奇异弧线上，只有当状态进入奇异弧线上以后，采用奇异最优控制才能构成奇异弧线。最后需指出，由以上方法求出的奇异最优控制，满足极小值原理，因而满足最优控制的必要条件，但是，最优控制的充分条件至今没有建立起来，这是一个还没有完全解决的问题。,