《优控制理论》PPT课件.ppt

最优控制理论,主讲：罗文广,授课内容,1、最优控制概述2、最优控制中的变分法3、极小值原理及其应用4、动态规划5、线性最优状态调节器6、线性最优输出调节器与跟踪系统,考核方式,一、小设计论文（30）1、选题：每人自选一个与最优控制相关的实际小问题，在小组讨论中初步确定选题。小组45人，自行成立。2、解题：通过建模、编程和仿真，获得问题的最优解；或者通过制作实物、编程，对对象实现最优控制。3、论文：通过以上工作，完成一篇小论文。论文撰写格式按照广西工学院学报的格式要求。4、报告和答辩：每人约用10分钟对所做选题进行汇报和答辩5、时间要求：题目确定：第6周，个人上交自拟的题目。答辩时间：12周以后。最后完成时间：本学期最后一周。6、上交材料：（1）编制的程序、仿真结果，或制作的实物；（2）小论文。由班长统一上交（含统计表）二、考试（70）开卷方式,第1章 导论 1.1 引言,一、现代控制理论 现代控制理论是研究系统状态的控制和观测的理论，主要包括5个方面：1、线性系统理论：研究线性系统的性质，能观性、能控性、稳定性等。以状态空间法为主要工具研究多变量线性系统的理论。2、系统辨识：根据输入、输出观测确定系统数学模型。3、最优控制：寻找最优控制向量u(t)。根据给定的目标函数和约束条件,寻求最优的控制规律的问题。4、最佳滤波（卡尔曼滤波、最优估计）：存在噪声情况下，如何根据输入、输出估计状态变量。5、适应控制：利用辨识系统动态特性的方法随时调整控制规律以实现最优控制，即在参数扰动情况下，控制器的设计问题。把鲁棒控制、预测控制均纳入到现代控制理论的范畴。,第1章 导论 1.1 引言,二、最优控制的发展简史先期工作：1948年，维纳(N.Wiener)发表控制论，引进了信息、反馈和控制等重要概念，奠定了控制论(Cybernetics)的基础。并提出了相对于某一性能指标进行最优设计的概念。1950年,米顿纳尔(Medona1)首先将这个概念用于研究继电器系统在单位阶跃作用下的过渡过程的时间最短最优控制问题。1954年，钱学森编著工程控制论（上下册），作者系统地揭示了控制论对自动化、航空、航天、电子通信等科学技术的意义和重大影响。其中“最优开关曲线”等素材，直接促进了最优控制理论的形成和发展。,第1章 导论 1.1 引言,理论形成阶段：自动控制联合会(IFAC)第一届世界大会于1960年召开,卡尔曼（Kalman）、贝尔曼（R.Bellman）和庞特里亚金（Pontryagin）分别在会上作了“控制系统的一般理论”、“动态规划”和“最优控制理论”的报告,宣告了最优控制理论的诞生,人们也称这三个工作是现代控制理论的三个里程碑。19531957年，贝尔曼(R.E.Bellman)创立“动态规划”原理。为了解决多阶段决策过程逐步创立的，依据最优化原理，用一组基本的递推关系式使过程连续地最优转移。“动态规划”对于研究最优控制理论的重要性，表现于可得出离散时间系统的理论结果和迭代算法。,第1章 导论,19561958年，庞特里亚金创立“极小值原理”。它是最优控制理论的主要组成部分和该理论发展史上的一个里程碑。对于“最大值原理”，由于放宽了有关条件的使得许多古典变分法和动态规划方法无法解决的工程技术问题得到解决，所以它是解决最优控制问题的一种最普遍的有效的方法。同时，庞特里亚金在最优过程的数学理论著作中已经把最优控制理论初步形成了一个完整的体系。此外，构成最优控制理论及现代最优化技术理论基础的代表性工作，还有不等式约束条件下的非线性最优必要条件(库恩图克定理)以及卡尔曼的关于随机控制系统最优滤波器等。,第1章 导论 1.2 最优控制问题,一、问题的描述已知被控系统的状态方程以及给定的初始状态规定的目标集为S(例如）求一容许控制,使系统在该控制的作用下由初态出发，在某个大于t0 的终端时刻tf 达到目标集S上，并使性能指标 达到最小。,第1章 导论 1.2 最优控制问题,从以上最优控制问题的描述中可见：1、有一个被控对象（系统数学模型）它通常由常微分方程组描述的动态模型来表征，即 其初态一般是给定的，即2、有一目标集及边界条件 目标集：在控制u的作用下，把被控对象的初态x0在某个终端时刻转移到某个终端状态x(tf)。x(tf)通常受几何约束。例如考虑它是一个点集，在约束条件 下 目标集为,第1章 导论 1.2 最优控制问题,边界条件：初始状态：初始时刻t0和x(t0),通常是已知的。末端状态：末端时刻tf和x(tf)，通常是未知的。3、容许控制集控制向量u的各个分量ui往往是具有不同物理属性的控制量。在实际控制问题中，大多数控制量受客观条件的限制只能取值于一定的范围，将控制约束条件的点集称为控制域，则将在闭区间t0,tf上有定义，且在控制域内取值的每个控制函数u(t)称为容许控制，记做,第1章 导论 1.2 最优控制问题,4、性能指标 为了能在各种控制律中寻找到效果最好的控制，需要建立一种评价控制效果好坏或控制品质优劣的性能指标函数。又称代价（成本，目标）函数或泛函，记做，它是一个依赖于控制的有限实数，一般的表达式为：该表达式包括了依赖于终端时刻tf和终端状态x(tf)的末值型项，以及依赖于这个控制过程的积分型项。因此，可将最优控制问题的性能指标分为：混合型、末值型和积分型。不同的控制问题，应取不同的性能指标：,第1章 导论 1.2 最优控制问题,（1）积分型性能指标：a.最短时间控制：b.最少燃烧控制：c.最小能量控制:（2）末值型性能指标（3）混合型性能指标,第1章 导论 1.2 最优控制问题,二、对最优控制问题的进一步说明 如果最优控制问题有解，即:使 达到极小值的控制函数存在，记为，称为最优控制；相应的状态轨迹x*(t)称为最优轨迹；性能指标 称为最优性能指标。三、举例 月球上的软着陆问题（最小燃耗问题）,飞船靠其发动机产生一与月球重力方向相反的推力u(t)，以使飞船在月球表面实现软着陆，要寻求发动机推力的最优控制规律，以便使燃料的消耗为最少。,第1章 导论 1.2 最优控制问题,设飞船质量为m(t)，高度为h(t)，垂直速度为v(t)，发动机推力为u(t)，月球表面的重力加速度为常数g。设不带燃料的飞船质量为M，初始燃料的总质量为F初始高度为h0，初始的垂直速度为v0，那么飞船的运动方程式可以表示为：,初始条件,终端条件,性能指标是使燃料消耗为最小，即,约束条件,达到最大值,第2章 最优控制中的变分法,变分法是求解泛函极值的一种经典方法，因此也是研究最优控制问题的一种重要工具。本章的中心内容是介绍经典变分法的基本原理，并加以推广，用以求解某些最优控制问题。尽管经典变分法有其局限性，但本章所涉及的有关内容，在最优控制理论中是最基本的东西。,第2章 最优控制中的变分法 2.1 泛函与变分,（1）泛函定义:给定函数空间U，若对于任何函数x(t)U，总有一个确定的值J(x(t)与之对应，则称J(x(t)是函数x(t)的泛函。这里x(t)常被称做宗量。从定义中可以发现，泛函是变量与函数之间的关系,常称之为“函数的函数”。例：是一个泛函，当x(t)=t时，J=0.5;而不定积分 不是一个泛函。,第2章 最优控制中的变分法 2.1 泛函与变分,函数：对于变量t的某一变域中的每一个值，x都有一个值与之相对应，那么变量x称作变量t的函数。记为：x=f(t)t称为函数的自变量自变量的微分：dt=t-t0（增量足够小时）,泛函：对于某一类函数x()中的每一个函数x(t)，变量J都有一个值与之相对应，那么变量J称作依赖于函数x(t)的泛函。记为：J=J x(t)x(t)称为泛函的宗量宗量的变分：,函数与泛函比较：,第2章 最优控制中的变分法 2.1 泛函与变分,关于变分，可将泛函的变分概念看成是函数微分概念的推广，其作用如同微分在函数中的作用。（2）变分定义:若连续泛函J(x(t)的增量可表示为 其中第一项是 的连续线性泛函，第二项是关于 的高阶无穷小，则称上式第一项为泛函的变分，记做 如同函数的微分是函数增量的线性主部一样，泛函的变分就是泛函增量的线性主部。,第2章 最优控制中的变分法 2.1 泛函与变分,显然，直接用定义求泛函的变分 很困难。因此必须寻求一种计算方法。（3）计算泛函变分的公式定理21 如果连续泛函J(x(t)的变分存在，则证明：(见P12)例子：（见P12）为了确定泛函的极小值或极大值，需要考察泛函的二次变分：（4）二次变分定义：P12（5）求解二次变分定理：P12,第2章 最优控制中的变分法 2.1 泛函与变分,例：求下列泛函的变分,第2章 最优控制中的变分法 2.1 泛函与变分,（6）泛函极值定义：定义215对于与x0(t)接近的曲线x(t)，泛函Jx(t)的增量（7）泛函极值的必要条件：定理23（8）泛函极小值的充要条件：定理24（9）变分引理：定理25,则泛函Jx(t)在曲线x0(t)上达到极值。,泛函极值定理：若可微泛函Jx(t)在x0(t)上达到极值，则在x=x0(t)上的变分为零。即,第2章 最优控制中的变分法 2.2 欧拉方程,主要讨论：（1）无约束和有约束情况下，泛函极值存在的必要条件欧拉方程；（2）泛函极小值的充分条件勒让德条件。2.2.1 无约束泛函极值的必要条件这里所提到的约束或无约束是指状态x(t)的约束问题。无约束：指求解最优控制解时状态无约束，即无状态方程的约束。1、所定义的问题问题2-1:无约束泛函极值问题为,问题为：确定一个函数x(t)，使Jx(t)达到极小（大）值。这条能使泛函Jx(t)达到极值的曲线称为极值曲线（轨线），记作：x*(t)，见图2-2。对于端点固定的情况，容许轨线x(t)应满足下列边界条件：,第2章 最优控制中的变分法 2.2 欧拉方程,2、极值的必要条件定理26：极值轨线x(t)满足欧拉方程证明：P16.注意名词：横截条件（第3节讨论）例22：（求极值轨线）2.2.2 有等式约束的泛函极值的必要条件在最优控制问题中，泛函Jx(t)所依赖的函数x(t)往往会受到一定约束条件的限制。在动态最优化问题中，由于受控系统的数学模型往往用微分方程来描述，所以等式约束就是系统的状态方程。等式约束：系统的运动微分方程,第2章 最优控制中的变分法 2.2 欧拉方程,1、定义的问题问题描述：问题222、极值的必要条件解决有约束问题方法：将有约束问题转化为无约束问题，利用无约束的结论。通过引入拉格朗日乘子向量，解决这个问题。定理27：（主要的问题：将有约束问题转化为无约束问题后的拉格朗日乘子向量定义、计算）这里，为了将有约束条件的泛函极值问题转化为无约束条件的泛函极值问题，应用拉格朗日乘子法。为此，引入待定的n维拉格朗日乘子向量(t)，即证明：P18例2-3：,第2章 最优控制中的变分法 2.2 欧拉方程,2.2.3 泛函极小值的充分条件（1）无约束情况定理2-8：（2）有约束情况定理2-9：例2-4:,第2章 最优控制中的变分法 2.3 横截条件,横截条件：两点边界满足的条件。例如式（226）前面讨论的是最简单的情况：两端固定（初始状态和末端状态）且初始时刻和末端时刻都固定，在工程实际中存在许多复杂的情况，讨论如下：2.3.1 末端时刻固定时的横截条件末端时刻tf固定，存在以下几种情况：见表2-12.3.2 末端时刻自由时的横截条件横截条件：式（2-53）末端时刻tf自由，存在以下几种情况：见表2-22.3.3 初始时刻自由时的横截条件横截条件：式（2-62）初始时刻自由，存在以下几种情况：见表2-2,横截条件：,第2章 最优控制中的变分法 2.4 用变分法解最优控制问题,用变分法求解连续系统最优控制问题:(1)具有等式约束条件的泛函极值问题，只要把受控系统的数学模型看成是最优轨线x(t)应满足的等式约束条件即可；(2)控制变量不受约束；（3）末端时刻固定和末端时刻自由时最优解的必要条件和充分条件。一、可用变分法求解的最优控制问题一般描述，非线性时变系统状态方程为,初始状态,其中，x 为n 维状态向量；u 为m 维控制向量；f 为n 维向量函数。,要求在控制空间中寻求一个最优控制向量(不受约束)，使以下性能指标,沿最优轨线 取极小值。,目标集（末端状态集）,第2章 最优控制中的变分法 2.4 用变分法解最优控制问题,二、末端时刻固定时的最优解问题的描述：P301、末端受约束情况两个约束：状态受系统状态方程约束，末端状态受目标集约束。引入两个拉格朗日乘子向量(t)、(t)，构造广义泛函（无条件极值）：,定义哈密顿函数(关于该函数的说明P31),代入上式得,式中的第三项进行分部积分，得,当泛函J 取极值时，其一次变分等于零。即,第2章 最优控制中的变分法 2.4 用变分法解最优控制问题,可以变分的量：,求出J 的一次变分并令其为零,广义泛函取极值的必要条件是（定理210）正则方程：边界条件：极值条件（控制方程）：,第2章 最优控制中的变分法 2.4 用变分法解最优控制问题,几点说明：,1）实际上，（2-73）式和（2-74）式为欧拉方程。,因为,推导过程：如果令（广义泛函的积分内的函数）,简记成,由欧拉方程得到,即,第2章 最优控制中的变分法 2.4 用变分法解最优控制问题,而（275）式和初始条件（266）就是横截条件。,2）是泛函取极值的必要条件，是否为极小值还需要二次变分 来判断，则泛函J 取极小值。,第2章 最优控制中的变分法 2.4 用变分法解最优控制问题,3）哈密顿函数沿最优轨线随时间的变化率,在最优控制、最优轨线 下，有 和,（270）式的哈密顿函数对 求偏导，结果为,于是,第2章 最优控制中的变分法 2.4 用变分法解最优控制问题,即哈密顿函数H 沿最优轨线对时间的全导数等于它对时间的偏导数。记为 则,对上式积分，得到,当哈密顿函数不显含 t 时，得,第2章 最优控制中的变分法 2.4 用变分法解最优控制问题,2、末端自由情况广义泛函取极值的必要条件是（定理211）正则方程：边界条件：极值条件：,3、末端固定情况广义泛函取极值的必要条件是（定理212）正则方程：边界条件：极值条件：末端时刻固定时最优解的充分条件：定理213,第2章 最优控制中的变分法 2.4 用变分法解最优控制问题,三、末端时刻自由时的最优解推导过程与末端时刻固定时一样，只不过不同在于,可以变分的量：,不可以变分的量：,末端受约束情况：定理214末端自由情况：定理215末端固定时情况：定理216注意与末端时刻固定的情况不同。,第3章 极小值原理及其应用 3.1 连续系统的极小值原理,问题的提出,用变分法求解最优控制时，认为控制向量 不受限制。但是实际的系统，控制信号都是受到某种限制的。,因此，应用控制方程来确定最优控制，可能出错。,a)图中所示，H 最小值出现在左侧，不满足控制方程。b)图中不存在,第3章 极小值原理及其应用 3.1 连续系统的极小值原理,一、自由末端的极小值原理定理3-1：对应如下定常系统、末值型性能指标、末端自由、控制受约束的最优控制问题,及,满足下述正则方程:,对于最优解和最优末端时刻、最优轨线，存在非零的n维向量函数 使,第3章 极小值原理及其应用 3.1 连续系统的极小值原理,式中哈密顿函数,及,满足边界条件,哈密顿函数相对最优控制为极小值,哈密顿函数沿最优轨迹线保持为常数,固定时,当,自由时,当,第3章 极小值原理及其应用 3.1 连续系统的极小值原理,上述极小值原理与变分法主要区别在于条件。当控制无约束时，相应条件为；,不再成立，而代之为,当控制有约束时，,极小值原理的重要意义：（P51)（1）容许控制条件放宽了。（2）最优控制使哈密顿函数取全局极小值。（3）极小值原理不要求哈密顿函数对控制的可微性。（4）极小值原理给出了最优控制的必要而非充分条件。例31：,说明：1）极小值原理给出的只是最优控制应该满足的必要条件。2）极小值原理与用变分法求解最优问题相比，差别仅在于极值条件。3）这里给出了极小值原理，而在庞德里亚金著作论述的是极大值原理。因为求性能指标J的极小值与求J的极大值等价。4）非线性时变系统也有极小值原理。,第3章 极小值原理及其应用 3.1 连续系统的极小值原理,二、极小值原理的一些推广形式1、时变问题定义：描述最优控制问题的相关函数显含时间，称为时变问题。解决办法：引入新状态变量，将时变问题转为定常问题，利用定理3-1。,定理3-2：,满足下述正则方程:,及,式中哈密顿函数,第3章 极小值原理及其应用 3.1 连续系统的极小值原理,及,满足边界条件,哈密顿函数相对最优控制为极小值,在最优轨线末端哈密顿函数应满足,沿最优轨线哈密顿函数变化率,定理32与定理31的区别：P61,第3章 极小值原理及其应用 3.1 连续系统的极小值原理,2、积分型性能指标问题,定理3-3：,满足下述正则方程:,及,式中哈密顿函数,及,满足边界条件,第3章 极小值原理及其应用 3.1 连续系统的极小值原理,哈密顿函数相对最优控制为极小值,哈密顿函数沿最优轨迹线保持为常数,固定时,当,自由时,当,第3章 极小值原理及其应用 3.1 连续系统的极小值原理,例3-2：试求：时的，解：定常系统、积分型，固定，自由，受约束。取哈密顿函数,由协态方程,由边界条件,注：控制的切换点为(ts)=1,第3章 极小值原理及其应用 3.1 连续系统的极小值原理,控制的切换点处,根据边界条件继续求出：,代入状态方程得,第3章 极小值原理及其应用 3.1 连续系统的极小值原理,第3章 极小值原理及其应用 3.1 连续系统的极小值原理,最优性能指标为：,例3-3：3、末端受约束的情况做法与前面得一样，引入两个拉格朗日乘子向量，构造广义泛函，在满足末端约束条件下，泛函取得极值是等价的。定理3-4：（定常系统）定理3-5:（时变系统）4、复合型性能指标情况定理36：表3-1,3-2例35：,第3章 极小值原理及其应用 3.2 离散系统的极小值原理,一、离散欧拉方程控制序列不受约束时，利用离散变分法求解离散系统的最优控制问题。,设系统的差分方程为：,系统的性能指标为：,离散泛函取得极值的必要条件（欧拉方程）,离散横截条件为：,若始端固定，末端自由，由离散横截条件得边界条件：例36：,第3章 极小值原理及其应用 3.2 离散系统的极小值原理,二、离散极小值原理先给出控制序列不受约束时得离散极小值原理，然后推广到控制序列受约束的情况。1、末端状态受等式约束,定理3-7:设离散系统状态方程,系统的性能指标为：,目标集：,取得极值的必要条件：,和,满足下列差分方程:,式中离散哈密顿函数,第3章 极小值原理及其应用 3.2 离散系统的极小值原理,和,满足边界条件,离散哈密顿函数对最优控制,取极小值,控制序列不受约束时,2、末端状态自由时定理38：例37：,第3章 极小值原理及其应用 3.3 时间最优控制,时间最优控制：如果性能指标是系统由初态转移到目标集的运动时间，则使转移时间为最短的控制称为时间最优控制。,一、一类非线性系统的时间最优控制,最短时间控制问题的提法：设受控系统状态方程为,给定终端约束条件为,寻求m维有界闭集中的最优控制u*(t)，满足不等式约束,使系统从已知初始状态 转移到目标集中某一状态 时，如下目标泛函取极小值，其中 未知,属于时变系统、积分型性能指标、终端受约束的最优控制问题,第3章 极小值原理及其应用 3.3 时间最优控制,应用极小值原理，系统的哈密尔顿函数为：,在使J最小以实现最优控制的必要条件中，侧重分析极值条件,将上式中的矩阵表达式展开成分量形式,则极值条件可写为：,第3章 极小值原理及其应用 3.3 时间最优控制,由上式可见，由于 是确定的，故使 取极小值的最优控制为,或简写为：,根据 是否为零，将系统分为两种情形：正常（平凡）、奇异（非平凡）,（砰-砰控制）,第3章 极小值原理及其应用 3.3 时间最优控制,正常（平凡）最短时间控制系统（定义31）只是在各个孤立的瞬刻才取零值，是有第一类间断点的分段常数函数。,奇异（非平凡）最短时间控制系统（定义32）并不意味着在该区间内最优控制不存在，仅表明，从必要条件不能推出确切关系式。,定理39：砰-砰控制原理,第3章 极小值原理及其应用 3.3 时间最优控制,二、线性定常系统的时间最优控制,线性时间最优调节器问题的提法（问题32）：设受控系统状态方程为,给定终端约束条件为,寻求m维有界闭集中的最优控制u*(t)，满足不等式约束,使系统以最短时间从初始状态 转移到状态空间原点。目标泛函取极小值,根据上一节的结论，可得极值条件为：,第3章 极小值原理及其应用 3.3 时间最优控制,对于线性定常系统的最短时间控制问题，经过理论推导和证明，可得如下重要结论：（1）系统正常（平凡）的充要条件（定理311）：当且仅当m个矩阵,中全部为非奇异矩阵时，系统是正常（平凡）的。（至少有一个为奇异矩阵时，系统是奇异的（定理310）定理3-11:当且仅当 问题3-2是正常的,（2）系统最优解存在的条件：常数矩阵A的特征值全部具有非正实部。,（3）最优解唯一性定理：系统是平凡的且最短时间控制存在，则最短时间控制必然是唯一的。(定理3-12),（4）开关次数定理：系统是平凡的且最短时间控制存在，则最优控制u*的任一分量 的切换次数最多为n-1次。（n为系统维数）(定理3-14),第3章 极小值原理及其应用 3.3 时间最优控制,三、双积分模型的最短时间控制问题,双积分模型的物理意义：惯性负载在无阻力环境中运动（例38）,负载运动方程：,传递函数：,（由两个积分环节组成）,定义u(t)=f(t)/m,则上式变为：,取状态变量,则有,矩阵形式为：,第3章 极小值原理及其应用 3.3 时间最优控制,定理3-15正则方程,式中哈密顿函数,边界条件,，,极小值条件,函数变化率,第3章 极小值原理及其应用 3.3 时间最优控制,双积分模型最短时间控制问题的提法：已知二阶系统的状态方程为,给定端点约束条件为,寻求有界闭集中的最优控制u*(t)，满足不等式约束,使系统从以最短时间从任意初态转移到终态。,先判断该系统是否平凡？,第3章 极小值原理及其应用 3.3 时间最优控制,由上节重要结论可知：（1）本系统为（正常）平凡最短时间控制系统（2）其时间最优控制必然存在且唯一（3）时间最优控制u(t)至多切换一次,最优控制表达式：,下面利用协态方程求解,哈密顿函数：,最优控制：,第3章 极小值原理及其应用 3.3 时间最优控制,为一直线，为非零向量，故c1和c2不能同时为零。由于开关次数的限制，其四种可能的开关序列为（如图3-7）：,下面通过图解法，在相平面上分析相轨迹转移的规律，从而寻找最优控制u*(t)。首先求解状态轨线的方程。令：,相轨迹方程为,令,相轨迹,满足末态要求的相轨迹为,满足末态要求的相轨迹为,两种情况组合后,第3章 极小值原理及其应用 3.3 时间最优控制,为开关曲线,第3章 极小值原理及其应用 3.3 时间最优控制,第3章 极小值原理及其应用 3.3 时间最优控制,求解状态转移最短时间t*：,第3章 极小值原理及其应用 3.3 时间最优控制,式（1）与式（2）比较有,第3章 极小值原理及其应用 3.3 时间最优控制,四、离散系统的时间最优控制离散系统的时间最优控制问题：最多在n个采样周期内，可使任意初始状态转移到要求的末端状态。找出这n个采样周期内的控制序列，则是最优控制序列。线性定常离散系统的控制:P106例39：,第3章 极小值原理及其应用 3.4 燃料最优控制,燃料最优控制问题的提法：设受控系统状态方程为,给定端点约束条件为,寻求m维有界闭集中的最优控制u*(t)，满足不等式约束,使系统从已知初始状态 转移到目标集中某一状态 时，如下目标泛函取极小值，其中 未知,第3章 极小值原理及其应用 3.4 燃料最优控制,二次积分模型最少燃料控制问题的提法：已知二阶系统的状态方程为,寻求有界闭集中的最优控制u*(t)，满足不等式约束,二次积分模型的燃料最优控制问题（问题3-7）,使系统由任意初始状态，转移到预定终态，并使如下目标函数取极小值。其中 自由。,给定端点约束条件为,第3章 极小值原理及其应用 3.4 燃料最优控制,哈密顿函数：,协态方程：,极小值条件：,哈密顿函数在末端时刻变化率：,哈密顿函数取得极小值后，极小值条件式等价于：,用极小值原理求解：,对最优控制取得极小值,第3章 极小值原理及其应用 3.4 燃料最优控制,令,则,关系如图321（分析如何得到图）。,死区函数关系：,引入死区函数记号dez：,得图321的b图,则,得图321的a图,第3章 极小值原理及其应用 3.4 燃料最优控制,平凡燃料最优控制,奇异（非平凡）燃料最优控制并不意味着在该区间内最优控制不存在，仅表明，利用常规公式无法求解,第3章 极小值原理及其应用 3.4 燃料最优控制,(1)奇异区内，有（命题31）,(2)平凡区内，此时,得出9种可能的控制序列作为候选函数（命题32）,第3章 极小值原理及其应用 3.4 燃料最优控制,等速直线,由图见，这是一族不通过原点的平行线，或是x1轴上的孤立点。因此，以u=0结尾的控制序列不是最优控制，九个序列变为六个。,该关系式提供了燃料消耗量的下限，所以，如果能找到一个控制，驱使状态从初态转移到原点的燃料消耗为，则该控制肯定是燃料最优控制。,命题33：,第3章 极小值原理及其应用 3.4 燃料最优控制,第3章 极小值原理及其应用 3.4 燃料最优控制,曲线 以及坐标轴x1将相平面分成了四个区域,第3章 极小值原理及其应用 3.4 燃料最优控制,（1）初态位于开关曲线 上命题3-4:对于问题3-7,若初态，则 是燃料最优控制，且唯一。若初态，则 是燃料最优控制，且唯一。（2）初态位于区域R4和R2上命题3-5:对于问题3-7,若初态，则 是燃料最优控制。若初态，则 是燃料最优控制。,平凡情况：只有序列 0，+1和-1，0，+1可驱使系统状态到达原点。其中：0，+1控制下，燃料消耗为-1，0，+1，燃料消耗大于结论：0，+1为最优控制序列，且在各种情况下其响应时间最短,第3章 极小值原理及其应用 3.4 燃料最优控制,（3）初态位于区域R1和R3上,平凡情况：只有序列-1，0，+1可驱使系统状态到达原点。,结论：燃料控制问题无解（燃料最优控制(命题3-6)）,第3章 极小值原理及其应用 3.4 燃料最优控制,类似地，可对其它两个区间进行研究。综上所述，双积分装置最少燃料问题的控制规律如下：,第3章 极小值原理及其应用 3.5 时间燃料最优控制,一、问题的提出以节省燃料为目标的燃料最优控制问题，一般说响应速度慢，有时不能满足系统的性能要求。为此，将时间与燃料综合考虑，使所设计的控制系统既能节约燃料，又不至于响应缓慢，因此产生了时间-燃料最优控制问题。取性能指标：,0,为时间加权系数，表示设计者对响应时间的重视程度。若0，表示不计响应时间长短，只考虑节省燃料；若无穷大，表示不计燃料消耗，只要求时间最短。,第3章 极小值原理及其应用 3.5 时间燃料最优控制,二次积分模型最少燃料控制问题的提法：已知二阶系统的状态方程为,寻求有界闭集中的最优控制u*(t)，满足不等式约束,二、二次积分模型的燃料最优控制问题（问题3-8）,使系统由任意初始状态，转移到预定终态，并使如下目标函数取极小值。其中 自由。,给定端点约束条件为,第3章 极小值原理及其应用 3.5 时间燃料最优控制,属于定常系统、积分型性能指标、末端时间自由和末端固定的最优控制问题,哈密顿函数：,协态方程：,极小值条件：,哈密顿函数在末端时刻变化率：,经过分析（见P117-120），时间燃料最优控制是比单纯燃料最优控制和单纯时间最优控制更广泛的一类控制。两者是前者的特例。,用极小值原理求解：,第4章 动态规划,本章主要内容：4.1 多级决策问题 4.2 离散动态规划 4.3 连续动态规划 4.4 动态规划与变分法、极小值原理的关系,求解动态最优化问题的两种基本方法：最小值原理和动态规划动态规划：美国学者贝尔曼在20世纪50年代提出 是一种分级最优化方法 其连续形式与最小值原理相辅相成，深化了最优控制的研究,第4章 动态规划 4.1 多级决策问题,多级决策过程 所谓多级决策过程，是指将一个过程按时间或空间顺序分为若干级(步)，然后给每一级(步)作出“决策”(在控制过程中令每走一步所要决定的控制步骤称之为决策)，以使整个过程取得最优的效果，即多次的决策最终要构成一个总的最优控制策略(最优控制方案)。,说明：1）全部“决策”总体，成为“策略”。2）在多级决策过程中，每一级的输出状态都仅与该级的“决策”及该级的输入状态有关，而与其前面各级的“决策”及状态的转移规律无关。这种特有性质，称为无后效性。,第4章 动态规划 4.1 多级决策问题,4.1.1 最短路线问题,解法一：穷举法，列出所有可能的组合方案，找出时间最短的一个 可能的行车线路共有：2*2*2=8（每阶段有两种可能）缺点：计算量大，容易出错。,需确定一条最优的汽车行驶路线，使从S站到F站的行车时间为最短。,第4章 动态规划 4.1 多级决策问题,解法二：动态规划法，是一种逆序计算法，从终点开始，按时间最短为目标，逐段向前逆推，依次计算出各站至终点站的时间最优值，据此决策出每一站的最优路线。,4,3,4,5,10,8,13,第4章 动态规划 4.1 多级决策问题,特点：1）将一个多阶段决策问题化为多个单阶段决策问题，易于分析 2）每阶段评估只与前一阶段结果有关，计算量减小具体解法：P132,2.最优性原理 不论初始状态和初始决策如何，当把其中的任何一级和状态再作为初始级和初始状态时，其余的决策对此必定也是一个最优决策。表明：若有一个初态x(0)的N级决策过程，其最优决策为u(0),u(1),u(N-1),那么，对于以x(1)为初态的N-1级决策过程来说，决策集合u(1),u(2),u(N-1)必定是最优策略。,第4章 动态规划 4.1多级决策问题,3、离散系统动态规划的基本递推方程离散控制系统最优控制问题的提法：（问题41）离散控制系统的状态方程为,给定端点约束条件为,寻求最优控制序列,使系统从起点转移终端时，目标函数取极小值,第4章 动态规划 4.1 多级决策问题,相对独立,动态规划基本方程或贝尔曼泛函方程,第4章 动态规划 4.1 多级决策问题,同理，不断向终点递推，可得,结合（5），从（4）出发逆推到（1），可得出最优控制序列,基本的递推方程,第4章 动态规划 4.1 多级决策问题,例:设一阶离散控制系统,试确定最优控制序列u(0),u(1),u(2),使如下性能指标达最小。,解：从最后一级相前递推（N=3)：,为使 达到最小，则有：,第4章 动态规划 4.1 多级决策问题,最后，从前往后推，可得出最优控制序列:u*(0)=-3/2,u*(1)=-1/2,u*(2)=0,关于动态规划本质的讨论：一个最优控制策略具有这样的性质，不论过去的状态及过去的决策如何，如把现在的状态看作后续状态的初态，则其后诸决策仍必须构成一最优策略。动态规划的最优性原理得以成立的前提条件是所谓“无后效性”。即上一状态和上一决策对后续过程的影响，仅表现在它们把状态转移到了当前状态，至于后续过程如何，他们就不再起作用了。动态规划的解题顺序，与事物发展进程相反。,第4章 动态规划 4.2离散动态规划,给定端点约束条件为,寻求最优控制序列,使系统从起点转移终端时，目标函数取极小值,离散控制系统最优控制问题的提法：（问题42）离散控制系统的状态方程为,求解过程与上节相同：例4-1,第4章 动态规划 4.3连续控制系统的动态规划,控制问题的提法:（问题43）设受控系统状态方程为,给定端点约束条件为,寻求m维有界闭集中的最优控制u*(t)，即,使系统从已知初始状态 转移到目标集中某一状态 时，如下目标泛函取极小值，,第4章 动态规划 4.3连续控制系统的动态规划,由动态规划最优性原理：,第4章 动态规划 4.3连续控制系统的动态规划,对任意给定初态 时，式（4-21）可改写为：,哈密尔顿雅可比贝尔曼方程,定义：,可视为影响函数，表示 的变分施加于 的影响程度。,第4章 动态规划 4.3连续控制系统的动态规划,哈密尔顿雅可比贝尔曼方程,表明：在最优轨线上，最优控制函数必使H达整体最小，这是最小值原理的另一种表述形式。连续动态规划的基本方程、最优解的求解步骤：P148-150,第4章 动态规划 4.4 动态规划与变分法、最小值原理的关系,1.动态规划与变分法 由哈密尔顿雅可比贝尔曼方程可推倒出欧拉方程,结论：动态规划与变分法和极小值原理在数学上是等效关系 应用范畴有所不同：对某些最优性能指标的可微性条件不能满足的最优控制问题，未必能写出哈密尔顿雅可比贝尔曼方程。,2.动态规划与极小值原理 由哈密尔顿雅可比贝尔曼方程，本身就是极小值原理的极值条件，通过它还可推倒极小值原理的协态方程和横截条件。区别在于：,第5章 线性最优状态调节器 5.1 线性二次型问题,线性二次型问题的特点（1）最优解可写成统一的解析表达式，实现求解过程规范化（2）可以兼顾系统的性能指标（快速性、准确性、稳定性、灵敏度）,线性二次型问题：系统为线性系统，性能指标为状态变量与控制变量的二次型函数，这类系统的最优控制问题。主要内容：最优状态调节、最优输出调节和最优跟踪，其中，最优输出调节问题和最优跟踪问题可以化为最优状态调节问题。,第5章 线性最优状态调节器 5.1 线性二次型问题,线性二次性问题的提法：设线性时变系统的状态方程为,假设控制向量 不受约束，用 表示期望输出，则误差向量为,正定二次型 半正定二次型实对称阵A为正定（半正定）的充要条件是全部特征值0（=0)。,求最优控制，使下列二次型性能指标最小。,第5章 线性最优状态调节器 5.1 线性二次型问题,性能指标的物理含义：（P163）,加权矩阵的意义：（1）F,Q,R是衡量误差分量和控制分量的加权矩阵，可根据各分量的重要性灵活选取。（2）采用时变矩阵Q(t),R(t)更能适应各种特殊情况。例如：Q(t)可开始取值小，而后取值大,第5章 线性最优状态调节器 5.1 线性二次型问题,线性二次型问题的本质：用不大的控制，来保持较小的误差，以达到能量和误差综合最优的目的。,线性二次型问题的三种重要情形：,第5章 线性最优状态调节器 5.2 状态调节器问题,设线性时变系统的状态方程为,假设控制向量 不受约束，求最优控制，使系统的二次型性能指标取极小值。,5.2.1 有限时间状态调节器问题,物理意义：以较小的控制能量为代价，使状态保持在零值附近。,状态调节器问题，就是要求系统的状态保持在平衡状态附件。分两种情况讨论：,第5章 线性最优状态调节器 5.2 状态调节器问题,1、最优解的充分必要条件定理5-1:最优控制的充分必要条件,最优性能指标：,对称非负矩阵P满足黎卡提矩阵微分方程：,边界条件：,2、黎卡提方程解的若干性质：P168,3、最优控制解的存在性与唯一性：定理5-2,第5章 线性最优状态调节器 5.2 状态调节器问题,（1）根据系统要求和工程实际经验，选取加权矩阵F,Q,R,状态调节器的设计步骤,（2）求解黎卡提微分方程，求得矩阵P(t),（3）求反馈增益矩阵K(t)及最优控制u*(t),（4）求解最优轨线x*(t),（5）计算性能指标最优值,第5章 线性最优状态调节器 5.2 状态调节器问题,例5-2,已知一阶系统的微分方程为,求使性能指标为极小值时的最优控制。,解：,二次型性能指标为：,其中p(t)为黎卡提方程的解,最优轨为如下时变一阶微分方程的解(可得出解析解）,第5章 线性最优状态调节器 5.2 状态调节器问题,1.无限时间时变状态调节器 设线性时变系统的状态方程为,假设控制向量 不受约束，求最优控制，使系统的二次型性能指标取极小值。,5.2.1 无限时间状态调节器问题,定理53：说明：（P175)1）要求系统完全能控。2）F=0,人们所关心的总是系统在有限时间内的响应3)最优控制律是时变的。,第5章 线性最优状态调