用变分法求解最优控制问题.ppt

,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,用变分法求解最优控制问题,本章主要内容,5.1,变分法基础,5.2,无约束条件的泛函极值问题,5.3,有约束条件的泛函极值,动态系 统的最优控 制问题,5.4,小结,在动态系统最优控制问题中，性能指标是一个泛函，性能指标最优即泛函达到极值。解决泛函极值问题的有力工具是变分法。所以下面再次列出变分法中的一些主要结果，可对照微分学中的结果来理解，以加深印象及理解。,5.1,变分法基础回顾,如果对某一类函数 中的每一个函数 ，有一个实数值 与之相对应，则称 为依赖于函数 的泛函，记为,简单来说，泛函是以函数为自变量的函数。,1,、泛函：,相关的定义：,若对任给的,，存在,当,时，就有,则称 在 处是连续的。,2,、泛函的连续性：,满足下面条件的泛函称为线性泛函,齐次性：,叠加性：,这里 是实数，和 是函数空间中的函数。,3,、线性泛函：,4,、自变量函数的变分：,自变量函数 的变分 是指同属于函数类 中两个函数 、之差,这里,t,看作为参数。当 为一维函数时，可用图,5-1,来表示。,图,5-1,自变量函数的变分,这里，是 的线性泛函，若 时，有 ，则称 是泛函 的变分。是 的线性主部。,当自变量函数 有变分 时，,泛函的增量为,5,、泛函的变分：,6,、泛函的极值：,若存在 ，对满足的 一切,X,，具有同一符号，则 称 在 处有极值。,定理：,在 处有极值的必要条件是对于所有容许的增量函数 （自变量的变分），泛函 在 处的变分为零,为了判别是极大还是极小，要计算二阶变分 。但在实际问题中根据问题的性质容易判别是极大还是极小，故一般不计算 。,5.2,无约束条件的泛函极值问题,5.2.1,泛函的自变量函数为标量函数的情况,为简单起见，先讨论自变量函数为标量函数 （一维）的情况。我们要寻求极值曲线 ，使下面的性能泛函取极值,（,5-1,）,于是泛函,J,的增量 可计算如下（以下将*号省去）,上式中 是高阶项。,为此，让自变量函数 、在极值曲线 、附近发生微小变分 、，即,（泰勒级数展开）,根据,定义，泛函的变分 是 的线性主部，即,对上式第二项作分部积分，按公式,可得,（,5-2,）,J,取极值的必要条件是 等于零。因 是任意的，要使（,5-2,）中第一项（积分项）为零，必有,（,5-3,）,上式称为欧拉,拉格朗日方程。,（,5-2,）式中第二项为零的条件要分两种情况来讨论：,1,、固定端点的情况,这时 ，它们不发生变化，所以 。而（,5-2,）中第二项可写成,当 时，（,5-4,）式自然为零。,（,5-4,）,2,、自由端点的情况,这时 和 可以发生化，而且可以独立地变化。于是要使（,5-2,）中第二项为零，由（,5-4,）式可得,（,5-6,）,（,5-5,）,因为这里讨论 是标量函数的情况，和 也是标量，且是任意的，故（,5-5,）、（,5-6,）可化为,（,5-7,）、（,5-8,）称为,横截条件,。,（,5-8,）,（,5-7,）,当边界条件全部给定（即固定端点）时，不需要这些横截条件。当给定时，不要（,5-8,）。当给定时，不要（,5-7,）。,5.2.2,泛函的自变量函数为向量函数的情况,现在，将上面对 是标量函数时所得到的公式推广到 是,n,维向量函数的情况。这时，性能泛函为,(5-9),(5-10),式中,向量欧拉,拉格朗日方程为,(5-11),式中,泛函变分由（,5-2,）式改为,（分以下 和 两种情况：）,横截条件为（自由端点情况）,例,5-1,取极值的轨迹 。,求通过点（,0,，,0,）及（,1,，,1,）且使,解,即,它的通解形式为,式中：,这是固定端点问题，相应的欧拉,拉格朗日方程为,Sht,双曲正弦函数,Cht,双曲余弦函数,由初始条件 ，可得,A=0,。,再由终端条 件 ，可得 ，,因而极值轨迹为,例,5-2,求使指标,取极值的轨迹 ，并要求 ，但对 没有限制。,解,即,常数,于是 是常数，则是时间的线性函数，令,由 可得 ，又终端是自由的，由式（,5-7,）可得横截条件为,这是终端自由的情况。欧拉,拉格朗日方程为,容易验证 时，对应局部极小；时，对应局部极大。,由上式解得 或 。时的极值轨迹为 ；时的极值轨迹为 。,即,5.3,有约束条件的泛函极值,动态系统的最优控制问题,前面讨论泛函极值问题时，对极值轨迹 没有附加任何约束条件。但在动态系统最优控制问题中，极值轨迹必须满足系统的状态方程，也就是要受到状态方程的约束。考虑下列系统,（,5-13,）,这是综合指标。我们要求出最优控制 和满足状态方程的极值轨迹 ，使性能指标取极值。,式中，为 维状态向量，为 维控制向量（这里假定 不受限制,.,否则不能用变分法求解，而要用极小值原理或动态规划法求解）是,n,维连续可微的向量函数。性能指标如下：,（,5-14,）,在下面的讨论中，假定初始时刻 和初始状态 是给定的，终端则可能有几种情况。我们将就几种常见的情况来讨论，即 给定，自由和 自由,属于一个约束集。,5.3.1,终端时刻 给定，终端状态 自由,（,5-16,）,（,5-15,）,与有约束条件的函数极值情况类似，引入待定的,n,维拉格朗日乘子向量函数,将状态方程（,5-13,）写成等式约束方程的形式,与以前不同的是，在动态问题中拉格朗日乘子向量 是时间函数。,在最优控制中经常将 称为伴随变量，协态（协状态向量）或共轭状态。引入 后可作出下面的增广泛函,（,5-17,）,于是有约束条件的泛函 的极值问题化为无约束条件的增广泛函 的极值问题。,（,5-18,）,再引入一个标量函数,它称为哈密顿（,Hamilton,）函数，在最优控制中起着重要的作用,于是 可写成,（,5-19,）,对上式积分号内第二项作分部积分后可得,设 、相对于最优值 、的变分分别为 和,因为 自由，故还要考虑变分 。,下面来计算由这些变分引起的泛函 的变分。,为极小的必要条件是：对任意的 、，变分 等于零。由（,5-18,）及（,5-20,）可得下面的一组关系式,计算增量，然后用泰勒级数展开到一阶项即可得到,（协态方程）（,5-21,）,（状态方程）（,5-22,）,（控制方程）（,5-23,）,（横截条件）（,5-24,）,（,5-21,）,（,5-24,）即为 取极值的必要条件，由此即可求得最优值 ，。,（,5-22,）式即为状态方程，这可由 的定义式（,5-18,）看出，实 际解题时无需求 ，只要直接用状态方程即可，这里为形式上对称而写成（,5-22,）式。,（,5-21,）与（,5-22,）一起称为,哈密顿正则程,。,（,5-23,）是控制方程，它表示 在最优控制处取极值。,注意，这是在 为任意时得出的方程，当 有界且在边界上取得最优值时，就不能用这方程，这时要用极小值原理求解。,（,5-24,）是在 固定、自由时得出的横截条件。当 固定时，就不需要这个横截条件了。横截条件表示协态终端所满足的条件。,在求解（,5-21,）,（,5-24,）时，我们只知道初值 和由横截条件（,5-24,）求得的协态终端值 ，这种问题称为两点边值问题，一般情况下它们是很难求解的。,因为 不知道，如果假定一个 ，然后正向积分（,5-21,）,（,5-24,），则在 时的 值一般与给定的 不同，于是要反复修正 的值，直至 与给定值的差可忽略不计为止。,非线性系统最优控制两点边值问题的数值求解是一个重要的研究领域。对于线性系统两点边值问题的求解，则可寻找缺少的边界条件并只要进行一次积分，下面的例,5-4,给出了求解过程。,例,5-3,设系统状态方程为,的边界条件为 。求最优控制 ，使下列性能指标,为最小。,解,这里 、均给定，故不需要横截条件,（,5-24,）式。作哈密顿函数,则协态方程和控制方程为,即,故可得正则方程,对正则方程进行拉氏变换，可得,（,5-25,）,（,5-26,）,（,5-27,）,由（,5-25,）式可求得,于是，解出 为,（,5-28,）,代入（,5-26,），即得,（,5-29,）,反变换可求得,将（,5-28,）代入（,5-26,）可得,故,由 ，从上式可得,把 代入（,5-29,），可得 ，而最优控制为,设系统的状态方程为,要求确定最优控制 ，使指标泛函,例,5-4,初始条件为,取极小值,终端条件为,自由,这里 是自由的，所以要用到横截条件（,5-24,）式，因终端指标,解,:,作哈密顿函数,由（,5-21,）,（,5-25,）可求得,所以,（,5-30,）,（,5-31,）,将 代入状态方程，可得,即,得,（,5-32,）,边界条件为,（,5-37,）,（,5-36,）,（,5-35,）,（,5-34,）,（,5-33,）,（,5-39,）,（,5-38,）,（,5-40,）,（,5-41,）,可见这是两点边值问题，对正则方程（,5-33,）,（,5-36,）进行拉氏变换，可得,代入初始条件 ，可得,故,由（,5-38,）,（,5-41,）可解出,同样可解得,利用终端条件 ，由（,5-42,）、（,5-43,）可得,（,5-43,）,（,5-42,）,由上二式可解出,由（,5-42,）式可得最优状态轨迹,由（,5-43,）式可得最优协态,由（,5-32,）式可得最优控制,同理还可求出,图,5-2,最优控制和最优状态轨迹解,注意，这个系统是线性定常系统，这种线性两点边值问题的解可以通过寻找缺少的边界条件，并且进行一次积分而求得其解。,对非线性两点边值问题，则要借助于迭代方法产生一个序列，来多次修正缺少的初始条件的试探值，直到满足两点边值的条件。,图,5-2,是最优解的轨迹曲线。,5.3.2,终端时刻自由，终端状态受约束,（拦截问题）,设终端状态 满足下面约束方程,（,5-46,）,（,5-45,）,（,5-44,）,性能指标为,其中,引入,n,维拉格朗日乘子向量函数 和 维拉格朗日乘子向量 ，作出增广性能泛函,将 代入（,5-47,），可得,（,5-49,）,（,5-48,）,（,5-47,）,引入哈密顿函数,与 固定时的情况不同，现在 由 、和 所引起。这里 不再为零,.,（,5-51,）,则,（,5-50,）,令,系统性能指标泛函的一次变分为：,计算增量，然后用泰勒级数展开到一阶即可得到,取极值的必要条件为 因 、为任意，故得（省去*号）,（协态方程）（,5-53,）,（状态方程）（,5-54,）,（控制方程）（,5-55,）,（横截方程）（,5-56,）,与 固定情况相比，这里多了一个方程，用它可求出最优终端时间 。,（,5-57,）,要求确定最优控制 ，使 最小。,例,5-5,设系统状态方程为,边界条件为,自由,性能指标为,解,这是 自由问题。终端状态固定，是满足约束集的特殊情况，即,作哈密顿函数,正则方程是,控制方程是,将 代入，可得,因边界条件全部给定，故不用横截条件。,确定最优终端时刻的条件（,5-57,）式为,因为由正则方程 ，所以 ，于是最优控制,再由正则方程 ，可得,由上式求得,由初始条件 ，求得 ，故最优轨迹为,以终端条件,代入上式，即求得最优终端时刻,火箭发射最优程序问题。设火箭在垂直平面内运动，加速度 与水平面夹角为 ，是控制作用，见图,5-4,。令,例,5-6,（水平速度）,（垂直速度）,（水平距离）,（垂直高度）,图,5-4,火箭发射示意图,忽略重力和空气阻力时，系统的状态方程和初始条件为,(5-58),要求选择最优控制程序 ，使性能指标,自由,终端状态为,为最小。,因为要求 最小，故是 自由问题。由给 定的终端状态可得三个约束方程为,解,(5-59),作哈密顿函数,协态方程为,（,5-60,）,横截条件为,即,上式右端矩阵中 的自变量 已省略。由（,5-59,）式求出上式中的偏导数，可得协态的终值为,（,5-61,）,常数,积分协态方程可得,常数,代入协态终值条件后，得,故,（,5-62,）,由控制方程 ，得,（,5-63,）,即,下面来积分状态方程（,5-58,），为此将自变量 变成 。由（,5-63,）式得,为了确定最优程序 ，还需确定拉格朗日未定常数 、。,将上面关系代入状态方程，即得,积分上面两式得,由初始条件,可求得,(5-64),（,5-65,）,将上面的 和 代入状态方程（,5-58,）的后两式，积分并经较复杂运算得,（,5-66,）,（,5-67,）,（,注：,另一解为 ，但这时由（,5-67,）式可得出 与给定终端条件 不符，故略去 的解）,由终端条件 和（,5-65,）式得,故,（,5-68,）,由（,5-63,）式得,于是,（,5-70,）,故,（,5-69,）,将终端条件 和（,5-69,）式代入（,5-64,）式，可得,（,5-71,）,将终端条件 ，（,5-69,）式和（,5-71,）式代入（,5-67,）式可得,（,5-72,）,现在归纳一下所得的结果：,由（,5-72,）式可确定 ，由（,5-71,）式确定最短时间 ，由（,5-70,）式即可求得最优推力方向角 。,由上面的计算可知，对于这样一个比较简单的例子求出解析解也是比较困难的。一般情况下可用数值积分法求解。,5.4,小结,1,、,函数的函数叫做泛函。性能指标 是控制作用 的函数，故称为性能泛函。和微分类似可引入泛函的变分 。取极值的必要条件为 。,2,、,泛函 （为向量）取无约束极值的必要条件为,（欧拉,拉格朗日方程,）,当 、自由时，还有横截条件,（当 和 时）,3,、,求解动态系统的最优控制是一个求取有约束条件的泛函极值问 题。系统的状态方程就是状态变量要满足的一个约束方程，即,设系统状态方程为 ，性能指标为 ，初始状态 给定，终端状态 满足向量约束方程,（包括 给定的情况）。,4,、,则由变分法可得下面的结果：,其中，称为哈密顿函数。,（,1,）终端时刻 给定时，取极值的必要条件为,（横截条件）,（控制方程）,正则方程有 个变量，积分时要 个边界条件，初始条件 给定时提供了 个边界条件，若 也完全给定则又提供了 个边界条件，这时可不需要横截条件，见例,5-3,。,当 自由或部分分量自由就要靠横截条件来提供缺少的边界条件，见例,5-4,。,（,2,）终端条件 自由，取极值的必要条件与 给定时的不同处，仅在于多一个求最优终端时刻的条件,（,5-57,）,5,、,用经典变分法求解最优控制时，假定 不受限制，为任意，故得出控制方程,不满足这种情况时，要用极小值原理或动态规划求解。这些内容在下面的章节中介绍。,作业1,1,、试求从（,0,1,）引向直线,y=2-x,的最短曲线方程。（答案：,y=x+1,）,作业1,