第二章 维纳滤波和卡尔曼滤波.ppt

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,*,系统的期望输出：,。,滤波的目的：,为了得到不含噪声的信号 。称期望信号。,系统实际输出：,。,第二章维纳滤波和卡尔曼滤波,2.1,引言,观测数据，信号，噪声,图,2.1.1,观测信号的组成,图,2.1.2,信号处理的一般模型,1,平滑或内插：,根据过去的观测值 ，估计过去的信号值。,滤波：,已知当前和过去的观测值 ，估计当前的信号。,预测：,已知过去的观测值，估计当前及以后时刻的信号值。,维纳滤波（,Wiener,）和卡尔曼滤波,(,Kalman,),解决从噪声中提取信号的,滤波或预测,问题，并以估计的结果与真值之间的误差均方值最小作为最佳准则。,维纳滤波的思想是,20,世纪,40,年代初提出的，,1949,年正式以书的形式出版。,卡尔曼滤波是,20,世纪,60,年代由卡尔曼提出的。,2,(1),维纳滤波,根据估计信号的当前值，它的解以系统的,系统函数或单位脉冲响应,形式给出。这种系统常称为最佳线性滤波器。,卡尔曼滤波,用前一个估计值和最近一个观察数据来估计信号当前值，它用状态方程和递推的方法进行估计，它的,解以估计值,（常是状态变量值）形式给出。系统常称为线性最优估计器。,(2),维纳滤波,只适用于平稳随机过程,；,卡尔曼滤波,适用于平稳和非平稳随机过程。,(3),维纳滤波,设计时要已知信号与噪声的统计分布规律。,卡尔曼滤波,设计时要求已知状态方程和量测方程。,共同点：,都解决最佳线性滤波和预测问题，都以均方误差最小为最优准则，平稳条件下它们得到的稳态结果一致。,维纳滤波和卡尔曼滤波比较：,不同点：,3,通信的信道均衡器,在通信系统中，为了在接收端补偿信道传输引入的各种畸变，在对接收信号进行检测之前，通过一个滤波器对信道失真进行校正，这个滤波器称为信道均衡器。,图,2.1.3,信道均衡器的结构示意,来自于实际的对,Wiener,滤波器的几个应用实例：,4,发送端发送序列,系统辨识,有一个系统是未知的，设计一个线性滤波器尽可能精确的逼近这个未知系统，,Wiener,滤波器实现一个,统计意义上最优,的对未知系统的逼近。,经信道传输后，接收端的滤波器输入信号，可能,包含畸变，加性噪声，多径效应,期望信号，,尽量确定,Wiener,滤波器系数，使 尽可能逼近 即,，也就是使估计误差 的均方值最小，（均方误差最小准则）,5,图,2.1.4,线性系统辨识的结构,是,Wiener,滤波器的期望响应，使 与 间的估计误差的均方值最小。,6,最优线性预测,通过一个随机信号已存在的数据,来预测一个新值 ，这是一步,前向线性预测,问题。由 的线性组合得到对 的最优估计，相当于设计一个,FIR,滤波器对 进行线性运算，来估计期望响应 ，,Wiener,滤波器可以用于设计均方误差最小的最优预测器。,阵列波束形成，图象编码,7,假设滤波系统 是一个线性时不变系统，它的 和输入信号都是复函数，设,维纳滤波器设计的任务就是选择,使其输出信号 与期望信号误差的均方值最小，实质是解维纳霍夫方程。,2.2,维纳滤波器的离散形式时域解,2.2.1,维纳滤波器时域求解的方法,考虑系统的因果性，可得到滤波器的输出,8,设期望信号 ，误差信号 及其均方误差 分别为,要使均方误差为最小，需满足：,这里，表示 ，用 ，表示 ，。,9,由于 是一标量，因此上式是一个标量对复函数,求导的问题，等价于,记,则 式可写为,10,得,将上式展开,由于,11,将如上各项代入 表达式，整理得：,因此,等价于,上式说明，均方误差达到最小值的充要条件是误差信号与任一进入估计的输入信号正交，这就是,正交性原理,。,下面计算输出信号与误差信号的互相关函数,12,可见，在滤波器工作于最佳状态时，输出和误差信号也是正交的。,假定滤波器工作于最佳状态，滤波器的输出 与期望信号 的误差为 ，则,2.2.2,维纳,-,霍夫方程,将 展开，得,整理得,13,对两边取共轭，并利用相关函数的性质,得,此式称为,维纳,-,霍夫,(Wiener-,Hopf,),方程,。解此方程可得到最优权系数 ，此式是,Wiener,滤波器的一般方程，根据权系数是有限个还是无限个可以分别设计,IIR,型和,FIR,型,Wiener,滤波器。,FIR,滤波器,是一个长度为,M,的因果序列,(,即 是一个长度为,M,的,FIR,滤波器,),时，维纳,-,霍夫方程表述为,把 的取值代入上式，得,14,则维纳,-,霍夫方程可写成矩阵形式,时,时,定义,对上式求逆，得,时,15,此式表明，,已知期望信号与观测数据的互相关函数及观测数据的自相关函数,时，可以通过矩阵求逆运算，得到维纳滤波器的最佳解。,同时可以看到，直接从时域求解维纳滤波器，并不是一个有效的方法，当,较大时，计算量很大，并需计算 ，从而要求存储量也很大。另外，具体实现时，滤波器的长度由实验确定，增加，需在新 基础上重新计算。,维纳,-,霍夫方程矩阵形式,16,2.2.3 FIR,型,Wiener,滤波器的最小均方误差,设所研究的信号是零均值的，滤波器为,FIR,型，长度等于,M,，则,17,将 代入得,:,18,经过了一个通信信道，信道的传输函数 ，在信道输出端加入了白噪声 ，通道模型如图，传输函数,信道输出 ，假定 与 ，与 不相关，并都是实信号。,在接收端设计一个长度为,2,的,FIR,结构的,Wiener,滤波器，目的是由 恢复出 。,例,:,设期望响应 是一个 过程，参数 ，激励白噪声 的方差 ，由白噪声驱动的产生该过程的传输函数为,19,时域求解,Wiener,滤波器很困难，用,Z,域求解。又因为实际的系统是因果的，维纳,-,霍夫方程有个 的约束条件，所以不能直接转入,Z,域求解它的 。,这是因为输入信号与期望信号的互相关序列是一个因果序列。,这里我们利用将 加以白化的方法来求维纳,-,霍夫方程的,Z,域解,(,由波德,(Bode),和香农,(Shannon),首先提出的方法,),。,2.3,离散维纳滤波的,Z,域解,是一个因果,(,物理可实现,),的最小相位系统。,把信号转化为白噪声的过程称为白化。,白化滤波器,20,设计维纳滤波器的问题可转化为求 的问题。,2.3.1,非因果维纳滤波器的求解,该信号为实信号。是 的逆,Z,变换。,21,要使均方误差最小，当且仅当,因此 的最佳值为,22,两边取,Z,变换,非因果维纳滤波器的最佳解为,因为 ，且 根据相关卷积定理，得,两边取,Z,变换,23,代入,假定信号与噪声不相关，即 ，有,两边取,Z,变换，得,代入 表达式，得,24,代入 式，非因果维纳滤波器的复频域最佳解,非因果维纳滤波器的频率响应为,幅频特性,25,推导滤波器的最小均方误差,(,信号不失真，因为没有噪声,),有误差，误差是由于信号谱和噪声谱交叉造成。信噪比 越小，,越小,噪声全部被抑制掉，因此维纳滤波器有滤除噪声的能力,根据围线积分求逆,Z,变换的公式，得,26,同理,由帕塞伐尔定理,取 有,把 ，代入 公式，得,27,将 代入上式，得,因为实信号的自相关函数是偶函数，即 ，因此,假定,信号与噪声不相关,，即 ，则,可见，维纳滤波的最小均方误差不仅与输入信号的功率谱,28,有关，而且与信号和噪声的功率谱的乘积有关。也就是说，最小均方误差与信号和噪声功率谱的重叠部分的大小有关。,若维纳滤波器是一个因果滤波器，要求,2.3.2,因果维纳滤波器的求解,则滤波器输出,估计误差的均方值,类似于前面的推导，得,29,令,又由于 得,要使均方误差最小，当且仅当,30,所以,因果维纳滤波器的复频域最佳解为,维纳滤波的最小均方误差为,31,非因果情况,因果情况,由于 取值不同，可说明非因果情况的 一定小于等于因果情况 。,具体计算中，可选单位圆作为积分曲线，应用留数定理，,计算积分函数在单位圆内的极点的留数来求得 。,32,因果滤波器的设计步骤：,（,1,）根据观测信号 的功率谱求出它所对应的信号模型的传输函数，即采用,谱分解,的方法得到 。具体方法为 。把单位圆内的极零点分配给 ，单位圆外的极零点分配给 ，系数分配给 。,（,2,）求 的,Z,反变换，取其因果部分再做,Z,变换，即舍掉单位圆外的极点，得 。,（,3,）积分曲线取单位圆，应用 和 计算公式，计算 和 。,33,例,:,已知,信号和噪声不相关,即 ，,噪声 零均值，单位功率的白噪声 ，求 和 。,解：根据自噪声特点得出 ，由信号和噪声不相关得,两边取,Z,变换，代入已知条件，对 进行功率谱分解：,34,必须为因果稳定的系统，得,分析物理可实现情况,令,35,的极点为,0.8,和,2,，考虑因果性，稳定性，仅取单位圆内的极点 ，为 的,Z,反变换，应用留数定理，有,取 的因果部分,36,取单位圆为积分围线，上式等于单位圆内极点 及 的留数之和，即,求,37,未经滤波器的均方误差,（,2,）对于非物理可实现情况,应用留数定理，有,可以看出，非物理可实现情况的最小均方误差小于物理可实现情况的均方误差。,38,已知：。,P,个以前时刻的观测值,估计：。当前，未来时刻的信号值。,估计准则：均方误差最小。,信号为什么是可以预测的？,信号内部存在关联性。,数据间关联越密切，预测愈准确；完全不关联，则无法预测。,周期信号关联性强，从一个周期可完全无误地预测出以后的信号。,2.4,维纳预测,39,自噪声：前后数据不相关，无法预测。,平稳信号：均值为常数，自相关函数只与时间间隔有关，说明信号内部是关联的，可以预测。但预测越远时刻的信号，误差越大，因为关联性越差。,系统具有惯性。,输入无关联信号，输出一个关联信号（非白色的信号）。表明系统是有惯性的。,因此，随机信号之所以能够预测，在于信号存在某些统计上的规律，预测正是利用这些规律，因而不能做到精确预测，使预测误差等于,0,，但可从统计意义上做到最优。这里使预测,具有有理谱密度,40,误差的均方值最小,作为,最优的标准,。,预测滤波：,考虑实际获得的信号是带噪声干扰的，这时预测和滤波紧密相连，成为带滤波的预测。,纯预测：,不考虑噪声干扰的预测，或不带滤波的预测。,2.4.1,维纳预测的计算,维纳滤波的最佳解为,维纳预测器，输出信号 ，预测误差,41,要使预测误差均方值为最小，需满足,非因果维纳预测器的最佳解为,因果维纳预测器的最佳解为,观测数据与期望输出的互相关函数和互功率谱密度为：,42,可见，维纳预测和维纳滤波器的求解方法是一致的。,2.4.2,纯预测,假设 ，且 ，故 ，期望信号为 ，,假定维纳预测器是因果的,。,维纳预测器的最小均方误差为,因果纯预测器的最佳解为,43,应用帕塞伐尔定理：,纯预测器的最小均方误差为,取,44,可见，随着,N,增加，也增加。预测距离越远，预测效果越差。,例,2.4.1,，已知 ，其中 ，,求（,1,）最小均方误差下的 ；（,2,）。,考虑 是因果系统,45,解：,对 进行谱分解,求 的,Z,反变换,应用,Z,变换的性质，得：,46,最小均方误差：,它说明，,N,越大，误差越大。如果,N,0,则没有误差。,47,又，将通过纯预测维纳滤波器，得,根据 的信号模型,此时，可把纯预测的维纳滤波器看作一个线性比例放大器。,当,当,当,可得,含义？,48,由此可见，的结果相当于认为 时刻，因而仅由 的惯性就能完全决定估计值 。此时,从统计意义上讲，当 时，白噪声信号 对,无影响。,以上结论可推广，对于任何均值为零的 ，要估计 时，,只需考虑 的惯性,，即可认为 ，这样估计出来的结果将有,最小均方误差,。,49,2.4.3,一步线性预测的时域解,表示一个,信号的功率谱在单位圆上没有极点与信号均值等于零等价,，因此对于功率谱在单位圆上没有极点的信号，要估计 时，可认为 ，即仅需要考虑 的惯性，这样估计出来的结果将有最小均方误差。,一步线性预测：,假设 ，已知，,预测 。,终值定理,时域求解利用正交原理。,50,令 ，则,要使均方误差为最小值，要求,预测误差,其中,系统,输出信号,51,同维纳滤波器的推导过程一样，可以得到,代入 可得,由于预测器的输出 是输入信号的线性组合，可得,此式说明，误差信号与输入信号正交。,此式说明，预测误差与预测的信号正交。,52,预测误差的最小均方值,得联立方程组,53,写成矩阵形式,除了第一个方程外，其余都是齐次方程,与维纳,-,霍夫方程相比，不需要知道观测数据 与期望信号 的互相关函数。,这就是著名的,Yule-Walker,方程,。,该方程组共,P+1,个方程，可确定 和 共,P+1,个未知数。,可用,Levinson-Durbin(,莱文森,-,杜宾,),递推算法求得。,54,是测量引入的白噪声，通过各的值估计。这类最优估计问题称为卡尔曼滤波。,例如：对一个一阶,AR,模型 ，的输出状态进行估计。,观测方程是,2.5,卡尔曼,(,Kalman,),滤波,在信号处理，通信和现代控制系统中，需要对一个随机动态系统的状态进行估计，由一个测量装置对系统状态进行测量，通过记录的测量值对状态进行最优估计。,卡尔曼滤波用前一个状态的估计值和最近一个观测数据来估计状态变量的当前值。,55,卡尔曼滤波的特点：,（,1,）算法是递推的，时域内设计滤波器，适用于多维随机过程的估计；,（,2,）用递推法计算，不需要知道全部过去的值。用状态方程描述状态变量的动态变化规律，因此，信号可以是平稳的，也可以是非平稳的；,（,3,）误差准则仍为均方误差最小准则。,56,：时间，指第步迭代时，相应信号的取值,假设某系统时刻的状态变量为 ，状态方程和量测方程（也称为输出方程），表示为,2.5.1,卡尔曼滤波的状态方程和量测方程,：第,K,步迭代时，状态变量与输出信号之间的增益,：白噪声,：第步迭代时，状态变量之间的增益矩阵，可,以随时间变化（非平稳随机过程）,矩阵，可随时间变化,57,图卡尔曼滤波器的信号模型,其中，状态变量，,表示输入信号，是白噪声,观测噪声，,观测数据,状态方程中用代替，得状态方程和量测方程,58,为推导简化，假设,A,不随时间变化，都是,均值为零的正态白噪声,，方差分别为 和 。初始状态与 都不相关，表示相关系数。即,其中,59,基本思想,：先不考虑输入信号 和观测噪声 的影响，得到状态变量和输出信号（即观测数据）的估计值，再用输出信号的估计误差加权后校正状态变量的估计值，使,状态变量估计误差的均方值最小,。卡尔曼滤波的关键是计算加权矩阵的最佳值。,当不考虑 和 时，状态方程和量测方程为,2.5.2,卡尔曼滤波的递推算法,输出信号的误差 （由于不考虑噪声，输出信号估计值与实际值有误差）,60,为了提高状态变量的估计质量，用输出信号的估计误差 来校正状态变量的估计值。,其中，为增益矩阵，实质是一加权矩阵。,校正后的状态变量的估计误差用 表示，误差的均方值用 表示，未经校正的状态变量的估计误差的均方值用 表示,卡尔曼滤波的任务：,选择合适的 ，使 取得最小值,。,61,下边推导 和 ，计算 的均方值 ，化简 ，得到一组卡尔曼滤波的递推公式。,62,由三部分组成，可记为,其中,则状态变量的估计误差的均方值 由,9,项组成。,63,所以 仅依赖于 ，与 不相关，即,化简,增益,A,不随时间变化，初始状态 ，可递推得它的解。,64,所以 仅依赖于 ，而与 ，不相关，即,又由于,与 互不相关，即,中的,9,项可分别化简为,65,66,因此，仅有三项不为零。,为进一步化简 ，推导,67,其中，是正定阵，记,将 代入 表达式，得,令,68,第二项和第三项与 无关，第一项为一半正定阵，因此使 最小的 应满足,将 代入 ，得最小均方误差阵,69,联立各方程，得到一组,卡尔曼滤波递推公式,假设初始条件已知，其中,，递推流程如下,70,71,结论：,卡尔曼滤波在稳态时与维纳滤波有相同的结果，这是因为它们都是以最小均方误差为准则的线性估计器。,卡尔曼滤波有一个过渡过程，其结果与维纳滤波不完全相同，但达到稳态后，结果相同。,72,