系统辨识的基本概念和随机过程.ppt

,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,系统辨识,2,第,1,章,系 统 辨 识 的 基 本 概 念,1.1,系统辨识学科的发展,1.2,过程和模型,1.3,辨识的定义,1.4,辨识算法的基本原理,1.5,辨识的内容和步骤,1.6,辨识的应用,3,4,系统辨识学科的发展,系统辨识是近几十年来发展起来的新兴科学，所涉及理论基础广泛，内容丰富，工程应用性强。,系统辨识是利用系统运行或实验过程中获取的系统输入,-,输出数据求得系统数学模型（传递函数）的方法和技术。是人们对客观实际系统对象（控制对象）的认识由表及里、去粗求精，从定性到定量获取系统内在规律和特征的定量化关系的过程。这些定量化关系反映反映系统本质特征，这些定量化关系就是系统的数学模型。,因此，系统辨识是自动控制理论切实应用到实际中去的不可缺少的手段和工具。,5,系统辩识的先导性工作可以追溯到,16,世纪德国天文学家开普勒和德国数学家高斯的工作，他们分别根据观测数据，建立了行星运动的数学模型。,1960,在莫斯科召开的国际自动控制联合会学术会议（,IFAC,，,International Federation of Automation Control,）上，系统辨识问题受到人们的普遍重视，但提交的论文不多。此后，有关论文和学术交流迅速增加，成为后二十年来最活跃的一个自动控制领域。,1967,年起，,IFAC,决定每三年举办一次国际,“,辨识和系统参数估计,”,专题讨论会，第八界学术讨论是,1988,在北京举办的，一次提交论文就在,600,之多，录用,480,篇。,国内,“,系统辨识,”,学科研究起步于,1975,年左右。,1980,年，发行第一本教课书,“,系统与参数估计,”,，现在已有几十种版本的教课书和专论陆续出版，在重点大学的自控专业都开设了,“,系统辨识,”,课程。,Gauss,（高斯）,在,1795,年首次用最小二乘法,(least-squares method),计算行星轨道。,Markov,继续完善了,Gauss,的工作，证明了最小二乘估计是最优线性无偏估计（,BLUE,）。,Ljung,等,Prediction error methods,如果扰动不是白噪声，则最小二乘法不再适用。瑞典的,Ljung,等人从,1970,年代开始发展出,prediction error,方法，它能够在有色噪声情形的情况下，给出参数的一致估计。目前，该类方法是系统辨识的主流方法。,Ljung,的专著“,System Identification:Theory for the User”,是本领域的经典著作。,Ljung,主持编写的,Matlab System Identification Toolbox,是本领域最好的工具箱。,Torsten Sderstrm at al:,Instrumental Variable Methods,如果扰动不是白噪声，则最小二乘法不再适用。但我们可以假设扰动与输入不相关，这在开环运行的情况下是完全合理的。在这种假设下，可以用,Instrumental Variable,（辅助变量）法估计模型参数。该类方法计算量较小，但是不像,prediction error,方法那样能够同时得到噪声模型。,瑞典的,Soderstrom&Stoica,的专著“,System Identification”,和“,Instrumental Variable Methods for System Identification”,是该领域的经典著作。,Peter van Cverschee,Bart De Moor,等,子空间辨识,1990,年代，为了克服,PEM,针对多变量系统辨识时需要进行非线性优化，以及,IV,不能同时辨识出噪声模型的缺点。,Bart De Moor,Verhaegen,等提出了针对多变量系统的,Subspace Identification Methods,。该类方法不是基于优化某个,criterion,，主要用到矩阵的奇异值分解，无需非线性优化，因而计算量较小。,Goodwin,Chen,等：鲁棒辨识,1990,年代末，随着鲁棒控制，特别是,H-,无穷控制的发展。控制界需要适用于鲁棒控制的系统模型。鲁棒辨识完全舍弃了扰动为随机噪声的假设，而假设扰动在某个区间范围内。因此，辨识得到的模型是（确定论的）模型族，而不是单个模型。,Chen,等的“,Control-oriented system identification:an H-infinity approach”,是本领域的第一本专著。,11,促进系统辨识蓬勃发展的主要原因有：,（,1,）自动控制学科发展和其他诸多学科发展的需要。,随着控制理论向更深更广的方向发展，控制策略对控制对象的了解依赖性越来越强，控制精度，控制指标的提高。例如,“,自适应控制,”,、鲁棒控制,”,。另外，由于被控对象越来越复杂，例如,“,变参数对象的控制,”,，使得原来控制理论中讲述的建立在先验知识、定律、定理上的建模方法远不能适应实际系统的要求。,系统越复杂，系统模型的地位越来越重要。再好的控制理论和控制策略离开了系统数学模型，只能成为空中楼阁，无用武之地。而系统分析、综合，预测都离不开数学模型。,所以，系统建模是系统分析的基础，系统辨识是自动控制系统设计和分析必不可少的先导环节。,12,（2）其他学科发展的需要。,数学模型不仅仅是自动控制理论分析基础，同样是其他学科理论分析的基础，如机械性能分析、疲劳、损伤、故障诊断、信号分析、气象预报、大气环境等等。近几十年来，其他原来关注定性分析的学科，如社会学、经济学、企业战略以及人力资源、市场经济、预测等也都离不开数学模型了。因此，自动控制系统辨识知识也能为其他学科共用。系统辨识有广泛的应用领域。,（3）计算机技术快速发展。,计算机运算速度越来越快，建模分析软件功能越来越强大，使得系统辨识的各种复杂算法能付诸于实践和实际系统建模应用。,系统辨识当前发展的新热点,*非线性系统辨识（机器人）；,*快时变与有缺陷样本的辨识；,*生命、生态系统的辨识；,*辨识的专家系统与智能化软件包的开发；,*基于模糊理论、神经网络、小波变换的辨识方法；,*系统辨识与人工智能、人工生命、图象处理、网络技术和多媒体技术的结合。,14,本课程内容,第一章 绪论,第二章 数学基础知识,随机过程,第三章 经典辨识方法,第四章 最小二乘类辨识方法,第五章 梯度校正辨识方法,第六章 极大似然法和预报误差法,第七章 模型阶次的确定,第八章 闭环辨识方法,15,代表性人物与参考书：,国外,瑞典,Linkoping,大学,Karl J.Astrom,教授,瑞典,Linkoping,大学,Lennart Ljung,教授（英文版）,国内,方崇智、肖德云，,过程辨识,，清华大学出版社（,TP13/88,）,韩光文，系统辩识，华中理工大学出版社,夏天长，,最小二乘法,，,清华,/,国防出版社（,TP11/16,TP11/46,）,MATLAB-ID TOOL BOX,参考书目,16,顾幸生，刘漫丹，张凌波，现代控制理论及应用，上海：华东理工大学出版社，。,方崇智，萧德云,过程辨识，北京：清华大学出版社，1994.,Ljung,Lennart，System identificationtheory for the user，北京:Tsinghua University Press,2002.,Pintelon,R，System identification，New York:IEEE Press,2001.,N.K.Sinha&B.Kuszta，Modeling and identification of dynamic systems，New York:Van Nostrand Reinhold,1983.,李鹏波，系统辨识，北京：中国水利水电出版社，,李言俊,张 科，系统辨识理论及应用，北京：国防工业出版社，2003,17,1.2,过程和模型,过程,(Process),一个含义非常广泛的概念,通常泛指具有时间或空间上的跨度的对象,具体的如：,工程系统、生物系统或社会经济系统都可以称为过程,18,在系统辨识中,所考虑的主要是工业控制过程,化工过程,石油加工过程,冶金过程,生化过程,制药过程,发电厂,19,在实际工业过程中,由于工艺过程复杂性通常难以通过机理分析建立精确的数学模型,但如果仅仅关心过程的输入特性,可以将过程视为,“,黑箱,”,根据,“,黑箱,”,的输入输出特性建立输入输出模型,这正是系统辨识的出发点,20,模型（,Model,）,模型,指过程运动规律的本质描述,按模型的描述形式分类,（,1,）直觉模型,（,2,）物理模型,（,3,）图表模型,（,4,）数学模型,21,（,1,）直觉模型,指过程的特性以非解析的形式直接存储在人脑中靠人的直觉控制过程地进行,如司机就是靠,“,直觉模型,”,来控制汽车的方向盘。,（,2,）物理模型,实际过程的一种物理模拟,如风洞,水力学模型,传热学模型,电力系统动态模拟,22,山西省柏叶口水库溢洪道水力学模型,23,24,25,（,3,）图表模型,以图形式或表格的形式来表现过程的特性,阶跃响应,脉冲响应,也称非参数模型,26,（,4,）数学模型,用数学结构的形式来反映实际过程的行为特点,代数方程,微分方程,差分方程,状态方程,27,28,代数方程：经济学上的,Cobb-Douglas,生产关系模型,其中,Y,为产值，,L,为劳动力，,K,为资本。,微分方程,29,30,差分方程,即,31,根据模型的特性,数学模型又可以分为,线性和非线性模型,系统线性与关于参数空间线性,本质线性与本质非线性,动态和静态模型,确定性和随机性模型,宏观（积分方程）和微观（微分方程）模型等,线性系统模型,32,非线性系统,33,线性随机系统模型,34,35,36,37,建立过程数学模型的两种主要方法,机理分析法,测试法,38,（,1,）机理分析法,通过分析过程的运动规律、应用一些已知的规律、定理和与原理,如：化学动力学原理、生物学定律、牛顿定理、物料平衡方程、能量平衡方程和传质传热原理等,建立过程的数学模型，这种方法也称为,理论建模,39,（,2,）测试法,辨识方法,利用输入输出数据所提供的信息来建立过程的数学模型,白箱,理论建模,黑箱,辨识建模,灰箱,理论建模与辨识建模结合,40,41,在建模过程，要遵循的基本原则,（,1,）目的性,-,明确建模的目的,（,2,）实在性,-,模型的物理概念要明确,（,3,）可辨识,-,模型结构要合理，输入信号必须持续激励，数据要充足,（,4,）悭吝性（节省原理）,-,待辨识的模型参数个数要尽可能少,42,1.3,辨识的定义,Zadeh,定义（,1962,年）,“,辨识就是在输入输出数据的基础上，从一组给定的模型类中，确定一个与所测系统等价的模型,”,在这个定义中，包含了辨识的三大要素,（,1,）输入输出数据,（,2,）模型类,（,3,）等价准则,43,其中,数据,辨识的基础,准则,辨识的优化目标,模型类,寻找模型的范围,44,实际中,要找到与所测系统等价的模型通常是非常困难的,1978,年，,L.Ljung,定义,“,辨识有三个要素,-,数据、模型类和准则，辨识就是按照一个准则在一组模型类中选择一个与数据拟合得最好的模型,”,45,如：热交换器建模,1 经典系统分析的回顾,一个含义非常广泛的概念,若移位寄存器的初始状态为 1010,4 辨识算法的基本原理,线性离散模型的数学表达形式,变化过程可以用一个或几个时间t的确定函数来描述。,进行模型参数和结构辨识,系统辨识不可缺少的步骤,、应为经过零均值化处理后的数据,h(k)-模型输入，z(k)-输出,即 是多项式 的一个因子,（1）自动控制学科发展和其他诸多学科发展的需要。,线性离散模型的数学表达形式,2 平稳随机过程的特点,所考虑的主要是工业控制过程,(3)均方值函数:2X(n)=EX2n,从而获得了所需要的数学模型,表示两个随机过程是不相关（正交的随机过程）,46,建立热交换器的数学模型,即建立,T/Q,模型,经观测得到一组输入输出数据，记作,Q(k),和,T(k),，同时选定一组模型类,47,一个等价准则,48,所谓热交换器的蒸汽流量,Q,热水温度,T,通道的数学模型辨识问题,根据所观测到的数据,Q(k),和,T(k),从模型类（,1,）式中，寻找一个模型,即方程（,1,）式中的未知参数,n,及 ，,使,J=min,49,1.4,辨识算法的基本原理,线性离散模型的数学表达形式,h(k)-,模型输入，,z(k)-,输出,e(k)-,表示噪声，,-,未知模型参数,模型输入,h(k),和输出,z(k),是可以测量的,h(k),+,e(k),50,记为,则线性离散模型的输出可表示成,上式称作,最小二乘格式,那么必定存在一个渐近稳定的线性环节,5 辨识的内容和步骤,则 n，d 为模型的结构参数,的占1/8，即 个,（3）增加辨识中使用的数据长度，若损失函数不再显著下降，则模型是可靠的。,其中Y为产值，L为劳动力，K为资本。,试求下列均匀概率密度函数的数学期望和方差。,（4）数学模型 用数学结构的形式来反映实际过程的行为特点,线性离散模型的数学表达形式,也不能太小，否则数据所含的信息量将下降直接影响辨识的精度,即一定是不可分解的多项式,当随机变量x的取值个数是有限的或可数无穷个时，则称它为离散随机变量；,若移位寄存器的初始状态为 1010,在这种假设下，可以用Instrumental Variable（辅助变量）法估计模型参数。,（2）与模型最终应用时的采样时间保持一致,51,辨识的目的,根据过程提供的测量信息,在某种准则意义下,估计模型的未知参数,52,辨识算法的基本原理,53,通常,采用逼近的方法获得模型参数 的估计值,根据 时刻的估计参数 计算出在 时刻的模型输出,即过程输出预报值,54,同时计算输出预报误差,即新息,然后将新息反馈到辨识算法中，计算出 时刻的估计参数 ，更新模型参数,然后再进行 时刻的计算,这样反复迭代下去，直到对应的准则函数最小,55,这时,在该准则意义下最好地逼近了输出,从而获得了所需要的数学模型,辨识算法的选择是系统辨识的关键,上述辨识算法的基本原理,可以类似的推广到多输入,多输出过程,56,1.5,辨识的内容和步骤,根据现场情况,辨识可以分为,离线辨识,在线辨识,57,离线辨识,在线辨识,58,辨识的内容主要包括,（,1,）试验设计,（,2,）模型结构辨识,（,3,）模型参数辨识,（,4,）模型检验,59,对于一种给定的辨识方法，从实验设计到获得最终模型，一般经历以下一些步骤,根据辨识目的，利用先验知识，初步确立模型结构,采集数据,进行模型参数和结构辨识,验证获得最终模型,这些步骤是紧密相关而不是孤立的,60,各步骤所要做的部分工作,确定辨识目的与辨识精度的要求,实验设计,数据预处理,61,62,1.,确定辨识目的与辨识精度的要求,下表给出了一些简单的例子,表,1,辨识目的对辨识精度的要求,63,2.,实验设计,实验设计包括,输入信号选择，要求充分激励，具有较好的,“,优良性,”,，即最优设计问题,采样时间的选择,辨识时间（数据长度）,开环或闭环辨识,离线或在线辨识,64,工程上应注意,（,1,）输入信号的功率或幅度,不宜过大，以免工况进入非线性区,也不能太小，否则数据所含的信息量将下降直接影响辨识的精度,（,2,）输入信号对过程的,“,净扰动,”,要小,即正负向扰动机会几乎均等,（,3,）工程上易于实现，成本低,65,采样时间的选择,（,1,）起码要满足,香农采样定理,即采样速度不低于信号截止频率的两倍,（,2,）与模型最终应用时的采样时间保持一致,并且尽量顾及辨识算法、控制算法的计算速度和执行机构、检测元件的响应速度等问题,66,（,3,）如果采样时间太长,信号的信息量损失太多，将直接影响模型的精度有些高阶的过程也会退化成低阶的模型大大降低模型的性能,若采样时间太小,可能会碰到硬件速度和数值出现病态，还会显著影响静态增益的估计值,67,工程上一般选择,-,采样时间,-,过程阶跃响应达到,95%,的调节时间,68,3.,数据预处理,输入输出数据通常都含有直流成分或低频成分,用任何方法都无法消除它们对辨识精度的影响,此外，数据中的高频成分对辨识也是不利的,因此，一般都要对数据进行零均值化和剔除高频成分的预处理,处理得当可以提高辨识的精度,69,零均值化,设 ，为实际观测到的输入、输出数据,则零均值化后的数据为,，分别为输入、输出数据的直流分量,70,实际中,由于 ，不知道，上式没有实用价值，采用的方法有,（,1,）差分法,（,2,）平均法,71,（,1,）差分法,若采用差分方程形式描述辨识模型,、应为经过零均值化处理后的数据,但实际观测到的数据是 和,72,，不知道,这样采用,其中,73,，不含直流分量,可以直接利用 ，进行辨识,此时噪声 性质也改变了,74,（,2,）平均法,，,-,表示 时刻直流含量的估计值,75,这样,76,剔除高频,采用低通稳波器，剔除数据中的高频成分,-,采样时间,-,过程时间常数,77,4.,模型结构辨识,模型结构辨识包括,模型验前结构的假定,模型结构参数的确定,78,模型验前结构的假定,根据辨识目的，利用先验知识，确定所要辨识的对象的验前假定模型，首先要明确所要建立的模型,静态或者动态的,连续或者离散的,是线性或者非线性的,是参数模型或者非参数模型等等,79,模型结构参数的确定,在假定模型验前结构的前提下，利用辨识的方法确定模型结构参数,80,例如,令模型结构为,其中,则,n,，,d,为模型的结构参数,81,5.,模型参数辨识,当模型结构确定后，就要进行模型参数辨识,针对前面的例子，就是确定 ，,82,6.,模型验证,模型验证,系统辨识不可缺少的步骤,在验证中必须注意到,辨识得到的模型只能是近似的，不能期望能成为找到一个和实际过程完全一致的模型。,最后检验模型的标准是模型的实际应用效果。,83,模型验证方法,（,1,）利用在不同时间区段内采集的数据，分别建立模型，,如果模型的特性（零极点分布）基本相符，则模型是可靠的。,（,2,）利用两组不同的数据，独立辨识的模型，并分别计算它们的损失函数，然后将两组数据进行交叉使用，再计算出各自的损失函数，,若对应的损失函数没有明显变化，则模型是可靠的。,84,（,3,）增加辨识中使用的数据长度，,若损失函数不再显著下降，则模型是可靠的。,（,4,）检验模型与过程输出残差序列 的白色性，,若残差序列 可以视为零均值的白噪声序列，则认为模型是可靠的。,1.6,辨识的应用,控制系统的分析与设计,在线控制,天气、水文、人口、能源、客流量的预报预测,工况监测、故障检测与诊断,。,85,86,第,2,章 随机信号的描述与分析,2.1,引言,2.2,随机过程一般描述,2.3,平稳随机过程,2.4,平稳随机过程的相关函数与功率谱,2.5,高斯过程,2.6,随机过程通过线性系统,2.7,白噪声,2.8,伪随机码的产生及其性质,87,2.1,引 言,自然界中事物的变化过程,确定性过程,变化过程可以用一个或几个时间,t,的确定函数来描述。,随机过程,变化的过程不可能用一个或几个时间,t,的确定函数来描述。,88,2.2,随机过程的一般描述,描述随机信号的数学工具是,随机过程,。,随机过程的数学定义,：,设随机试验,E,的可能结果为,(t),，试验的样本空间,S,为,x,1,(t),x,2,(t),，,x,n,(t),，,x,i,(t),是第,i,次试验的样本函数或实现，每次试验得到一个样本函数，所有可能出现的结果的总体就构成一随机过程，记作,(t),。,两层含义：,随机过程,(,t,),在任一时刻都是随机变量；,随机过程,(,t,),是大量样本函数的集合。,89,随机过程,：无穷多个随机函数的总体在统计学中称作一个,随机函数的总集,（又称随机过程）,90,其一，它是一个时间函数；,其二，在固定的某一观察时刻,t,1,，,(,t,1,),是随机变量。,随机过程具有随机变量和时间函数的特点。,随机过程,(,t,),在任一时刻都是随机变量；,随机过程,(,t,),是大量样本函数的集合。,2.2.1,随机过程基本特征,当随机变量,x,的取值个数是,有限,的或,可数无穷个,时，则称它为,离散随机变量,；否则，就称它为,连续随机变量,，即可能的取值充满某一有限或无限区间。,91,2.2.2,随机过程的统计描述,1,随机过程的概率分布函数和概率密度函数,设,(t),表示一个随机过程，在任意给定的时刻,t,1,T,，其取值,(t,1,),是一个一维随机变量。,一维分布函数,：随机变量,(t,1,),小于或等于某一数值,x,1,的概率,即：,F,1,(,x,1,t,1,)=P,(t,1,）,x,1,为随机过程,(t),的,一维,分布函数。,一维概率密度函数,随机过程的,一维分布函数（,或一维概率密度函数）仅仅描述了随机过程在各个,孤立时刻,的统计特性。,92,任给两个时刻,t,1,t,2,T,，则随机变量,(t,1,),和,(t,2,),构成一个,二元随机变量,(t,1,),(t,2,),，,把两个事件,(,(t,1,),x,1,),和,(,(t,2,),x,2,),同时出现的概率,定义为二维随机过程,(t),的,二维分布函数。,F,2,(,x,1,x,2,;t,1,t,2,)=P,(t,1,),x,1,(t,2,),x,2,二维概率密度函数,二维分布函数,n,维分布函数,F,n,(,x,1,x,n,;,t,1,t,n,)=P,(,t,1,),x,1,(,t,n,),x,n,n,维概率密度函数,93,2.,随机过程的数字特征,随机过程的一维数字特征,数学期望,设,P,(,x,i,)(,i,=1,2,K,),是,离散,随机过程,(t),的取值,x,i,的概率，则其数学期望为：,对于连续随机变量,X,，设,f,(,x,),为其概率密度函数，则其数学期望为：,它本该在,t,1,时刻求得，但,t,1,是任意的，所以它是时间,t,的函数。,反映了随机过程取值的集中位置（,均值,）,94,方差：,随机过程的二维数字特征,自协方差函数,用来衡量任意两个时刻上获得的随机变量的统计相关特性,自相关函数,反映了随机过程的集中程度,95,二者关系为,如果,B,（,t,1,，,t,2,）,和,R,（,t,1,，,t,2,）,是衡量同一随机过程不同时刻的相关程度的，称为,自协方差函数,和,自相关函数,。,如果是两个或多个随机过程，用,互协方差函数,和,互相关函数,描述不同随机过程在不同时刻的相关程度。,引入时间间隔,：,自相关函数定义：,96,试求下列均匀概率密度函数的数学期望和方差。,例,自相关函数的性质：,互相关函数的性质：,如果,表示两个随机过程是不相关（正交的随机过程）,97,2.3,平稳随机过程,2.3.1,定义,对于任意的正整数,n,和任意实数,t,1,，,t,2,，,.,，,t,n,，,，随机过程,(t),的,n,维概率密度函数满足,则称,(t),为平稳随机过程（,严,平稳随机过程,或,狭义,平稳随机过程,）,.,一维概率密度函数,二维概率密度函数,平稳随机过程的数学期望,2.3.2,平稳随机过程的特点,98,平稳随机过程的方差,平稳随机过程的一维概率密度与时间无关；,二维概率密度只与时间间隔,有关；,数学期望和方差均与时间无关；,它的自相关函数只与时间间隔,有关。,推论,自相关函数,99,2.3.3,广义平稳随机过程,定义：,若随机过程,(t),的数学期望和方差与时间无关，自相关函数仅是,的函数，则称它为宽平稳随机过程或广义平稳随机过程。,各态历经性,假设 是一个平稳随机过程,该随机过程,统计平均,（数学期望）可用,时间平均,代替,100,该随机过程,统计自相关函数,可用,时间自相关函数,代替,称该平稳随机过程具有,各态历经性,（遍历性）。,“各态历经”的含义：,随机过程中的,任一实现,都经历了随机过程的所有可能状态。,该随机过程的,统计方差,可用,时间方差,代替,101,2.4,平稳随机过程的相关函数和功率谱密度,2.4.1,自相关函数的意义,平稳随机过程的,统计特性,（如数字特征等）可通过自相关,函数来描述；,自相关函数与平稳随机过程的,谱特性,有着内在的联系。,2.4.2,自相关函数主要性质,R,(0),为,(t),的,平均功率,R,(),为,偶函数,R,(0),为,R(),的,上界,R,(),为,(t),的,直流功率,R,(0)-,R,(),为,(t),的,交流功率,(,方差,),102,2.4.3,平稳随机过程的频谱特性,确定信号,f,(t),的自相关函数与其功率谱密度之间有确定的傅,立叶变换关系。,平稳随机过程,(t),的自相关函数与其功率谱密度之间也互,为傅立叶变换关系。,上式也称之为,维纳,-,辛钦定理,。,103,高斯过程,2.3.1,高斯分布概率密度函数及其特点,一维高斯分布概率密度函数,一维高斯分布概率密度函数的特点,对称于均值,a,;,a,表示分布中心，,表示集中程度,;,；,当,a=0,，,=1,时,，,称,f,(,x,),为,标准正态分布,的密度函数。,在,(-,，,a),单调上升,(a,，,),单调下降,;,104,正态分布函数,概率积分函数,误差函数,(,互补误差函数,),与概率积分函数的关系,误差函数的定义式：,互补误差函数：,105,与概率积分函数的关系,x,a,(P47),x,a,106,2.5.1,高斯过程的定义,若随机过程,(t),的任意,n,维（,n,=1,2,）分布都是正态分布，则称它为高斯随机过程或正态过程。其,n,维正态概率密度函数表示如下：,其中,:,107,高斯过程的,n,维分布完全由,n,个随机变量的,数学期望、方差,和两两之间的,归一化协方差函数,所决定。因此对于高斯过程，只要研究它的,数字特征,就可以了。,如果过程是,宽平稳,的，即其,均值,与时间无关，,协方差,函数只与时间间隔有关，而与时间起点无关，则它的,n,维分布也与时间起点无关，故它也是,严平稳,的。,如果高斯过程在不同时刻的取值是不相关的，则即对所有,jk,，,有,b,jk,=0,，于是,2.5.2,高斯过程的特点,统计独立,108,2.6,随机过程通过线性系统,2.6.1,经典系统分析的回顾,时域,确定性信号通过线性系统,频域,谱密度之间的关系,2.6.2,输入是平稳随机过程,随机过程通过线性系统,需要解决两个问题：,a,、输入平稳，输出平稳否,?,b,、输入、输出功率谱密度之间的关系。,109,2.6.3,输出随机过程的统计特性,的数学期望,条件假设：,i,(t),平稳，,E,i,(t),为已知，,h,(t),为已知,根据平稳性假定：,输出过程的数学期望与,t,无关。,110,的自相关函数,根据平稳性假定：,输出过程是广义平稳的,平稳随机过程经线性系统传输后,输出仍然为,平稳随机过程,。,输入是各态历经的随机过程,输出也是,各态历经,的随机过程。,输入是高斯过程,输出也是,高斯过程,只是,均值,和,方差,发生了变化。,结论,推论,111,的功率谱密度,维纳,欣辛定理：,任何时候其自相关函数和功率谱密度都是一对富氏变换。,变量代换：,和确定信号的结论相同,112,输出过程,o,(t),的概率分布,从原理上看，在已知输入过程分布的情况下，总可以确定输出过程的分布。,改写为和式：,若 为正态随机变量,也为正态随机变量,高斯过程经线性变换后的过程仍为高斯的。,由于线性系统的介入，与输入高斯过程相比，输出过程的,数字特征,已经改变了。,随机序列的数字特征,设,X,n,Y,n,为随机序列,则,(1),均值函数,:,X,n,=E,X,n,(2),相关函数,:,R,X,(,n,1,n,2,),=E,X,n1,X,n2,(3),均方值函数,:,2,X,(,n,),=E,X,2,n,(4),方差函数,:,2,X,(,n,),=E,X,n,-,X,(,n,),2,(5),协方差函数,:,Cov,X,(,n,1,n,2,),=E,X,n1,-,X,(,n,1,)X,n2,-,X,(,n,2,),;,(6),互相关函数,:R,XY,(,n,1,n,2,),=E,X,n1,Y,n2,113,114,2.7,白噪声,白噪声过程,白噪声序列,表示定理,115,2.7.1,白噪声过程,一种最简单的随机过程,一种均值为零、谱密度为非零常数的平稳随机过程,或由一系列不相关的随机变量组成的一种理想化随机过程,没有,“,记忆性,”,时刻的数值与 时刻以前的过去值无关,不影响 时刻以后的将来值,116,117,118,119,白噪声的数学特征,（,1,）均值为,0,即,（,2,）自相关函数,120,其中 为,Dirac,函数,且,注：自相关函数定义,121,白噪声过程的自相关函数,122,（,3,）谱密度为常数,注：谱密度的定义,设,123,为 的傅立叶变换,上式表明，白噪声过程的功率在 到 的全频段内均匀分布,平均功率,124,白噪声过程的谱密度,125,严格符合上述定义的,自相关函数,意味着它的方差和平均功率是无穷大,而且它在任意两个瞬间取值，不管这两个瞬间相距多么近，都是互不相关的,白噪声的概念,如同力学中的,“,质点,”,等概念一样，具有重要的实际意义,126,实际中,如果 接近 函数,近似的白噪声过程,127,向量的噪声,-,正定的常数阵,-Dirac,函数,128,2.7.2,白噪声序列,白噪声序列,白噪声过程的一种离散形式,可以描述,如果随机序列 是两两不相关的,对应的自相关函数为,129,-Kronecker,符号,即,则称这种随机序列 为,白噪声序列,130,注：自相关函数,设 是宽平稳多态的，均值为零,离散随机过程,131,有色噪声,132,133,白噪声序列的谱密度函数,即,白噪声序列,134,2.7.3,表示定理,表示定理,设平稳噪声序列 的谱密度 是 的实函数或 的有理函数,那么必定存在一个渐近稳定的线性环节,使得如果环节的输入是白噪声序列,则环节的输出是谱密度为 的平稳噪声序列,135,即,有色噪声序列可以看成自由噪声序列驱动的线性环节的输出,该线性环节叫作,成形滤波器,成形滤波器,136,脉冲传递函数为,且 和 的根都在 平面上的单位圆内,137,2.8,伪随机码的产生及其性质,M,序列（最长线性移位寄存器序列）,二进制伪随机码序列（,PRBS,）的一种形式,自相关函数接近脉冲函数,内容,M,序列的产生,M,序列的性质,M,序列的自相关函数,138,M,序列的产生,设有一无限长的二元序列,各元素间存在下列关系,其中,系数 取值,0,或,1,系数 总为,1,表示模,2,和,139,模,2,和运算规则,140,只要适当选择系数,就可以使序列以 的最长周期循环,这种具有最长循环周期的二元序列就称为,M,序列,根据上述可知,M,序列可以很容易地用线性反馈移位寄存器产生,141,生成,M,序列的一般结构,142,图中,双稳触发器 构成 级移位寄存器,系数 决定反馈通道的选择,若系数 ，表示不要第 反馈通道,若系数 ，表示需要第 反馈通道,经各自的反馈通道进行,模,2,和,运算,后反馈至,143,适当选择反馈通道,在移位,脉冲,CP,的作用下,移位寄存器任一级的输出均可为,M,序列,置初始状态是防止,移位寄存器出现全零状态,因为出现全零状态移位寄存器各级的输出将永远是,“,0,”,144,例,4,级移位寄存器生成,M,序列的结构如图,145,反馈通道取自,即有,若移位寄存器的初始状态为,1010,在脉冲,CP,的作用下,寄存器各级状态的变化如表,146,寄存器的各级状态表,147,上表表明,只要适当选择反馈通道，便可生成,M,序列,但是，反馈通道的选择不是任意的，否则就不一定生成,M,序列,如何选择？,148,特征多项式,设二元序列 是一种,M,序列,各元素之间的关系,记作,其循环周期为,即有,149,现有一个多项式 来描述这个,M,序列,即把这个,M,序列 写成多项式的形式,-M,序列的元素,-,元素 处于序列的第 位上,150,如上表中 序列,151,由此可以导出一个有趣的结论,无限阶多项式 可以表示成一个确定的有限阶多项式 的倒数,即,其中,称作,M,序列的特征多项式,152,由此可见,只要确定了特征多项式,对应的,M,序列 也就定下来,即生成,M,序列的结构图完全由特征多项式 确定,如,153,相对的,M,序列为,154,现在的问题,如何寻找特征多项式,必须指出,不是任何多项式都可当作生成,M,序列的特征多项式,它必须满足两个条件,155,特征多项式的条件,（,a,）必要条件,必须是既约多项式,即一定是不可分解的多项式,156,（,b,）充分条件,必须是本原多项式,即 是多项式 的一个因子,其中 ，,P,是 的阶次,即,157,如：,-,特征多项式，,-,不是特征多项式,158,M,序列的性质,（,1,）在,P,级,M,序列的一个循环周期 内,逻辑,“,0,”,出现的次数为,逻辑,“,1,”,出现的次数为,“,0,”,比,“,1,”,少,1,当 较大时，,“,0,”,和,“,1,”,出现的概率近似为,1/2,159,（,2,）,M,序列中某种状态连续出现的段称为,“,游程,”,一个,P,级,M,序列的游程总数等于,其中，,“,0,”,游程与,“,1,”,游程各占一半,且长度为 的占,1/2,，即 个,的占,1/4,，即 个,的占,1/8,，即 个,的占 ，即 个,160,但长度为 的游程只有一个,为,“,0,”,游程,长度为 的游程只有一个,为,“,1,”,游程,161,如,游程有,其中，,“,0,”,，,“,1,”,游程各有,4,个,162,（,3,）所有,M,序列都具有移位可加性,即两个彼此移位等价的相异,M,序列按位模,2,和仍为,M,序列，并与原,M,序列移位等价,例,4,级,M,序列,163,M,序列的自相关函数,M,序列的逻辑,“,0,”,和逻辑,“,1,”,变换成幅度为,a,和,a,的序列,164,4,级,M,序列变换成幅度为,a,和,a,的序列,165,自相关函数为,-,幅值为,a,或,a,的,M,序列,-,移位脉冲的周期,离散形式为,166,i,）当 时,ii,）当 的整数时,167,iii,）当 时,168,M,序列的自相关函数,169,可见,M,序列的自相关函数（当 时）近似于 函数,所以,M,序列是一种比较理想的辩识输入信号,