《时间序列分析》讲义.doc

第1章 差分方程和滞后算子
第一节 差分方程
一．一阶差分方程
假定期的（输出变量）和另一个变量（输入变量）和前一期的之间存在如下动态方程：
（1）
则此方程为一阶线性差分方程，这里假定为一个确定性的数值序列。差分方程就是关于一个变量与它的前期值之间关系的表达式。一阶差分方程的典型应用为美国货币需求函数：

其中为货币量，为真实收入，为银行账户利率，为商业票据利率。
1）用递归替代法解差分方程
根据方程（1），可以得到
（2）
如果我们知道期的初始值和的各期值，则可以通过动态系统得到任何一个时期的值。即
（3）
这个过程称为差分方程的递归解法。
2）动态乘子：
对于方程（3），如果随变动，而都与无关，则对得影响为：
或 （4）
方程（4）称为动态系统的乘子，或脉冲响应函数（即暂时性影响）。动态乘子依赖于，即输入的扰动和输出的观察值之间的时间间隔。
对于方程（1），当时，动态乘子按几何方式衰减到零；当，动态乘子振荡衰减到零；，动态乘子指数增加；，动态乘子发散性振荡。因此，，动态系统稳定，即给定的变化的后果将逐渐消失。，系统发散。
当时，此时，即输出变量的增量是所有输入的历史值之和。
如果产生持久性变化，即都增加一个单位，此时持久性影响为：
（5）
当时，且是，持久性影响为
（6）
如果考察的一个暂时性变化对输出的累积性影响，则和长期影响一致。
二．阶差分方程
如果动态系统中的输出依赖于它的期滞后值以及输入变量：
（7）
此时可以写成向量的形式，定义
， ，
从而（7）写成向量形式：
（8）
这个系统由个方程组成。为了便于处理，将阶数量系统变成一阶向量系统。还可以采用滞后算子的办法来处理这个系统。
0期的值为：
1期的值为：
期的值为：
写成和的形式为：
（9）
该系统中的第一个方程代表了的值。令表示中第个元素，表示中第个元素等等。于是的值为：
（10）
或
（11）
表示成初始值和输入变量历史值的函数。此时阶差分方程的动态乘子：
（12）
是的元素。因此对于任何一个阶差分方程，
， （13）
对于更大值，通过分析表达式（12）就非常有用。通过矩阵的特征根地进行求解。矩阵的特征根为满足下式的值：
（14）
对于一个阶系统，行列式（14）为特征根的阶多项式，多项式的个解是的个特征根。
定理1：
矩阵的特征根由满足下式的值组成：
（15）
1．具有相异特征根的阶差分方程的通解
此时存在一个阶非奇异矩阵，满足
（16）
其中是一个矩阵，主对角线由得特征根组成，其它元素为零，即
（17）
令表示的第行、第列的元素，表示的第行、第列的元素。因此方程为：
（18）
因此的第个元素为：
（19）
或者
（20）
其中。因为。将（20）代入（12），得到阶差分方程的动态乘子：
（21）
定理2：
如果矩阵的特征值是相异的，则
（22）
因此求出的特征值，就可以求出相应的，由此就可以根据（21）计算得到动态乘子。
如果所有的特征值都是实根。如果存在一个特征根的绝对值大于1，则系统是发散的。根据（21），我们发现动态乘子最终由绝对值最大的特征根的指数函数决定。
第二节 滞后算子
一．滞后算子定义：
假定由序列生成新序列。其中期的值等于时期的值，，这称为对运用了滞后算子，即

这里的称为滞后算子。根据滞后算子，。通常情况下由于利用滞后算子和乘法具有同样的代数规则，因此常称为乘以。
二．一阶差分方程
利用滞后算子，可得
（23）
整理得到
（24）
（3）两边同时乘以，得到
（25）
即
（26）
可见利用滞后算子和递归方法得到的结果相同。当，很大时，根据（4）
（27）
有界序列：对于序列，如果存在一个有限数，使得
对所有的
则称该序列有界。在随机序列情况下，有界序列转为平稳随机过程。
当，对有界序列使用滞后算子，则由（6），近似为的逆。算子称为恒等算子，即。
在有界序列或平稳随机过程情况下，对于，两边同时除以，得
或 （28）
三．二阶差分方程
利用滞后算子形式可得
（29）
对于滞后算子，
（30）
给定的值，建立方程组
（31）
即能求出。即求解特征方程。此时，令特征方程左右两侧为零，可得和。
定理3：将分解成

得到的和矩阵的特征值相同。这里二阶差分方程矩阵表示为：
（32）
根据第一节讨论，任意特征值都小于1，系统才是稳定的。只要存在一个特征值的模大于1，系统就是发散的。通常有两种表达方式：
1）对于由矩阵得到的特征方程，系统稳定条件为：
特征方程的根落在单位圆内。
2）对于由矩阵得到的特征方程，系统稳定条件为：
特征方程的根落在单位圆外。
对于二阶差分系统，两边同时乘以，
（33）
利用有界序列算子逆的定义
（34）
（35）
或者写成
（36）
这里、。由此计算动态算子为
（37）
四．阶差分方程
滞后算子形式为
（38）
其中
（39）
令，（35）两侧同时乘以，则
（40）
因此特征值就是求（36）的解。
定理4：将阶滞后算子多项式分解为

得到的系数和矩阵的特征根相同。
差分方程（38）是稳定的，则特征方程根落在单位圆外或的根落在单位圆内。
现假定序列有界，逆都存在。并且假定特征根相异，则差分方程（38）可以表示为
（41）
右边的算子多项式可以扩展成为：
（42）
两边同时乘以，得
（43）
为了保证成立，则要求
或 （44）
同样为了保证成立，则要求
（45）
从而（41）可以写成
（46）
从而得到动态乘子：
（47）
对的现值的影响为
（48）
长期乘子则是，且的极限：
（49）
五． 实际例子（考察初始条件的作用）
令表示股票价格，表示红利。如果一个投资者在时期买进股票并在时刻卖出，投资者将得到红利收益和资本利得，从而投资者总收益为：
（50）
假定投资者在不同时期的投资收益为常数，即。进一步整理得到：
（51）
这就是一个差分方程。递归得到
（52）
从（52）可以看出，如果给定和的值就可确定。但如果仅给定，并不能唯一确定的值。
现假设为常数，则
（53）
如果为常数，则
（54）
这表明在股利为常数，且初始值的情况下，股价不会有任何变化。其收益率仅仅是股息收益率。
如果，此时对股价的估计超过红利收益的潜在能力。只要投资者相信股票价格还要继续上涨，每个人都会从实现的资本利的中得到要求的收益。这就是股价的投机泡沫。
第2章 单变量线性随机模型
第一节 预期、平稳性和遍历性
一、预期和随机过程
1．实现值（Realization）：观测到的序列值。
2．随机过程：随机过程是一族随机变量，即对指标集中的每个，是一个随机变量。如果为时间，则是过程在时刻的状态。因此随机过程可以视为T个随机变量的样本。
3．无条件均值
设想生成个独立同分布的无穷序列，再从每一个序列中取出期观测值，这就是随机变量的个实现的样本。它的概率密度称为的无条件密度：
（1）
其均值如果存在，则称为无条件均值：
（2）
例如过程，其无条件均值为是常数；过程是含时间趋势的过程，其无条件均值为，是时间的函数。
二．自协方差和自相关
1．对于随机过程是随机变量的联合分布。可由该分布计算出的第各自协方差：
（3）
它是及其滞后值之间的协方差，因此称为自协方差。第0个自协方差恰是的方差。
2．自相关系数
对于协方差平稳过程，定义
（4）
为第个自相关系数。显然。并且任意协方差平稳过程的第0阶自相关系数。自相关系数也可以看作的函数，称为自相关函数。自相关函数做成图形就是自相关图。ACF和均值、方差一起共同表现了弱平稳随机过程的特征。ACF通过测量过程的某个值和历史值的相关程度，显示了过程的“记忆”长度和力度。
三．平稳性
1．严平稳：
假设随机过程的性质不受时间地点变化的影响，称为绝对（严）平稳。即联合分布函数只取决于时期的间隔，与时期本身无关。从而它的所有矩都不依赖于时间。
2．弱（协方差）平稳：
如果随机过程的均值和协方差都不依赖于时间，即
对所有
对所有的和
则过程是协方差平稳的或弱平稳的。过程是协方差平稳的，其，均为常数；过程是含时间趋势的过程，其无条件均值是时间的函数，因此就不是协方差平稳的。
3．平稳和宽平稳的关系：
1） 具有有限二阶矩的严平稳过程，一定是弱平稳过程。
2） 弱平稳过程只限定一阶矩和二阶矩，但如果弱平稳过程是高斯过程，则它一定是严格平稳过程。
四．遍历性
前面进行的把时间序列的期望看作是总体平均。因此它是时间序列平均。如果时间平均收敛于总体平均，则称为过程是关于均值遍历的。仅当过程是遍历时，利用单组实现值来推断联合概率分布的未知参数才是正确的。
1．均值遍历：
如果一个协方差平稳过程的自协方差满足

则是关于均值遍历的。
2．二阶矩遍历：
如果协方差平稳过程满足

对所有的成立，则称该过程是关于二阶矩遍历的。如果是一个高斯平稳过程，则就能够保证过程关于所有矩都是遍历的。
3．平稳性和遍历性的区别：
考察一个平稳但非遍历的例子。假定第个实现的均值是由生成的，即
（5）
其中是独立于的均值为零、方差为的高斯白噪声过程。此时

明显，过程是协方差平稳的。但并不满足遍历性条件。此时时间平均

收敛于而不是的均值零。
第二节 白噪声
一．白噪声过程：
对于一个均值、方差的序列，满足

此时过程称作一个白噪声过程。
二．独立白噪声过程
对于一个均值、方差的序列，满足
相互独立
此时过程称作一个白噪声过程。
三．高斯白噪声过程
对于一个均值、方差的序列， ，满足
相互独立
此时过程称作高斯白噪声过程。
第三节 移动平均过程
一．一阶移动平均
1．如果满足白噪声过程，定义过程
（6）
其中和为常数。这个序列称为一阶移动平均过程。期望为
（7）
方差为
（8）
一阶自协方差为
（9）
高阶自协方差
（10）
上述均值和协方差都不是时间的函数，因此不管为何，过程都是协方差平稳的。
一阶自相关系数
（11）
高阶自相关系数均为0。此时自相关函数在1阶处截尾。
例子：，此时
2．几点结论：
1）正的值得到正的自相关系数，一个大的后面通常是一个比平均值大的。
2）负的正的值得到负的自相关系数，一个大的后面通常是一个比平均值小的。
3）自相关系数的取值区间，并且对于每一个，都有和与之对应。
二．阶移动平均过程：
表达式为：
（12）
其中为白噪声过程，为任何实数。其均值、方差和自协方差分别为：
（13）
（14）
即自相关函数在阶处截尾。
例如：过程：
（15）
三．无限阶移动平均过程：
表达式为：
（16）
过程应注意其自协方差总是存在，此时其平稳性要求绝对可加或平方可加。此时自相关函数不具有截尾特征。
第四节 自回归过程
一．一阶自回归过程
表达式为差分方程：
（17）
为白噪声序列。其中输入变量。
1．如果，系统（17）中对的影响随着时间累增而不是消失，系统不是有限方差的协方差平稳过程。这个过程一般称为爆炸性过程。
2．时，系统为协方差平稳过程，此时利用滞后算子系统变为：
（18）
利用求逆，从而得到此过程的解为过程：
（19）
明显，当时，满足绝对可加性：
（20）
此时系统的均值、方差、自协方差函数和自相关函数分别为：
（21）

从函数可以发现，自相关系数函数按几何方式衰减。自相关系数函数与脉冲响应函数或动态乘子相同。增加一个单位对于的影响等于和之间的相关系数。正的值意味着和之间正相关。负的值意味着和之间负相关。此时自相关函数拖尾。
如果假定过程是协方差平稳的（），可直接利用差分方程计算各阶矩。对（17）两边取期望：
（22）
从而，
（23）
系统（17）变形，得到：
或 （24）
两边平方求期望：
（25）
将代入（25），可得
（26）
从而得到协方差平稳过程的方差：
（27）
根据同样的道理，（17）两侧同时乘以，再求期望，可得自协方差函数：
（28）
即
（29）
解自协方差函数的差分方程，得到
（30）
自相关函数为：
（31）
结论相同。并且得到脉冲响应函数和过程的自相关函数相同的原因。
二．二阶自回归过程：
表达式为
（32）
或者写成滞后算子形式：
（33）
差分方程（33）的平稳条件是特征方程的根都落在单位圆外。此时自回归算子的逆为：
（34）
这里的由矩阵的第个元素给出。
将（33）两边同时乘以得到：
（35）
显然
（36）
也可直接对（32）两边取期望，从而有
（37）
再次得到
（38）
系统（32）变形为
（39）
进一步变形
（40）
两边同时乘以，求期望，得到
（41）
两边同时除以，得到
（42）
可见，对于过程，其自协方差和自相关函数仍然是差分方程。当时，；当时，；由此通过逐次求解迭代就可以求得自相关函数。自相关函数仍然具有拖尾特征。
下面我们求二阶自回归过程的方差。（40）两侧同时乘以，再求期望得到：
（43）
即
（44）
整理一下，得到
（45）
三．阶自回归过程
表达式为：
（46）
其平稳性条件为特征方程的根都在单位圆外。假设过程协方差平稳，则对（46）两边求期望，得到：
（47）
从而可以得到均值：
（48）
表达式（46）可以写成：
（49）
表达式两侧同时乘以，再取期望可得自协方差：
（50）
已知，因此得到结论：当时，是的函数。
（50）两侧同时除以，得到由拉沃克（Yule-Walker）方程：
（51）
因此表达式（50）和（51）表明，阶自回归过程的自协方差函数和自相关函数具有相同形式的阶差分方程，其自相关函数的具有拖尾特征。在相异根的条件下，自协方差解：
（52）
其中特征根为特征方程的解。
第五节 自回归移动平均过程
表达式为：
（53）
写成滞后算子的形式为：
（54）
两侧同时除以，从而得到
（55）
其中

从而可以发现，过程的平稳性完全取决于回归参数而与移动平均参数无关。即过程的平稳性条件为特征方程：

的根在单位圆外。
（53）变形：
（56）
两边同时乘以，求期望得到自协方差。当时，结果方程的形式阶自协方差形式：
（57）
从而解为
（58）
时的自协方差函数比较复杂，并且不具有应用意义。不过过程的自相关函数都具有拖尾特征。
过程容易出现的两个问题：
1） 过度参数化问题。例如一个白噪声过程也可以用表示。此时无论取何值，利用都能够很好的拟合数据，因此造成估计的困难。
2） 过程的表达式（54）的滞后多项式进行因式分解得到
（59）
假设自回归算子和移动平均算子存在共同根（公因子），同时除以公因子，得到的过程和原来的过程相同。
第六节 过程的可逆性及偏相关函数
一．过程的可逆性
对于过程

为白噪声。当时，表达式（60）能够表示成无穷阶的自回归过程：
（60）
此时过程可逆。
前面我们说过，对于过程，其移动平均系数和能够得到相同的自相关系数。可逆性条件就是为了消除这种现象。从而可以避免某些估计和预测的算法失效。
二．偏自相关函数
对于阶自回归过程 ，可以改记为：
（61）
这是考虑了步延迟后的偏自相关系数，它排除了个中间变量的影响后，和的自相关系数。设的均值为零，该自相关系数为：
（62）
考虑（61）两侧同时乘以，并取期望得到：
（63）
由于给定，且，从而有
（64）
当时，与无关，故
（65）
所以当延迟步时，序列的偏自相关系数为。偏自相关系数序列称为偏自相关函数。
根据上面的讨论，对于过程，其偏自相关函数在处截尾。而对于任何可逆过程，由于都能表示成无穷阶的自回归过程，因此具有拖尾的偏自相关函数。
下面用图表总结一下：
表1 时间序列模型性质表
模型
性质
AR(p)
MA(q)
ARMA(p,q)
模型方程

平稳条件
的根在单位圆外
无条件平稳
的根在单位圆外
可逆条件
无条件可逆
的根在单位圆外
的根在单位圆外
ACF自相关
拖尾
在截尾
拖尾
PACF偏自相关
在截尾
拖尾
拖尾

第七节 预测
一．预测原理（基于条件的预测）：
定义1：均方误差
对于任何预测都存在误差，我们需要给出一个损失函数来度量预测偏离一个特定的量的程度。假定一个二次损失函数，选择，使得
（66）
最小。表达式（66）称为预测值的均方误差，记做。
定理1：最小均方误差预测就是条件下的期望。
证明：
假定为基于条件期望以外的其他函数的预测，其为：
（67）
因为在的条件下，与都是常数，因此
（68）
根据迭代期望法则，（68）的期望就是无条件期望，即
（69）
从而，（67）变为
（70）
右边第一项为常数，因此如果希望均方误差最小，只有：
（71）
定理得证。
定义2：线性投影
假设预测为的线性函数，即。如果存在一个，使得预测误差与，即
（72）
则预测称为关于的线性投影。
定理2：在线性预测族中，线性投影具有最小均方误差。
证明和定理1相似。
线性投影是随机过程总体特征的归纳；而OLS回归是对样本观察值的归纳。
二．基于无限观察值的预测
1．基于滞后的预测：
对于过程
（73）
其中为白噪声且
（74）
假定已知期以前的的所有观测值、以及的值。根据（73），可以得到：
（75）
最优线性预测形式为
（76）
即令未知的等于期望值零。预测误差为
（77）
根据线性投影的性质，预测误差的均值为零，且与线性无关。所以（76）为最优预测。其均方误差为：
（78）
例： 过程，
解：最优线性预测为：
（79）
均方误差为
（80）
均方误差随着预测长度的增加而增加，直到为止。对于的解以后的预测，其预测值为该序列的无条件均值。为该序列的无条件方差。
取多项式除以：
（81）
其零化算子表示将中的负次方变为零，即
（82）
此时最优预测
（83）
2．基于滞后的预测：
对于过程
（84）
其中为白噪声，，，。假定多项式和多项式之间有如下关系：
（85）
满足条件（82），则根据的观察值构造出。将（84）代入（83），得到
（86）
（86）称为维纳-科尔摩格洛夫（Wiener-Kolmogorov）预测。它以初始值以及继后值的形式表达的值，再将式中含未来的的项去掉。
定理3 多重投影定理
如果的期的预测是期信息的投影，则结果为的期最小均方误差预测。
例1 过程预测：
解：

代入（86），得到

随着预测期的增加，预测值从按几何方式衰减到。前期预测的均方误差为：

随着的增加，渐进于无条件方差。
例2 过程的预测
解：过程可以表示为：

其中。因此最优前期预测为：

预测误差为：

对于过程的预测，最简单的方法是简单递归。首先预测，则最优预测为：

预测的最优预测为：

于是

将代入，得到

前期预测可由下面的迭代得到：

其中 。
例3 过程的预测
解：过程的表达式为，其中。将维纳-科尔摩格洛夫公式（86）中的换成，得到

时， ，于是

时，，于是

例4：过程的预测
解：对于可逆的过程，则预测公式（86）变为：

因此，时，预测为：

其中。期的预测为无条件均值。
例5．过程预测
解：过程，当时，满足平稳性和可逆性。因此预测为：

其中

从而预测为

对于，预测服从递归算法：

即在一期以后，预测按几何方式以速度收敛于无条件均值。前一期的预测为：

其中

例6：过程预测
解：对于过程

1期预测为

其中。前期预测为：

当时，预测为由自回归系数决定的阶差分方程。
第八节 过程之和
一．过程加白噪声过程
假定过程：
（87）
其中为均值为零、方差为的白噪声。的自协方差为：
（88）
令表示均值为零、方差为白噪声，且与线性无关。因此
对所有的 （89）
令表示和的和，则
（90）
其均值为0，自协方差为：
（91）
此时是协方差平稳的。并且可以表示为：
（92）
其中。即过程加白噪声过程产生一个新的移动平均过程。
二．两个移动平均过程相加
令和表示零均值的移动平均过程：
（93）
其中。假定对所有的，。设
（94）
定义。则
（95）
因此超过阶滞后的自协方差为零，即可以用表示。
三．两个自回归过程相加
假设和表示两个过程，
（96）
其中和都是白噪声且对于所有的和，和无关。假设
（97）
则（96）变形得到
（98）
相加得到：
（99）
即可用一个来表示：
（100）
其中
（101）
当时，
（102）
此时为过程。
如果是和相加，即
（103）
则得到一个过程
（104）
其中。

第九节 沃尔德分解和ARMA建模
一．沃尔德分解
定理4 Wold分解定理：
任何零均值协方差平稳过程可表示成如下形式
（105）
其中，且。是白噪声（新生量），表示以的滞后项预测产生的误差：
（106）
（107）
对于任意的，的值与无关。由的过去值确定，称为的线性确定性分量。称为线性非确定性分量，若，该过程为纯线性不确定的。
Wold分解定理仅依赖于的稳定的二阶矩。因此描述了的最优线性预测。
二．Box-Jenkins建模
1．建模基本思想
将某个时间序列的SACF和SPACF的行为与各种理论ACF和PACF的行为匹配起来，挑选最佳匹配（或一组匹配的集合），估计模型的未知参数，并检查从模型拟和得到的残差，已发现可能的模型错误。
步骤：
1） 变换数据，是数据满足协方差平稳性假设（单位根检验和季节调整）。
2） 对序列的过程的参数做一个初始的较小值猜测。
3） 估计和的系数。
4） 初步诊断分析。保证所得模型和数据特征相符。
2．样本自相关SACF
（108）
其中
（109）
（110）
由于实际上假定了协方差平稳性，因此当，总体自协方差趋向于零。
SACF的检验统计量为：
（111）
其渐进分布服从自由度为的卡方X分布，即。
3．偏自相关函数SPACF
阶偏自相关系数的估计是关于常数项和最近个值的回归的最末一个系数：
（112）
其中代表回归的残差。
4．选择模型的标准：（存在多个行为匹配的模型）
1） AIC标准：（Akaike信息标准）
（113）
2） BIC标准
（114）
3）首先设定和的阶数上限，和，并规定和，则选择的阶数和由法则确定：
或 （115）
三、在中的实现
1 通过自相关分析图判断平稳性：如果序列的自相关系数很快地趋于零，即落入随机区间，则时序是平稳的，否则是非平稳的。
2 自相关图的实现：主菜单中选择quick/series Statisttics/correlogram，在对话框中输入分析的序列名称。如index，点击OK弹出相关图定义。选择之后，点击OK，从而得到时间序列的自相关和偏自相关分析图。
3 根据相关图和偏自相关图判断自回归和移动平均的阶数。
4 模型参数的估计方法： 在主窗口选择Quick/Estimate/Equation，输入index ar(1) ar(2) …ar(p) ma(1) ma(2)…ma(q) 点击OK进入。
5 结果中要求AIC和BIC越小越好。而且最后两行的数值落在单位圆内。
6 模型的检验：
1）对模型的残差序列进行白噪声检验。检验残差序列的样本自相关系数是否为零。检验统计量为卡方检验。残差序列的自相关函数为
（116）
m为最大滞后期。一般取。检验统计量为
（117）
在零假设下，服从卡方分布。给定置信度，如果，则不能拒绝残差序列相互独立的原假设，通过检验。否则拒绝原假设。直接对残差序列的检验，分析残差序列的自相关图。
（2） 检查是否过度拟合。用高阶的模型进行拟合，并与原模型比较。

[注释]：
1）见《数据分析与Eviews应用》第五章。
2）阶数一般选择不要超过2。
3）建立模型前，一般要进行单位根检验，从而采取方法消除季节性和趋势性对模型的影响。

参考文献：
1．《金融时间序列的经济计量学模型》 经济科学出版社 米尔斯著
2．《Introductory Econometrics for Finance》 Chris Brooks 剑桥大学出版社
3．《时间序列分析》 汉密尔顿 中国社会科学出版社
4．《经济周期的波动与预测方法》 董文泉 高铁梅著 吉林大学出版社
5．《协整理论与波动模型——金融时间序列分析与应用》张世英、樊智著 清华大学出版社
6．《数据分析与Eviews应用》 易丹辉主编 中国统计出版社
第四章 极大似然估计
第一节 引言
考虑模型：
（1）
其中。前面我们假定知道总体参数，此时利用过程（1）进行预测。
本章我们要研究在仅能观测到的情况下，如何估计。估计方法为极大似然估计。令表示总体参数向量。假定我们观察到一个样本量为的样本。计算所实现样本的联合概率密度函数：
（2）
这可以看作是观察到样本发生的概率。使得“概率”最大的值就是最优估计。这种思想就是极大似然估计的思想。极大似然估计需要设定白噪声的分布。如果是高斯白噪声，则得到的函数为高斯似然函数。
极大似然估计的步骤：
1） 计算似然函数（2）。
2） 利用求极大值方法求使得函数值最大的值。
第2节 高斯过程的似然函数
一．计算高斯过程似然函数
高斯过程的表达式为
（3）
其中。总体参数向量为。
观察值的均值和方差分别为和。因为，因此也是高斯分布。其概率密度函数为
（4）
对于第二个观察值在观察到条件下的分布。根据（3），
（5）
此时，其概率密度函数为
（6）
此时观察值和的联合密度函数就是（4）和（6）的乘积：
（7）
同样
（8）
（9）
一般情况下，
（10）
则前个观察值的联合密度为
（11）
则完全样本似然函数为
（12）
进行对数变换，得到对数似然函数：
（13）
将（4）和（10）代入（13），得到
（14）
二．似然函数的矩阵表示
观察值写成向量形式为：
（15）
可以看作是为高斯分布的单个实现。其均值为
（16）
这里。（15）表示成向量形式为：

其中表示（16）的右边的向量。的方差协方差矩阵为：
（17）
其中
（18）
该矩阵元素对应于的自协方差。则过程的第阶自协方差为：
（19）
（18）可写作
（20