数值分析讲义——线性方程组的解法.doc

数值分析讲义——线性方程组的解法

———————————————————————————————— 作者：
———————————————————————————————— 日期：

49

个人收集整理 勿做商业用途
数值分析讲义
第三章 线性方程组的解法

§3.0 引言
§3。1 雅可比(Jacobi)迭代法
§3.2 高斯—塞德尔(Gauss-Seidel)迭代法
§3。3 超松驰迭代法 §3.7 三角分解法
§3.4 迭代法的收敛性 §3.8 追赶法
§3。5 高斯消去法 §3.9 其它应用
§3.6 高斯主元素消去法 §3。10 误差分析
§3 作业讲评3 §3.11 总结

§3。0 引 言
重要性：解线性代数方程组的有效方法在计算数学和科学计算中具有特殊的地位和作用.如弹性力学、电路分析、热传导和振动、以及社会科学及定量分析商业经济中的各种问题。
分类:线性方程组的解法可分为直接法和迭代法两种方法.
(a) 直接法：对于给定的方程组,在没有舍入误差的假设下，能在预定的运算次数内求得精确解.最基本的直接法是Gauss消去法，重要的直接法全都受到Gauss消去法的启发。计算代价高。
（b） 迭代法：基于一定的递推格式，产生逼近方程组精确解的近似序列.收敛性是其为迭代法的前提,此外，存在收敛速度与误差估计问题。简单实用，诱人.

§3。1 雅可比Jacobi迭代法 (AX=b）
1 基本思想:
与解f(x)=0 的不动点迭代相类似,将AX=b改写为X=BX+f 的形式,建立雅可比方法的迭代格式：Xk+1=BX(k）+f ,其中,B称为迭代矩阵。其计算精度可控,特别适用于求解系数为大型稀疏矩阵（sparse matrices)的方程组.
2 问题：
（a) 如何建立迭代格式？
（b） 向量序列｛Xk｝是否收敛以及收敛条件?
3 例题分析：
考虑解方程组 （1)
其准确解为X＊=｛1, 1.2， 1.3}。
建立与式（1)相等价的形式：
（2）
据此建立迭代公式：
（3）
取迭代初值，迭代结果如下表. JocabiMethodP31。cpp
迭代次数 x1 x2 x3
0 0 0 0
1 0.72 0.83 0.84
2 0.971 1.07 1。15
3 1。057 1.1571 1。2482
4 1.08535 1.18534 1.28282
5 1.095098 1。195099 1.294138
6 1.098338 1.198337 1.298039
7 1。099442 1。199442 1.299335
8 1.099811 1。199811 1。299777
9 1。099936 1。199936 1.299924
10 1。099979 1.199979 1.299975
11 1。099993 1。199993 1.299991
12 1。099998 1.199998 1.299997
13 1。099999 1。199999 1.299999
14 1.1 1。2 1.3
15 1.1 1.2 1.3

4 Jocobi迭代公式：
设方程组AX=b, 通过分离变量的过程建立
Jocobi迭代公式,即

由此我们可以得到Jacobi迭代公式：

［Jacobi迭代公式的算法]
1： 初始化。 n， (aij）, (bj), （x1） ， M。
2: 执行k=1直到M为止.
① 执行i=1直到n为止.
；
② 执行i=1直到n为止.
；
③ 输出k， (xi）。
另外,我们也可以建立Jacobi迭代公式的矩阵形式。
设方程组AX=b,
其中，A=（aij）n为非奇异阵,
X=(x1,x2,…,xn）T,
b=(b1，b2，…，bn）T
将系数阵A分解为： A=U+D+L，
U为上三角矩阵,D为对角矩阵，L为下三角矩阵。
于是AX=b可改写为
（U+D+L）X=b X=D—1b-D—1（U+L）X
由此可得矩阵形式的Jocobi迭代公式：
Xk+1=BX（k)+f □

§3。2 高斯—塞德尔Gauss—Seidel迭代法
注意到利用Jocobi迭代公式计算时，已经计算好的值，而Jocobi迭代公式并不利用这些最新的近似值计算，仍用.这启发我们可以对其加以改进,即在每个分量的计算中尽量利用最新的迭代值,得到

上式称为Gauss—Seidel迭代法。
其矩阵形式是
X=-（D+L)—1UX+（D+L）—1b,
Xk+1=BX（k）+f 。
迭代次数 x1 x2 x3
0 0 0 0
1 0。72 0.902 1.1644
2 1。04308 1。167188 1。282054
3 1。09313 1。195724 1.297771
4 1。099126 1。199467 1.299719
5 1.09989 1.199933 1.299965
6 1。099986 1。199992 1。299996
7 1。099998 1.199999 1.299999
8 1。1 1.2 1.3

§3.3 超松驰迭代法SOR方法
1 基本思想:
逐次超松弛迭代法(Successive Over Relaxation Method，简写为SOR)可以看作带参数ω的高斯-塞德尔迭代法,是G—S方法的一种修正或加速.是求解大型稀疏矩阵方程组的有效方法之一。
2 SOR算法的构造：
设方程组AX=b， 其中,A=（aij）n为非奇异阵，X=（x1,x2，…，xn）T， b=(b1，b2,…，bn）T.
假设已算出x(k）,
（1）
相当于用高斯—塞德尔方法计算一个分量的公式.
若对某个参数ω，作与加权的平均,即
（2）
其中，ω称为松弛因子。
用（1）式代入（2)式，就得到解方程组AX=b的逐次超松弛迭代公式：
（3）
显然，当取ω=1时,式（3）就是高斯—塞德尔迭代公式.
3 例题分析：
利用SOR方法解方程组
(1）
其准确解为X*={1， 1， 2}.
建立与式（1）相等价的形式：
(2）
据此建立迭代公式：
（3）
利用SOR算法，取迭代初值，
ω=1.5,迭代结果如下表。
逐次超松弛迭代法
次数 x1 x2 x3
1 0.625000 0.062500 1。750000
2 0.390625 0.882813 1.468750
3 1.017578 0。516602 1。808594
4 0。556885 0。880981 1.710449
5 1。023712 0。743423 1.868103
6 0。746250 0.908419 1。838737
7 0.997715 0.860264 1。913894
8 0。864050 0.936742 1。908605
9 0.986259 0。922225 1.945523
10 0。928110 0.958649 1。947493
11 0。985242 0.955944 1.966198
12 0。961661 0。973818 1.969521
13 0.988103 0.974699 1.979289
14 0。979206 0.983746 1.982172
15 0。991521 0。985318 1.987416
16 0.988509 0。990038 1.989513
17 0.994341 0.991414 1。992397
18 0.993538 0。993946 1.993806
19 0。996367 0.994950 1。995424
20 0。996313 0。996342 1。996331
21 0.997724 0.997018 1.997254
22 0.997871 0.997798 1.997822
23 0.998596 0。998234 1.998355
GS迭代法须迭代85次得到准确值X＊={1, 1, 2｝;而SOR方
法只须55次即得准确值。由此可见,适当地选择松弛因子
ω，SOR法具有明显的加速收敛效果. □

§3。4 迭代法的收敛性
1. 向量和矩阵范数
(a） 向量范数
Rn空间的向量范数 |｜ · ｜| ，对任意
， 满足下列条件:
(正定性）
（齐次性)
（三角不等式）
常见的向量范数有：
(1) 列范数:

(2) 谱范数：（欧几里德范数或向量的长度，模）

(3) 行范数：

(4) p范数:

上述范数的几何意义是：
=max（｜x2—x1｜,|y2—y1｜) ;
=｜x2—x1｜+｜y2-y1｜ ;
.

向量序列依坐标收敛于向量x＊ 的充要条件是向量序列依范数收敛于向量x＊,即。
(b） 矩阵范数
空间的向量范数 ｜| · ｜| ，对任意
, 满足下列条件：

常见的矩阵范数有：
（行和范数)
（列和范数)
(谱范数）
　 若A对称，则有。
矩阵A的谱半径记为，
r（A） =，其中li 为A 的特征根。

2. 迭代法基本定理
设有方程组X=BX+f，对于任意初始向量X(0)及任意f,迭代公式X（k+1）=BX（k)+f收敛的充要条件是<1,为矩阵B的谱半径。
证：设X*为方程组X=BX+f的准确解,即
X＊=BX*+f。
对于任意初始向量X(0）及任意f，迭代公式X(k+1)=BX(k)+f，
于是,

由此可得，迭代法收敛的充要条件是.
即，
〈1。 □
上述定理是线性方程组迭代解法收敛性分析的基本定理，然而由于的计算往往比较困难，尽管有各种办法估计的上界，但往往偏听偏大而不实用，由此导致定理的理论价值胜于实用价值，为满足实际判敛的需要,有如下定理。
（迭代收敛的充分条件）
设有迭代公式X（k+1)=BX（k）+f，如果｜｜B｜｜<1，则对于任意初始向量X(0）及任意f, 迭代公式均收敛。

3。 从方程组的系数矩阵A判断迭代收敛性
实际中要求解的某些线性方程组，其系数矩阵往往具有一些特点，如系数矩阵为对称正定、对角元素占优等。由这些方程组系数矩阵的特殊性，使得我们可以直接从方程组的系数矩阵A出发来讨论迭代法的收敛性.
设，满足

且至少有一个i值,使得

成立，则称A为对角占优矩阵;若
,
则称A为严格对角占优矩阵。
如果为严格对角占优矩阵，则对任意的初值x(0)，解方程组AX=B的Jacobi法、Guess-Seidel迭代法均收敛。 □
HW： 3。1 3。2 3.3（上机实习）

§3.5 高斯消去法
1 基本思想：
用高斯消去法求解线性方程组的基本思想是设法消去方程组的系数矩阵A的主对角线下的元素,而将Ax=b化为等价的上三角形方程组,然后再通过回代过程便可以获得方程组的解。
这种解线性方程组的方法，常称为高斯消去法（Gaussian Elimination）.

2 例题分析:
利用高斯消去法求解方程组:

（1)

利用ri-，i=2,3，4。得
(2）
利用ri—，i=3，4。得
（3)
利用ri—，i=4。得
(4）
显然，方程组(4）与(1)是等价的，其系数矩阵为上三角
状的,易于求解.称以上过程为高斯消去法的消去过程。通过方程组（4）的回代求解，可以得到准确解为
X*=[1， -3， —2,1]T.
这一过程为高斯消去法的回代过程.
2 高斯消去法算法的构造:
记方程组AX=b为A（1）X=b（1), 其中，A(1）和b（1）的元素分别记为
Step1：第一次消元
设，将增广矩阵的第i行减去倍，(i=2,…,n）,目的是将增广矩阵的第一列内除每一个元素不变外,其余全部消为零，得到A（2）X=b(2)，即

其中

Step2:第k次消元()
设第k-1次消元已完成,且,得到A(k）X=b(k），即

计算因子，
如此反复，经过n—1次消元之后得到一个与原方程组等价的上三角形方程组.

Step3：回代
只要就可以回代求解

3 高斯消去法［算法]
Step1［消元］：
对k=1,2，…，n—1
① 若则停止计算
② 对i=k+1，k+2,…,n
计算因子；
对j=k+1,k+2,…,n
计算;
Step2[回代]：
对i=n,n-1,…，1

（高斯消去法的条件）
(1) 若A的所有顺序主子式均不为0,则高斯消元无需换行即可进行到底，且得到唯一解。
(2) 若消元过程中允许对增广矩阵进行行交换，则方程组Ax=b可用消去法求解的充要条件是A可逆。
□

§3。6 高斯主元素消去法
1 主元素及其选取问题
Gauss消去法第k次消去是用第k个方程

来消去第k+1，…,n个方程中的xk，条件是。是实现第k次消元的关键元素,称为第k次消去的主元(素)。
Gauss消去法存在的问题是：
(1) 顺序消元时一旦产生(这是经常可能的），消元过程则中断；
(2) 此外，即使但绝对值很小时,由于用它作除数，引起在消去过程中出现数量级及舍入误差急剧增长的系数，而使最后的计算解严重地不可靠。
例：单精度求解方程组

其准确解为
当利用Gauss消元法时，
舍入误差

恶性传播
×

· 基本思想：
主元素法是对Gauss消去法的改进。 它全面或局部地选
取绝对值大的元素为主元素，仅对Gauss消去法的步骤作某些技术性地修改，使之成为一种有效的方法.从而保证和改善算法的数值稳定性.
2 完全主元素消去法
设方程组AX=b， 其中，A=(aij)n为非奇异阵，X=（x1,x2,…，xn）T， b=(b1，b2,…，bn）T.经过k—1次选主元消元后，得到下列等价方程组:

① 选主元过程
在矩阵中选取绝对值最大的元素为主元素,保证
从而确定 ik , jk。
② 行变换和列交换
If ik ¹ k then 交换第 k 行与第ik行；
If jk ¹ k then 交换第 k 列与第jk列；
值得注意的是,在全主元消去过程中，列交换已改
变了x各分量的顺序,因此，必须在每次列交换的同时，记录调换后未知数的排列次序。
③ 消元
④ 回代求解
⑤ 还原未知数的排列次序
2.1 全主元素Gauss消去法［算法]
Step1[消元］:
对k=1，2，…,n—1
① 选主元 确定 ik , jk，满足
② 若则停止计算，detA=0。
③ If ik ¹ k then 交换第 k 行与第ik行;
If jk ¹ k then 交换第 k 列与第jk列；
④ 消元
对i=k+1,k+2，…,n
计算因子 ;
对j=k+1，k+2，…，n
计算;
Step2［回代］:
① 若则停止计算，detA=0.
② 对i=n,n-1，…,1

Step3[还原排列次序］：
对i=1，2,…，n—1
x＊ := yi
(3) 列主元素消去法
在计算机上实现主元素消去法意味着进行数的比较操作，全选主元素法需要相当多的计算时间，因此常采用局部选主元素的方法.
列主元素消去法依次按列选主元素，只须进行方程行 交换，不产生未知数次序的调换。
① 按列选主元过程
设方程组AX=b的增广矩阵为

首先在A(1）中第一列选取绝对值最大的元素为主元素，保证
从而确定 ik.
② 行变换
If ik ¹ 1 then 交换第 1 行与第ik行;
重复上述过程,设已完成第k—1次按列选主元消元后，得到下列等价方程组：

在方框内的诸元素中选取绝对值最大的元素为主元素，保证：
从而确定 ik。
If ik ¹ k then 交换第 k 行与第ik行;
然后进行消元,如此进行，直至k=n—1为止.
3.1 列主元素Gauss消去法[算法]
Step1[消元］:
对k=1,2，…,n-1
① 选主元 确定 ik，满足；
② 若则停止计算，detA=0。
③ If ik ¹ k then 交换第 k 行与第ik行;
④ 消元
对i=k+1,k+2，…，n
计算因子；
对j=k+1,k+2，…，n
计算；
Step2[回代]：
① 若则停止计算，detA=0。
② 对i=n,n-1，…,1

(4) 例题分析:
求解方程组：
解之得：X*=(—0。479107 -0.033089 0.355552）T
HW： 3。5
□

作业讲评3
［3.1] 设有方程组
(1） 考察用Jacobi’Method、Gauss-Seidel’Method解方程组的收敛性。
（2） 用Jacobi’Method、Gauss—Seidel'Method解方程，要求当|| x(k+1)—x(k)||<10-4终止。
解：（1) 由于方程组系数矩阵A=是一个严格对角占优矩阵,故用Jacobi’Method、Gauss-Seidel’Method进行迭代求解时算法均收敛.
(2） 用Jacobi'Method. 据此建立迭代公式：

取迭代初值，其计算结果如表一。
Jacobi’Method计算结果(表一)
迭代次数
x1
x2
x3
0
0
0
0
1
-2.4
5
0.3
2
—4.46
4。25
2.28
3
—4。556
2.745
2.467
4
-3。9914
2.6275
2.0347
5
—3.85794
2。9848
1.88653
6
-3.97123
3。09225
1。967028
7
-4。03031
3.02368
2.02192
8
-4.01386
2。981464
2.013165
9
-3.99522
2.989954
1.99721
10
—3。99542
3。00259
1。99603
11
—4。00024
3.003129
1。999862
12
-4.00122
3。000009
2.000987
13
-4。0002
2。9992
2.000247
14
-3。99973
2.999826
1。9998
15
—3。99989
3。000167
1。999894
16
—4.00005
3。000081
2。000028
17
-4.00004
2.999974
2。000033
18
-4
2。999974
2

利用Gauss-Seidel'Method,据此建立迭代:

取迭代初值，其计算结果如表二.
Gauss—Seidel'Method计算结果(表二)
迭代次数
x1
x2
x3
0
0
0
0
1
-2。4
4.4
2。1
2
—4。58
2.805
2.0575
3
-3.9335
2.987875
1。983063
4
—3。99176
3。010528
2。001511
5
—4.00451
2.998116
2.000338
6
-3.99931
3。000003
1。999864
7
-3。99997
3。000075
2.000017
8
-4.00003
2.999983
2。000002

[3.2] 设有方程组
迭代公式为：
求证由上述迭代公式产生的向量序列｛X（k）｝收敛的充要条件是
证明: 显然，上述迭代格式属于Jacobi迭代格式，其迭代矩阵为X（k）=BX(k—1)+f，
其中，B=，由迭代法基本定理得：
. 即

［3.3] 用SOR方法解下列方程组(取松弛因子),要求 ｜| x(k+1）-x(k）||〈10—4,。
解： SOR方法是Gauss-Seidel法的一种改进(修正）.
Gauss—Seidel'Method 迭代格式为：,
因此，SOR法的迭代式为：

取迭代初值，其计算结果如表三.
SOR'Method计算结果（表三）
次数 x1 x2
0
0
0

1
0.6
-1.32
1.32
2
1.272
—0。8544
0.672
3
0.85824
—1.071648
0.41376
4
1。0713408
-0.964268
0。2131008
5
0。9642927
-1。017859
0.1070481
6
1。0178566
-0。991071
0。0535638
7
0.9910715
-1.004464
0。0267851
8
1.0044643
—0.997768
0。0133928
9
0。9977679
-1。001116
0.0066964
10
1.0011161
—0。999442
0。0033482
11
0.999442
—1。000279
0.0016741
12
1。000279
—0。99986
0.0008371
13
0。9998605
—1。00007
0.0004185
14
1.0000698
—0。999965
0。0002093
15
0.9999651
-1.000017
0.0001046
16
1.0000174
—0。999991
5。232E-05

□

§3。7 三角分解法
1 矩阵A的LU分解:
已给n阶方阵A，若能求得一个下三角方阵L和一个上三角方阵U,使得A=LU,则我们称方阵A有LU三角分解.

由高斯消去法，我们知道它是通过逐步消元过程，将方程组的系数矩阵A转变为一个上三角矩阵，这实际上相当于用一系列初等矩阵左乘A。
2 高斯消去法的矩阵形式：
Step1:第一次消元(）：

即相当于：
记： 其中，.

Step k:第k次消元（）:
，其中，

Step n-1:第n-1次消元(）：

记于是可以推出。
其中
。
由上述讨论可知，高斯消去法实质上产生了一个将系数矩阵A分解为上三角阵与下三角阵相乘的因式分解。若A的所有顺序主子式均不为0，则 A 的 LU 分解唯一（其中 L 为单位下三角阵）.
设有方程组AX=b，并设A=LU，于是
AX=LUX=b
其中,

令 UX=Y，
则 LY=b。
于是求解AX=b的问题等价于求解两个方程组UX=Y和LY=b。 具体的解法如下：
(1) 利用顺推过程解LY=b,其计算公式为：
。
(2) 利用回代过程解UX=Y，其计算公式为: .
上述方法称为求解线性方程组的三角直接分解法.这种分
解又称为Doolittle分解法。
3 Doolittle分解法[算法］
Step1[分解]:
① 对i=1，2，…,n
；
② 计算U的第r行,L的第r列元素
对r=2，3…,n

Step2[顺推过程］: 求解LY=b

Step3[回代过程］： 回代过程解UX=Y 。
4 算例
用Doolittle分解法解方程组

解： 用Doolittle算法计算得：

解得LY=(14，18，20)T，得Y=(14,—10，—72）T
UX=(14，-10,—72)T,得X=（1,2,3）T
□

§3.8 追赶法
1 三对角方程组
具有如下形式的方程组：

称为三对角方程组。
特点：其系数矩阵为一种带状的稀疏矩阵，非零元素集中分布在主对角线及相邻两条次对角线上,且系数矩阵为严格对角占优阵,即

利用高斯消元法，经过n—1次消元后,可得等价的方程组：

其中，
追的过程
利用回代依次求出，于是,
赶的过程
HW: 3。6 3。7 3。8(希望上机实习)
□

§3。9 其它应用
1 计算｜A｜

设A=（aij）n:
a) det（A)=det（AT）;
b) 数a乘A的一行得：det=adet（A）；
c) A的两行互换得：det=—det（A);
d) A的一行乘以a加到另一行得:det=det（A);
e) A的两行成比例：det(A)=0;
f) det(AB)=det（A)·det(B)； 其中B=(bij)n
由以上定理可知，通过高斯消元法的计算可得到行列式
的值。
例1 用列主元素法求det(A）的值，其中

解：由矩阵A的LU分解过程，可知,因此，若用列主元素法求行列式的值，只须将每一步的主元素相乘即可,当然要注意行列式的值的符号改变。其计算过程如下所示。

1 计算A—1
在某些应用中,如在统计学中，可能还需要计算矩阵A的逆,并且将它明显地表示为A—1。
1.1 利用A的LU分解计算A—1
设A=（aij)n为满秩矩阵，则
AX=I， (1)
这里I为单位矩阵，显然X为A的可逆矩阵A-1。
将方程(1）改写为
A[X(1），X（2）,…,X（n)]=［I（1),I（2)，…，I（n)］ （2）
其中，X(j）, I(j）分别表示X和I的第j列。
于是，方程（2）又可改写为n个线性方程组的形式:
AX（j)=I(j） , (3）
由于这n个方程组的系数矩阵相同,故可应用LU分解法来进行计算，这样A-1=［X（1）,X（2)，…,X(n)］。并且能够极大地节省计算工作量.
1.2 利用高斯消元法计算A-1
例如:对矩阵,求A—1.
解:

故
□

§3。10 误差分析
1 问题的提出
设方程组AX=b， 其中，A=(aij）n为非奇异阵，X=（x1,x2，…，xn）T, b=（b1，b2，…,bn)T。由于原始数据aij， bi往往是观测数据，难免带有误差,因此，我们下面讨论原始数据的微小变化对方程组的影响。
2 例题

的准确解为，当向量b以较小的扰动时，即
b=（）T,这时方程组的准确解为，说明右端项的微小变化引起了解的很大扰动，其原因是由方程组本身的状态所决定的.
下面分别讨论右端项bi的误差对解的影响以及系数矩阵元素aij的误差对解的影响。
2 右端项bi的误差对解的影响
设 A 精确，有误差，得到的解，即

而
于是,
上式说明右端项的相对误差在解中放大了倍.
3 系数矩阵元素aij的误差对解的影响
设b精确，A有误差，得到的解为，即

或者，

(只要||dA｜｜充分小，使得,有

上式表明:当｜｜dA|｜充分小，矩阵A的相对误差在解中可能放大了倍.
称cond(A）=为矩阵A的条件数。
当cond(A)>〉1时,则方程组是“病态”的；当cond（A)较小时，则方程组是“良态"的。通常的条件数有:
（1） cond(A)=
（2） cond（A）=
特别地，若 A 对称，则.
3 例题
已知，求A的条件数.
解: 由 ，于是
39206>〉1。说明由A构成的系数矩阵方程组是“病态”的.

□

§3.11 总结
［高斯消去法] 是解线性方程组直接方法的基础。将线性方程组约化为等价的三角形方程组再求解是直接法的基本解法。在约化过程中,引进选主元素的技巧是为了保证方法的数值稳定性所采取的必要措施.如全选主元素消去法；列选主元素消去法等。
［直接三角分解法] 是高斯消去法的变形.从代数上看,直接三角分解法和高斯消去法本质上是一致的。但从实际应用效果来看是有差异的。如用Doolittle分解法解具有相同系数矩阵但右端向量不同的方程组AX=B=（b1,b2，…，bm)是相当便利的，每解一个方程组AX=bi仅需增加n2次乘除法运算.
迭代法是一种逐次逼近方法，注意到在使用迭代法时，Xk+1=BX(k)+f ，其迭代矩阵B和迭代向量f在计算过程中始终不变,迭代法具有循环的计算公式、方法简单.此外,应注意收敛性与收敛速度问题。收敛性是迭代法的前提，针对不同的问题，分析并采用适当的数值算法，如Guass—Seidel方法、SOR方法等.
对以上算法的分析，立足点是在计算机上实现。因此，我们对于方法的掌握不仅在数学推导和数学公式上，而且应当深入思考方法的计算机实现过程，以加深对数值计算的认识和理解.
□