最小二乘法原理的几何解释.pdf

最小二乘法原理的几何解释最小二乘法原理的几何解释 这篇文章用通俗易懂的语言，从几何的角度解释了最小二乘法的解为什么是1TTxA AA b，只要高中生的知识水平就可以了，彻底颠覆代几老师那种枯燥的上课方式！请在安静的时候花上 10 多分钟看看，你的线性代数水平会上一个档次的，这是真的。线性方程组的几何意义线性方程组的几何意义 为了从几何的角度解释最小二乘法，我们必须先回顾一下线性方程组的几何意义。线性方程组可以从行和列两个角度看。我们先看行的角度。从行的角度看从行的角度看 从这种角度看线性方程组是高中老师教我们的。请看以下方程组，它表示平面上的两条直线。121231xxaxxb直线直线 (1)线性方程组的解就是这两条直线的交点，121,2xx。图 1 没什么大不了的，这谁都知道。但是怎么从列的角度看待线性方程组呢？我相信大部分人对从列的角度看线性方程组是感到陌生的。从列的角度看从列的角度看 先把方程(1)写成矩阵的形式，得到(2)式。1212 1 13-1 11xxaab (2)从列的方向看矩阵，可以看到12a a b三个列向量，这样看还不是很明显，干脆把(2)式再拆开，得到(3)式。1x2xMCR1Macer12112211311-1xxaxaxb (3)怎么拆的？矩阵乘法好像不是这个样子的！放心吧，矩阵乘法就是这个样子的，只是这种写法我们在代几课上不常见，但矩阵乘法的意义就是这个样子的。表示向量1a的1x倍加上向量2a的2x倍等于向量b。1x和2x我们在看行图像的时候已经求出来了，121,2xx。于是我们把向量1a，向量2a和向量b画到图 2 上。图 2 很神奇对不对，向量1a的1倍加上向量2a的 2 倍刚好等于向量b，而倍数 1 和 2,就是我们要求的1x和2x。那么从列的角度看线性方程组Axb的解，就是为系数矩阵A里的每一列都寻找一个合适的倍数，使每一列乘上这个倍数后再相加刚好等于向量b，这个倍数就是解。官方语言就是找到A里的列向量的一个线性组合。只要学会了从列的角度看待一个线性方程组，接下的推导就很简单了。讲完了列的角度，终于要进入最小二乘法了！讲完了列的角度，终于要进入最小二乘法了！MCR2Macer最小二乘法的几何解释最小二乘法的几何解释 我们从一个最简单的例子开始，已知平面上有 3 个点(1,2),(0,2),(2,3)，图 3 我们想用一条直线去拟合它。像高中时一样，设这条直线的方程为ykxb。我们希望这条直线可以同时通过这三个点，也就是这条直线的参数要满足：120223kbkbkb 从图 3 直观的看，没有一条直线可以同时过这三个点，所以这个方程是无解的。怎么解一个无解的方程组呢？下面好戏开始了怎么解一个无解的方程组呢？下面好戏开始了。为了表述方便，我们换一下符号，用1x表示k，用2x 表示b。即：121212120223xxxxxx (4)写成矩阵的形式：121 120 122 13xxAxb 从列的角度看：121122112012213xxaxaxb 一但化成列的形式，我们就很自然想到把向量12a ab和 画到图上。012340123MCR3Macer 图 4 要找到解，就要找到12aa和的一个线性组合，使得组合后的向量刚好等于b。可惜的是任何的12aa和线性组合，只可能出现在12aa和所在的平面S上（这个平面S就是传说中的向量空间），但是向量b不在平面S上，如图 5。不可能找到解，怎么办呢？图 5 找不到完美的解，就只能找到一个最接近的解。所以我们想在平面S上找一个最接近向量b的向量来代替向量b，记这个替代品向量为P。就是过向量b的终点做平面S 的垂线（也就是做投影），垂足就是代替向量P的终点。P与b之间的误差ebP。b2a1aSb2a1aMCR4Macer 图 6 原来的方程为Axb是无解的，我们用P代替b后，P在12aa和所在的平面上，所以现在方程AxP就一定是有解的啦。接下来到了最关键的时候了，怎么解出接下来到了最关键的时候了，怎么解出 x？我们知道，P与b之间的误差为:ebPbAx (5)要想使P与b之间的差距最小，那么e一定是垂直于平面S的，也就是要垂直于1a和2a。想一想在高中时是怎么表示两个向量垂直的？只要他们的点乘等于 0 就行了。也就是120,0e ae a，用矩阵表示出来就是120,0TTa ea e。即：0TA e (6)把(5)带入(6)中，结果出来了，0TAbAx，化简一下就是TTA AxA b，这就是传说的超定方程的解法，这么简单就推出来了！所以最佳的近似解就是1TTxA AA b。这里你是否担心TA A不可逆？不会的，只要A的每一列是线性无关的，那么TA A就是一个可逆的对称的方阵。这样，按公式解出的 11111 12 -1 0 21 0 25 3881 11220 12151 1 11 1 13 37726-2 1326x bPeSMCR5Macer 图 7 解出了最近似的解为(1/2,11/6)。从列的角度，我们就可以用1a和2a的线性组合来表示P，如图 7 所示。那么最优的直线的斜率和截距就是我们解出的 k=1/2，b=11/6=1.8333。如图 8。图 8 y=0.5x+1.8333 012340123112a 2116a PMCR6Macer图 8 既不是行的角度，也不是列的角度，它只是问题的来源，那如果从行的角度看方程(4)，是什么样子的，方程的每一行都是一条直线，三条直线不相交于一点，我们的解是图 9 中的圆点，是中间三角形的重心？质心？不知道呀看起来有点像。图 9 这里只是举了一个简单的不能再简单的例子来说明做小二乘法的原理。它简单到可以画出列向量的图，对于更高维的向量，列向量的图就画不出来了，但它任然存在于一个高维的空间里。公式1TTxA AA b任然适用。MCR7Macer