粗差定位及方法分类.doc

1、粗差定位及方法分类
粗差定位是在平差过程中，自动发现粗差的存在，并正确的指出粗差的位置，从而将它从平差中剔除。它不仅仅是个理论问题，而更主要的是算法上的问题，要针对不同平差系统和可能出现的不同类型的粗差，进行由程序控制的自动探测过程。处理观测值中的粗差有两种不同的模型，一种是所谓“数学期望平移”模型，另一种是“方差扩大”模型。
一、数学期望平移模型
这种方法的思想是在正式进行最小二乘平差之前探测和定位粗差，然后剔除含粗差的观测值，得到一组比较净化的观测值，然后再作最小二乘平差。
含粗差的观测值可以看作与其它同类观测值具有相同的方差、不同的期望的一个子样，即：
～ （1）
～ （2）
为正常观测值，为含粗差的观测值。
它意味着将粗差视为函数模型的一部分。可见，平均漂移模型是将含粗差的观测值看作为与正常观测值有相同方差不同期望。对此模型，可根据平差的结果严格构建相应的统计量，在给定得显著水平下，便可与临界值相比较，从而判断相应的观测值是否包含粗差。
二、方差扩大模型
含粗差的观测值可以看作与其它同类观测值具有相同的期望，但不同的方差的子样，含粗差观测值的方差将异常得大，即：
～ （3）
～ (4)
可见，方差扩大模型是将含粗差的观测值与正常观测值视为有相同的期望， 不同的方差，而且通常比1大的多。
因此，平均漂移模型可以解释为将粗差归入函数模型，方差扩大模型则解释为将粗差归入随机模型。
2、粗差归入函数模型时的粗差检测方法
当粗差归入函数模型时，单个粗差的检测方法即知名的数据探测法。
一、经典粗差检测法
对于观测数据中可能存在的粗差进行检验，传统上大多采用几何条件闭合差。在常规大地测量中，由于粗差和极限误差的界限难以清晰的区分，因此用探测粗差存在着一定的困难，特别是对于那些接近极限误差的，情况更是如此。用残差（改正数）检测粗差对于常规大地测量、卫星大地测量和航空摄影测量都适用，它不但可以检验观测列中存在着的粗差，而且还可以检验起始数据粗差和数据传输过程中的其它可能出现的粗差。
利用残差检验粗差的经典方法是采用规则，这里，当

时，则认为第个观测值存在粗差。
这就是传统上用残差检验粗差的意义。
二、数据探测法
上述方法检验粗差，在理论上是不严格的。因为～，故对V进行标准化，应当用
(4)
而不应该用，即
， ～ (5)
而不是
用作为探测粗差的统计量，是Baarda数据探测法理论的核心。采用目前国际上公认的Baarda所选用的显著水平，由正态分布可查得
(6)
即以～作为零假设，若，则接受零假设，也就是检验结果为在该显著水平下不存在粗差；反之，若，则拒绝，判断其有 粗查存在。
用作为探测粗差的统计量，有三种情况：
（1） 在已知单位权方差的情况下，有下列正态变量—标准化残差：
（7）
（2） 当未知单位权方差时，得到下列t分布的检验量：
～ （8）
其中 （ 9）

Baarda粗差探测法每次只能检验出一个粗差，当存在几个粗差时，只有逐个进行检验，即首先剔除超出临界值最大的那个观测值，然后进行下一次平差求出残差，仿照前述方法再一次进行粗差探测，依此继续下去。
三、数据探测法的缺点
数据探测法在具体应用中存在以下几点不足：
（1） 某些情况下单位权无法预知。
（2） 剔除含粗差观测值，减少了多余观测分量，可能造成监测网形亏，水准网出现单线甚至不能平差的情况，某些点的高程无法计算，形亏问题可以解决，但大大增加了平差的工作量。
（3）由于粗差对每个观测值都有影响，统计检验中，弃真、纳伪的情况也是存在的，这样， 尤其在存在多个粗差时，第一次去掉的残差最大的观测值很有可能并不包含粗差，从而造成错误的判断。
3、粗差归入随机模型时的粗差定位方法
这种定位方法是根据逐次迭代平差的结果来不断的改变观测值得权，使含有粗差的观测值的权趋向于零，从而达到剔除粗差的目的。目前常用稳健估计的方法进行粗差剔除。
一、稳健估计原理
所谓稳健估计，是在粗差不可避免的情况下，选择适当的估计方法， 是所估参数尽可能减免粗差的影响，得出正常模式下最佳或接近最佳的估值。
稳健估计一般分为三类：M估计、L估计和R估计。M估计是一种广义的极大似然估计，它是经典的极大似然估计的推广，易于实施。所以M估计在参数估计中应用的较广泛。本节将重点介绍M估计的概念及应用。L估计是排序统计量线性组合估计，它需将观测子样按其大小排列。R估计是秩检验型估计，我们只对L估计、R估计的基本概念作一简单介绍。
① 广义极大似然估计（M估计）
最小二乘估计要求
（10）
个别异常大残差的出现将会导致平方和迅速增大，为了达到平方和极小的目的，估值必然要迁就那些异常值。所以，个别异常值会对整个估值产生大的影响，这就启示人们，如果用增长较慢的极小化残差函数代替平方和函数，是否可以得到比最小二乘估计较好的抗粗差性的估计呢？M估计正是基于这样的想法。
设有参数向量X，是未知的非随机量，为了估计X，进行n次观测，得到观测向量L的观测值l，由极大似然估计有
（11）
或
（12）
其中是随机量的密度函数。可以用代替函数，使其定义广泛化，于是可得
（13）
或
（14）
式中
（15）
由（13）和（14）出发，对参数x进行估计，就是广义极大似然估计，简称M估计。
在测量平差中，观测量的平差为V，M估计的函数可取为，M估计准则为：
（16）
或
（17）
M估计中的或是任意适当选取的函数，M估计的稳健性与（或）的选择有关，例如，当
（18）
时，就是最小二乘估计，但不具有抗粗差性。选取不同的（或），会得出不同的M估计，稳健性也不相同。
由于选择的不同，M估计将有不同的形式。所以，M估计不是指某个特定的估计，而是某一类具有稳健性的估计。
在假定模型基本正确的前提下，稳健估计具备抗大量随机误差和少量粗差的能力，使所估参数达到最优或接近最优。抵抗少量粗差对参数估值的影响是稳健估计理论的研究重点，而抗粗差干扰强弱的标志是能容然多少个观测粗差。因此稳健估计不象最小二乘估计那样，追求参数估计在绝对意义上的最优，而是在抗粗差前提下的最优或接近最优。
二、选权迭代法
选权迭代法的基本思想是：从最小二乘进行平差，得到第一组残差，在每次平差后，根据其残差和有关的其他参数，按照所选取得权函数，计算出下次迭代中观测值相应的权。而含粗差观测值的权将越来越小，直至趋近于零。迭代中止时，相应的残差将直接指出粗差的值，而平差的结果也将不受粗差的影响， 从而实现粗差的定位剔除。
随着权函数的选取不同通常权是一个在平差过程中随改正数变化的量，经过多次迭代，从而使含有粗差的奇异观测的权为零（或接近于零）。而相应的残差值在很大程度上反映了其粗差值。这样一种通过在平差过程中的变权实现参数估计的稳健性的方法，称之为选权迭代法。
其中权函数的选取应该满足下列条件：
（1） 通过迭代，含粗差观测值的权应逐步趋近于零；
（2） 不含粗差观测值的权，在迭代中止时应等于该组观测值的权。
（3） 权函数的选择应保证迭代过程能以较快的速度收敛。
设M估计的函数可取为，M估计的准则为:

（19）
通常残差V为未知参数的函数，将上式对未知参数求一阶导数，并令其等于零，求出极值点
(20)
平差中的误差方程
（21）
为的第行向量，则根据（20）式有
（22）
令为权函数，则上式成为：
（23）
将（21）代入上式得
（24）
若以矩阵形式表示上式则为：
（25）
上式与最小二乘估计中的法方程形式完全一致，只是用权函数代替了观测权阵。因此，稳健估计的选权迭代法可以归结为如下模型：

权函数为，估计准则为
（26）
这与最小二乘模型极为相似，不同的是权函数计算前未知，式残差的函数，只能通过给其赋予一定的初值，迭代估计参数。
1、列立误差方程，令各观测权函数初值均为1；
2、计算法方程，得出和的第一次估值
，
。
3、根据和所选取的权函数计算个观测值的权，再解算法方程，类似迭代计算，直至前后两次解的差值符合限差的要求为止。
4、最后的结果为
，

权函数的选取有多种不同的形式，比较常用的方法也有多种，下面我们简要介绍几种。
1、Huber法
权函数为
（29）
由Huber权函数可以看出，当所有的改正数均在与之间时，Huber估计就是经典最小二乘估计。当有观测值的改正数大于时，对应得权函数就越小，相应的该观测值对参数估计的影响就越小。当观测值改正数远远大于时， 其权就接近于零，则该观测值对参数估计的影响就变得微乎其微。
2、丹麦法
丹麦法的出发点也是经典的最小二乘平差。用第一次平差的残差，根据下列的权函数计算各观测值的权进行下一次迭代：
（30）
按经验，丹麦法得权函数进行粗差检验比较有效。通常要经过5～10次迭代。最后受粗差影响的观测值的权变为零，而它们的残差将直接指出粗差的数值，平差的结果也将不受或少受粗差的影响。
3、一次范数最小法（L估计）
权函数为
（31）
为避免时出现计算问题， 计算时上式取为:
， （32）
相对于是一个很小的值。
4、范数最小法（估计）
（33）
式中取值为。
目前测绘界出现了很多选权迭代的方法。这些方法的共同点都是用残差的函数作为观测值的权，不同的只是权函数的形式。
§2.4 实例分析
一、高程控制网粗差剔除实例
我们以苏通大桥北岸高程控制网为例。苏通长江公路大桥北岸高程控制网共有13个首级控制点，记为A1～A13，其中A1(即STBM-1)为起算点，起算高程H=1.6840m，该起算点高程由北岸的狼山岩点联测起算一等水准得到，布设情况如图1所示。
控制网采取间接平差法进行平差计算。平差以待定点高程为未知数，以测段距离定权，根据不同观测量观测高差中误差确定权系数比。平差元素为：二等水准观测的各测段高差（高差施加以下改正：标尺长度误差改正、正常水准面不平行改正和重力异常改正）。观测数据如表1所示。

图1

表1
路线
观测值
权
路线
观测值
权
路线
观测值
权
A1-A7
0.9747
0.3226
A2-A1
-1.8746
0.2703
A12-A11
-1.7549
0.7692
A7-A8
3.1930
5
A2-A4
0.1740
0.8333
A11-A10
-0.3821
0.7692
A8-A9
-.1046
10
A4-A5
-0.0939
0.7692
A7-A1
-0.9745
0.3226
A9-A10
-2.2566
1.4286
A5-A6
-0.9632
2.5
A8-A7
-3.1933
5
A10-A3
-1.4943
1.4286
A6-A13
3.3065
0.5882

A3-A2
1.5623
2.5
A13-A12
-0.3546
0.7143

无粗差情况下各种方法平差的结果如2表所示。

表2
点号
A2
A3
A4
A5
A6
A7
A8
A9
正确结果
3.5586
1.9962
3.7326
3.6387
2.6755
2.6587
5.8517
5.7471
Huber法
3.5586
1.9962
3.7326
3.6387
2.6755
2.6587
5.8517
5.7471
一次范数最小法
3.5585
1.9960
3.7324
3.6385
2.6753
2.6587
5.8512
5.7467
范数最小法
3.5584
1.99659
3.7324
3.6385
2.6752
2.6587
5.8509
5.7464
验后方差估计法
3.5586
1.9962
3.7325
3.6389
2.6757
2.6587
5.8517
5.7471
基于线性规划的
Huber法
3.5586
1.9962
3.7325
3.6389
2.6757
2.6587
5.8517
5.7471
基于线性规划的
一次范数最小法
3.5586
1.9962
3.7326
3.6390
2.6758
2.6587
5.8517
5.7471
最小二乘法
3.5586
1.9962
3.7325
3.6389
2.6757
2.6587
5.8517
5.7471

A10
A11
A12
A13
3.4905
3.8726
5.6275
5.9820
3.4905
3.8726
5.6275
5.9820
3.4903
3.8723
5.6272
5.9818
3.4901
3.8722
5.6271
5.9817
3.4905
3.8726
5.6276
5.9822
3.4905
3.8726
5.6276
5.9822
3.4905
3.8726
5.6275
5.9821
3.4905
3.8726
5.6276
5.9822
从上表可以看出，在无粗差的情况下，包括最小二乘法平差在内，各种方法平差的结果基本一致，与正确结果基本无差异，说明各种方法在无粗差情况下平差的正确性和有效性。
用数据探测法对平差观测值改正数进行检验， 无粗差存在。
为了说明选权迭代法在粗差剔除中的应用，我们在观测数据A8—A7中加入2mm的粗差，即其观测值为-3.1910。则各种方法的高程平差结果如表2所示，观测值改正数如表3所示。

表2 高程平差值(m)
点号
A2
A3
A4
A5
A6
A7
A8
A9
正确结果
3.5586
1.9962
3.7326
3.6387
2.6755
2.6587
5.8517
5.7471
Huber法
3.5586
1.9962
3.7326
3.6387
2.6755
2.6587
5.8517
5.7471
一次范数最小法
3.5585
1.9960
3.7324
3.6385
2.6753
2.6587
5.8512
5.7468
范数最小法
3.5584
1.9959
3.7324
3.6385
2.6752
2.6587
5.8509
5.7464
最小二乘法
3.5581
1.9957
3.7320
3.6381
2.6749
2.6589
5.8509
5.7463

A10
A11
A12
A13
3.4905
3.8726
5.6275
5.9820
3.4905
3.8726
5.6275
5.9820
3.4903
3.8723
5.6272
5.9818
3.4901
3.8722
5.6271
5.9817
3.4898
3.8719
5.6268
5.9814
表3 观测值改正数（mm）
路线
A1-A7
A7-A8
A8-A9
A9-A10
A10-A3
A3-A2
A2-A1
A2-A4
正确结果
-0.03
-0.01
0.00
0.00
-0.03
-0.01
-0.01
-0.03
Huber法
0.00
0.00
0.00
0.00
0.01
0.01
0.00
0.01
一次范数最小法
0.03
-0.56
0.13
0.13
0.07
0.07
0.13
-0.01
范数最小法
0.09
-0.89
0.17
0.17
0.15
0.15
0.17
-0.03
最小二乘法
0.21
-0.99
0.01
0.10
0.10
0.05
0.52
-0.01

A4-A5
A5-A6
A6-A13
A13-A12
A12-A11
A11-A10
A7-A1
A8-A7
-0.03
-0.01
-0.04
-0.03
-0.03
-0.03
-0.02
-0.01
0.01
0.01
0.01
0.01
0.01
0.01
0.00
-2.02
-0.01
-0.01
-0.01
-0.01
-0.01
-0.01
-0.03
-1.46
-0.03
-0.03
-0.03
-0.03
-0.03
-0.03
-0.09
-1.13
-0.01
-0.01
-0.01
-0.01
-0.01
-0.01
-0.22
-1.02

从高程平差值和观测值改正数表格中我们可以看出，当只有一个粗差时，用最小二乘法平差的结果较大的偏离了正确的数据，而观测值的改正数也基本上均分了粗差的影响，达不到施工要求的精度，不能作为施工控制的依据，也就是说最小二乘法的抗差能力较弱。而用上面介绍的多种选权迭代法进行平差，各种方法与其对应的利用线性规划值作为初值进行迭代的方法结果保持一致。而且所有高程平差结果基本一致，与正确结果并无大的出入，仍可作为正确的高程使用，从观测值改正数中可以看出A8-A7观测值的改正数远远大于其它观测值的改正数，我们可以确定这个观测值含有粗差，同时也使粗差对改正数的影响集中到这个观测值上，对其他改正数影响不大，这也说明了这些方法具有较强的抗粗差能力，有效的剔除了粗差，使粗差的影响范围仅仅局限在含有粗差的观测值上。