基于自适应加权的多传感器实时数据特征值提取_全恩懋.pdf

第 卷第 期重庆邮电大学学报（自然科学版）年 月 （）：基于自适应加权的多传感器实时数据特征值提取收稿日期：修订日期：通讯作者：秦小平 基金项目：国家重点研发计划项目（）；新疆维吾尔自治区自然科学基金（）：（）；（）全恩懋，秦小平，许宏科，孙中洋（重庆水利电力职业技术学院 市政工程学院，重庆；长安大学 电子与控制工程学院，西安；招商局重庆公路工程检测中心有限公司，重庆）摘 要：为实现监测数据的特征值提取，对传感器数据的预处理、时间维及空间维融合方法开展了研究。建立了实时数据融合模型，提出了基于 检验的异常数据预处理方法，兼顾了异常数据剔除的速度与精度，能很好地消除疏失误差；对单个传感器数据采用分批估计原理进行融合，得到了特征估计值，实现了数据在时间维上的融合；通过对多个传感器的特征估计值采用自适应加权方法进行赋权，实现了数据在空间上的融合，并提出了考虑传感器精度的算法修正。实例计算表明，数据经 方法处理后方差减小了，与传统的算术平均滤波方法相比，分批估计自适应加权融合算法的数据融合方差明显更小，考虑传感器精度后的融合结果更接近高精度传感器值，特征值提取结果更加准确、可靠。关键词：监测数据；多传感器；疏失误差；特征值融合；分批估计；自适应加权中图分类号：，文献标志码：文章编号：（），（，；，；，）：，：；引 言目前，长期监测系统在交通、环境、水利、土木工程等诸多领域都得到了大量应用和发展。监测系统采用高频率的实时采集方式能获得监测对象的大数据信息，并且同一位置同一指标通常设置有 个以上的传感器，因此，监测数据结果为多传感器实时大数据。为反映监测对象的工作状态，通常需要将监测数据融合为一个代表值，称为数据特征值。该融合过程称为数据特征值的提取。文献提出了多传感器加权数据状态估计的方法，考虑了传感器精度，减小了数据偏差；文献基于线性最小方差最优融合准则，提出了一种加权融合鲁棒增量 滤波算法；文献利用动态贝叶斯原理，建立贝叶斯数学模型，对数据测试段进推理估计，处理数据异常；文献针对水质监测无线传感网络数据的高精度要求，提出了一种基于支持度函数的数据融合算法，通过对各传感器数据进行一致性检测，采用改进的动态时间弯曲距离对支持度函数进行优化，并采用加权算法完成数据融合，实现了错误数据的校正，获得了高质量融合数据；文献采用 准则检验实测数据，基于传感器自身精度的固定方差和传感器测量时的实际方差，提出了一种优化的自适应最优权值分配方法，实现了传感器数据的空间融合；文献采用给定门限进行一致性检验，利用分批估计自适应加权技术实现了多传感器数据融合；文献通过对实测数据的统计分析，提出了传感器工作状态的实际精度近似计算模型，并在此基础上对多传感器数据进行了自适应加权空间融合；文献基于 的无线传感器网络，提出了节点动态选择的数据融合方法；文献利用分布图法剔除异常数据，通过计算各传感器间的置信距离得出传感器支持度，以支持度最高的传感器数据代替剔除数据进行自适应加权，实现了所有时刻的传感器数据空间融合；文献在群集无线传感器网络中提出一种使用网络编码的自适应数据融合分析方法；文献利用四分位离散度对异常值进行剔除，采用分批估计理论实现了单传感器数据的融合，将传感器支持度作为局部期望权重，将自适应权重作为局部方差权重，对二者加权平均得到综合权重，实现了多传感器数据的融合。可见，在众多的数据融合方法中，自适应加权融合理论因不需任何先验知识且融合结果精度较高等优点，得到广泛的研究和应用，其典型的应用场景：传感器作为频率固定数据源，通过现场采集设备、临时存储设备对数据进行收集，并通过现场通讯设备将数据发送至服务器终端，在终端上采用软件实现数据融合。该场景与监测系统工作模式基本一致，故以自适应加权融合算法为基础探索监测数据特征值提取方法。如前述文献，基于自适应加权的数据融方法已有一定研究成果，但针对长期监测数据，特别是土木工程监测系统，仍有改进的必要。首先，由于监测系统受工作环境、设备耐久性等因素的影响，监测数据不可避免会产生异常值。目前异常值检验方法主要包括 准则检验、门限法、分布图法、引入门限参数的分布图法等。门限方法检验速度最快，但可靠性稍差，特别是门限参数采用主观设置时，缺乏理论依据；准则检验效果较好，但检验过程需查表，影响了检验速度；分布图法需先对数据序列进行排序且计算参数更多，检验速度较慢。因此，对于监测大数据，特别是长期数据，研究兼顾速度与精度的数据预处理方法，具有重要意义。再者，实际工程中的传感器本身可能存在精度差异，客观上应考虑传感器精度对数据融合结果的影响。针对以上问题，为实现监测数据的特征值提取，本文对传感器数据的预处理及时间维、空间维融合方法开展研究。基于时空融合的数据特征值提取过程 监测数据特征值提取的实质为传感器数据在时间维和空间维的融合，简称数据的时空融合。数据特征值提取过程如图 所示。图 数据特征值提取过程 第 期 全恩懋，等：基于自适应加权的多传感器实时数据特征值提取 针对 个传感器时序数据段，（，），数据的时空融合步骤如下。步骤 对 进行预处理，剔除异常数据，得到有效数据段；步骤 对 进行时间维融合，将数据序列融合为传感器特征估计值；步骤 计算各传感器的最优权值，对 进行空间维融合，得到监测点的融合特征值?。基于 检验的数据预处理监测数据因为传感器精度、设备安装连接缺陷、周边环境影响、传输过程干扰等常出现一些数据孤立点，该类数据对正常数据的信息必然产生干扰，导致评估结果失真，特别是数据误差较大时，会导致提取的数据特征严重偏离真实值，甚至完全覆盖实际信息。这类孤立点数据称为异常数据，其带来的误差称为疏失误差。目前常用的异常数据剔除方法主要有莱特准则、准则、分布图法以及 准则等。由于 准则的阈值具有很好的动态性，目前较多学者在监测数据处理中都采用 准则，其计算过程如下。若编号为 的传感器某时段时序数据段为，（，），则 的均值和标准差分别为 （）（）（）令阈值为 （）对超出阈值范围的数据进行剔除，对剩余数据再次计算阈值，迭代剔除异常数据，直到所有数据均满足准则要求。准则的阈值仅依赖样本数据本身，因此检验速度快，但 准则对全局孤立点异常数据较有效，对局部孤立点异常数据缺乏有效的检出率。而 准则能很好地解决该问题，确保消除疏失误差的可靠性，其计算过程如下。时序数据段 ，（，）是服从正态分布的数据集，根据顺序统计原理，可计算 统计量的确切分布。并定义（）对于给定的显著水平（可取为、），能查表得到 统计量的临界值（，）。服从正态分布可表达为（）式，显然（）式代表小概率事件，满足该条件的数据可视为异常，进行剔除。对剩余数据重新计算临界值，判断、剔除异常数据，直到所有数据都满足（）式时，则认为对应的数据段 为有效数据段。（，）（）（，）（）准则保证了异常数据剔除的有效性，但检验过程并非完全依靠样本数据本身，需进行查表，故检验速度较慢。可见 准则精度较低但数据处理速度更快，准则精度较高但数据处理速度较慢。因此，本文提出 检验方法：先采用 准则对数据进行处理，尽量减少查表次数，再对满足 准则的数据采用 准则进行处理，提高检验精度，计算过程如下。）准则检验。步骤 按（）式计算 的均值；步骤 按（）式计算 的标准差；步骤 按（）式计算阈值，并对超出阈值范围的数据进行剔除；步骤 对剩余数据重复运行步骤，迭代剔除异常数据，直到所有数据均满足准则要求，得到初步检验后的时序数据段，若剔除异常数据后，剩余数据数量为，则，（，）。）准则检验。步骤 参照（）式计算 的均值；步骤 参照（）式计算 的标准差；步骤 按（）式计算统计量（，）；步骤 给定显著水平，查 检验临界值表得到临界值（，）；步骤 满足（）式的数据判定为异常数据，进行剔除；步骤 对异常组中的剩余数据重复运行步骤，迭代剔除异常数据，直到所有数据都满足（）式时，则认为对应的数据段 为有效数据段，若剩余数据数量为，则 ，（，重 庆 邮 电 大 学 学 报（自然科学版）第 卷，）。基于分批估计的单传感器数据时间维融合 单传感器数据可以认为是等精度时间序列数据，满足正态分布特征，对抽取的时序数据段进行预处理后，得到一致性监测数据序列。对一致性数据序列进行融合，分批估计是一种可靠的方法。根据分批估计理论，传感器时序数据段，（，）为一致性序列，分为 组数据，可采用连续分组或随机分组。为简化计算，值一般取为，即通常情况下划分为 组，采用奇偶分组或前后分组。第 组序列为 ，（，），可计算得到分组数据的平均值和标准差。由于各组数据之前没有相关统计结果，则分批估计前测量结果方差 。设测量方程系数矩阵为 （），测量噪声协方差为，根据文献的推导可得 与 的关系式为（）按分批估计理论，计算融合后数据序列的方差为（）（）取 时，有（）计算数据序列的最优融合估计值为|（）取 时，有 （）基于自适应加权的多传感器特征值空间维融合 若已知各传感器的精度为，根据权重定义，传感器精度的权重 的计算式为 （）已知各传感器特征估计值为，对应方差为，设传感器融合权重为，融合结果值为?，融合后的总方差为，则有?（）（）|（）总方差越小，数据融合精度越高。因此，对进行求极值，得出 的计算式为 （）可见，传感器数据融合压缩后的分批估计值的方差越大，权重越小。因此，考虑传感器精度的数据融合权重 的计算式为 （）（）各传感器精度相同时，代入（）式即为（）式。实例验证某悬索桥采用钢箱加劲梁，桥梁健康监测系统在加劲梁跨中截面监测点设置了 个挠度传感器，位于钢箱上下游边缘，上游传感器实际线性精度为，下游传感器实际线性精度为，采样周期为 。对某采样时段，时长为 ，每个传感器采得 个数据，挠度数据样本如表 所示。第 期 全恩懋，等：基于自适应加权的多传感器实时数据特征值提取表 数据样本 采样序号上游传感器挠度值下游传感器挠度值采样序号上游传感器挠度值下游传感器挠度值 现对该时段加劲梁跨中截面监测点挠度数据进行特征值提取，具体计算过程如下。）数据预处理。按（）式计算均值。上游传感器 ，下游传感器 。按（）式计算标准差。上游传感器 （），下游传感器 （）。步骤 上游传感器异常数据检验与剔除。准则检验。按（）式计算阈值 ，。对数据段数据值进行比对检验，上游传感器数据最大值为，最小值为，则，无超出阈值 的数据，准则检验满足要求。准则检验。取显著水平 ，查询 数值表，有（，），按（）式得（，）。有 ，因此，第 个数据可判断为异常，需剔除。对剩下的 个观测值重新计算均值和标准差 ，（）。同样，取显著水平，查询 数值表，有（，），按（）式得（，）。经验证，剩下的 个观测值均满足（）式，即上游数据段剔除第 个数据后为有效数据段。可见，准则异常数据剔除效果优于 准则。步骤 下游传感器异常数据检验与剔除。准则检验。按（）式计算阈值 ，重 庆 邮 电 大 学 学 报（自然科学版）第 卷。对数据段数据值进行比对检验，下游传感器第 个数据为，超出阈值，需剔除，剩下数据最大值为 ，最小值为 ，则，无超出阈值 的数据。对剩下的 个数据重新计算均值和方差 ，（）。按（）式计算阈值 ，。对数据段数据值进行比对检验，下游传感器第 个数据为，超出阈值，需剔除，剩下数据最大值为 ，最小值为 ，则，无超出阈值 的数据。对剩下的 个数据重新计算均值和方差 ，（）。按（）式计算阈值 ，。对数据段数据值进行比对检验，无超出阈值 的数据，准则检验满足要求。准则检验。取显著水平 ，查询 数值表，有（，）。按（）式得（，）。经验证，剩下的 个观测值均满足（）式，即下游数据段剔除第、第 个数据后为有效数据段。经异常数据剔除后，加劲梁跨中截面上下游传感器挠度数据如表 所示。表 预处理后数据样本 采样序号上游传感器挠度值下游传感器挠度值采样序号上游传感器挠度值下游传感器挠度值 为验证方法的有效性，对下游数据段直接采用 准则进行检验。取显著水平 ，查询 数值表，有（，），按（）式得（，）。有 ，因此，第 个数据可判断为异常，需剔除。剩下的 个数据的均值为，标准差为。取显著水平 ，查询 数值表，有（，），按（）式得（，）第 期 全恩懋，等：基于自适应加权的多传感器实时数据特征值提取 。有 ，因此，第 个数据也应当剔除。可见，采用本文方法与直接采用 准则检验结果一致，本文方法先采用 准则进行检验，减少了查表次数，检验速度更快。若对表 数据进行算术平均滤波，上游传感器数据 方 差 为 ，下 游 传 感 器 数 据 方 差 为。对表 数据进行算术平均滤波，上游传感器数据 方 差 为 ，下 游 传 感 器 数 据 方 差 为。可见，经预处理后，上游传感器数据方差减小了，下游传感器数据方差减小了，表明数据离散程度降低，准确性得到提高。）数据分批估计融合。将上游传感器有效数据段的 个样本值采用奇偶分组分为 个数据组，第 组 个数据，第 组 个数据，数据分组结果见表。表 上游传感器有效数据段分组结果 采样序号第 组挠度值第 组挠度值 将下游传感器有效数据段的 个样本值采用奇偶分组分为 个数据组，第 组 个数据，第 组 个数据，数据分组结果见表。表 下游传感器有效数据段分组结果 采样序号第 组挠度值第 组挠度值根据表、表 中分组数据的均值和方差，按（）式计算上下游测点数据的特征估计值，表示为上游传感器：，下游传感器：。按（）式计算融合方差，表示为上游传感器：，下游传感器：。可见，采用分批估计方法将时序数据段融合为单个特征估计值，实现了数据在时间维上的融合，对 重 庆 邮 电 大 学 学 报（自然科学版）第 卷桥梁监测数据的应用具有实际意义，以此为基础将便于开展桥梁评估、分析等后续工作。根据前述结果，上游传感器 明显小于预处理后数据的算术平均滤波方差；下游传感器 明显小于预处理后数据的算术平均滤波方差。可见，与传统的算术平均滤波方法相比，分批估计融合的方差更小，准确性更高。）多传感器数据融合。考虑上、下游传感器实际线性精度，按（）式计算上下游挠度传感器的最优权值，并按（）式计算加劲梁跨中截面挠度监测数据融合特征值及方差，结果如表 所示。表 多传感器数据融合结果 传感器传感器特征估计值 传感器方差传感器权值跨中截面挠度融合特征值 跨中截面挠度融合总方差上游传感器下游传感器（）（）（）（）注：表 中括号内数值为不考虑传感器精度计算结果。可见，采用自适应加权融合算法将多个传感器特征估计值融合为监测点融合特征值，实现了数据在空间维上的融合。数据融合总方差明显小于表 数据算术平均滤波总方差，且较各传感器方差更小。因此，与传统的算术平均滤波方法相比，自适应加权融合算法的结果更加准确；且融合过程中均方误差越大，传感器权重越低，实现了融合误差的最小优化；同时，由于考虑了传感器精度，使融合特征值更接近高精度传感器值，可靠性更好。结束语为解决监测系统实时数据的特征值提取问题，本文对多传感器数据的预处理及融合方法进行了研究。针对监测数据的预处理，提出了 数据检验方法，兼顾了 准则速度快、准则精度高的特点，很好地消除了数据的疏失误差，实例结果中，数据经预处理后方差减小了 。在时间维上，采用分批估计原理，将传感器实时数据融合为单个特征值；在空间维上，采用自适应加权融合算法，并提出了考虑传感器精度的算法修正，实现了多传感器特征值的融合。实例结果表明，与传统的算术平均滤波方法相比，分批估计自适应加权融合算法的数据融合方差明显更小，考虑传感器精度后融合结果更接近高精度传感器值，特征值提取结果更加准确、可靠。参考文献：邢晓辰，蔡远文，任江涛，等一种考虑传感器精度的数据自适应加权融合算法电讯技术，（）：，（）：孙小君，周晗，沈海滨，等加权融合鲁棒增量 滤波器电子与信息学报，（）：，（）：，（）：匡亮，施珮，季云峰，等改进型支持度函数的 水质监测数据融合方法农业工程学报，（）：，（），（）：周思益，张江梅，冯兴华，等基于改进的多传感器自适应加权融合算法研究自动化仪表，（）：，（）：施震华，张娜，包晓安，等基于分批估计的自适应加权数据融合算法电子科技，（）：，（）：第 期 全恩懋，等：基于自适应加权的多传感器实时数据特征值提取 杨军佳，叶晨亮，冯少华，等多传感器数据加权融合方法传感器与微系统，（）：，（）：，（）：敬如雪，高玉琢基于多传感器的数据融合算法研究现代电子技术，（）：，（）：，：，（）：刘康，何明浩，韩俊，等基于多传感器的雷达对抗侦察数据融合算法系统工程与电子技术，（）：，（）：，：，（）：郭石开，李菲基于分批估计算术平均的数据融合算法在循环流化床锅炉床温测量中的应用研究陕西电力，（）：，（）：唐亚鹏基于自适应加权数据融合算法的数据处理计算机技术与发展，（）：，（）：，（）：，（）：蔡碧丽，苏国栋改进型分批估计与自适应加权融合方法研究测控技术，（）：，（）：郑宝周，吴莉莉，李富强，等基于异常数据预处理和自适应估计的 数据融合算法计算机应用研究，（）：，（）：王华东，王大羽一种改进的多无线传感器数据分批估计自适应加权融合算法传感技术学报，（）：，（）：作者简介：全恩懋（），男，重庆人，正高级工程师，博士，从事数据分析与安全评估研究，发表 检索论文、检索论文、国家级刊物论文累计数十篇，发明专利 项，参编规范 项，主持、参加项目 余项。：。秦小平（），男，重庆人，正高级工程师，硕士，从事地基与基础工程检测研究。许宏科（），男，陕西凤翔人，教授，博士生导师，博士，从事交通控制与管理、智能运输系统、计算机应用等研究。孙中洋（），男，山东济宁人，高级工程师，硕士，从事桥梁检测与施工控制研究。（编辑：王敏琦）重 庆 邮 电 大 学 学 报（自然科学版）第 卷