联合自适应邻域和Bagging的协同表示集成学习方法.pdf

第 卷 第期 年月遥 感 信 息 ，收稿日期：修订日期：基金项目：江苏省自然资源科技项目（）。作者简介：虞瑶（），女，硕士研究生，主要研究方向为 、摄影测量与遥感。犈 犿 犪 犻 犾：联合自适应邻域和犅 犪 犵 犵 犻 狀 犵的协同表示集成学习方法虞瑶，范雪婷，丁婷（江苏省基础地理信息中心，南京 ）摘要：近年来，协同表示分类（，）算法成为高光谱遥感影像分类的研究热点，其中基于 的协同表示集成学习算法（，）利用 集成方式有效地提高了基分类器协同表示分类算法的精度。为进一步提升 算法的有效性，文章提出了一种联合自适应形状邻域和 协同表示集成学习算法（，）。该算法通过构建训练样本和测试样本的自适应形状邻域，进而构建空间信息约束的分类器集成模式。实验采用 和 两组高光谱遥感影像，对所提出算法的性能进行了评价。实验结果表明，算法在分类效果上比 算法有明显的提升。关键词：自适应形状邻域；协同表示；集成学习；高光谱影像分类犱 狅 犻：中图分类号：文献标志码：文章编号：（）犆 狅 犾 犾 犪 犫 狅 狉 犪 狋 犻 狏 犲犚 犲 狆 狉 犲 狊 犲 狀 狋 犪 狋 犻 狅 狀犈 狀 狊 犲 犿 犫 犾 犲犔 犲 犪 狉 狀 犻 狀 犵犕 犲 狋 犺 狅 犱犆 狅 犿 犫 犻 狀 犻 狀 犵犃 犱 犪 狆 狋 犻 狏 犲 狊 犺 犪 狆 犲犖 犲 犻 犵 犺 犫 狅 狉 犺 狅 狅 犱犪 狀 犱犅 犪 犵 犵 犻 狀 犵 ，（犅 犪 狊 犻 犮犌 犲 狅 犵 狉 犪 狆 犺 犻 犮犐 狀 犳 狅 狉 犿 犪 狋 犻 狅 狀犆 犲 狀 狋 犲 狉狅 犳犑 犻 犪 狀 犵 狊 狌犘 狉 狅 狏 犻 狀 犮 犲，犖 犪 狀 犼 犻 狀 犵 ，犆 犺 犻 狀 犪）犃 犫 狊 狋 狉 犪 犮 狋：，（），（），（）犓 犲 狔 狑 狅 狉 犱 狊：；引言随着高光谱成像卫星的兴起，目前我国已发射高分五号、珠海一号和环境一号等高光谱卫星。高光谱遥感技术利用高光谱传感器，以连续细分的电磁波波段对目标区域进行成像，得到含有空谱信息的高光谱图像 。现在，针对高光谱图像的处理方法包括影像分类、混合像元分解和异常探测等，其中影像分类是热门方向之一 。协同表示分类认为测试样本可由犔范数最小化的训练样本的线性组合来协同表示。考虑到不同训练样本的重要性，等提出了基于距离权 正 则 化 约 束 的 协 同 表 示 算 法（，），在分类稳定性上取得了较好效果。为有效地挖掘空间信息，等进一步提出了联合类内信息协同表示方法（，）。但该类利用窗口形式的空间信息存在异质性问题，针对该问题，遥 感 信 息 年期 等采用构建联合信号的方式选取邻域样本，提出非局部 联合协 同 表示 分类 算 法（，），对高光谱数据进行分类。除了发展更为先进的协同表示分类算法 ，利用集成学习提升协同表示分类器的分类表现也是一种有 效 的 方 式。等 将 多 重 协 同 表 示 与 思想相结合的算法已经取得了良好的识别性能。等 结合 的集成方式和协同表示分类，提出基于 的协同表示集成分类算法，有效地提高了基分类器协同表示分类器的分类精度。但是，上述集成算法均未充分利用高光谱遥感影像丰富的空间信息。基于此，本文利用自适应形状邻域构建空间信息约束，结合 的协同表示集成分类算法，提出一种联合自适应形状邻域和 协同表示集成学习算法（，）。该 算法通过构建训练样本和测试样本的自适应邻域的方式联 合 空 间 信 息，探 讨 联 合 自 适 应 形 状 邻 域 和 集成学习方式对高光谱遥感影像分类效果的影响，并且使用 和 （）两个不同传感器的高光谱遥感影像数据进行实验验证。实验证明自适应空间邻域的约束集成模型是一种有效的方式。相关算法 自适应形状邻域利用高光谱遥感影像的第一主成分构建每个像素的形状自适应（，）局部邻域。一般采 用 主 成 分 分 析（，）提取高光谱遥感影像的第一主成分。如图所示，邻域为多边形，个多边形顶点的位置可确定其形状和大小。个方向犻是已知的，分别是 ，。而从中心像素到顶点的个长度犺犽（犽，）需要设置。犺犽设置的取值范围为，。邻域构建主要包含两个步骤。首先，基于高光谱遥感的第一主成分采用局部多项式（，）滤波核函数 犵犺犽，犻对其进行卷积操作，获取影像在各方向和射线长度上的平滑密度估计和误差。得到平滑密度估计和误差后，计算置信区间。最佳射线长度的选取利用交叉置信区间规则（，）。最后连接条射线的端点来确定每个中心像素的 区域，如图所示。图犛 犃构建的自适应邻域示意图 方法能够根据地物空间形态结构自适应地构建局部邻域，且对规则结构和不规则多边形结构均具有较强的适应性，并能够准确地反映地物边缘和细节特征。基于犫 犪 犵 犵 犻 狀 犵的协同表示集成学习算法测试样本狔首先利用全部的训练样本作为字典犇求解表示系数向量，然后利用各类别训练样本子集和所对应的表示系数恢复重建，从而得到各类别训练子集对测试样本狔的表示估计值，再计算各表示估计值与真实测试样本之间的重构残差，最终根据最小残差准则判定测试样本狔的地物类别。协 同 表 示 分 类 模 型 需 要 同 时 满 足 误 差 项狔犇 最小和约束条件项最小，因此协同表示分类模型的目标函数描述如式（）所示。（狔犇）（）式中：为正则化参数。可以求得协同表示的表示系数的闭式解，计算如式（）所示。（犇犇 犐）（犇狔）（）式中：犇是犇的转置；犐为单位矩阵。如测试样本狔来自于第犿类，表示系数向量为犿，由第犿类样本重建的表示值犇犿犿与真实测试样本值狔之间残差狉犿最小，判定准则如式（）所示。（狔）犿，犓狉犿（狔）犿，犓（狔犇犿犿犿）（）式中：犓表示类别数。总而言之，协同表示分类模型中表示系数采用犔范数最小化约束，致使全部的训练样本协同性地参与测试样本的表示。但协同表示算法对参数较为敏感。集成方式要求基分类器必须是不稳定的，也就是说分类器对样本或者参数越敏感，集成效果表现越好。该算法选用 作为基分类器，通过随机采样方式从原始训练集生成新的样本集合。犜代表基分类器的数目。基于新训练样本集犡狋构造有引用格式：虞瑶，范雪婷，丁婷联合自适应邻域和 的协同表示集成学习方法遥感信息，（）：差异性的字典犇狋犇狋，犇狋，犇狋，犇犓 狋。由于构造的字典不同，导致每个训练集中获取的表示系数不同。这表明在每一个基分类器模型中，测试样本的最佳表示估计可能来源于不同的类别，也就意味着每个基模型对测试样本的预测标签可能不同。最后采用多数投票法综合决策分类结果。基于 的协同 表 示 集 成 学 习 算 法（，）的 步 骤如下。步骤：选择基分类器，集成次数犜，训练集，测试样本狔。步骤：对狋，犜循环执行。根据 采样方式随机有放回地对原始训练集抽样，获得第狋个训练集。基于新训练子集犡狋构建相应字典犇狋犇狋，犇狋，犇狋，犇犓 狋，计算测试样本狔的标签值犾狋。步骤：输入测试样本狔。步骤：标签集合犾犾，犾，犾，犾犜，采用多数投票法确定测试样本狔的标签值。联合自适应形状邻域和犫 犪 犵 犵 犻 狀 犵的协同表示集成学习方法高光谱遥感分类邻域中采用邻域约束引入空间信息是一种常见的手段。然而，固定窗口很大程度上不能真实有效地表达高光谱遥感影像地物复杂的空间形态结构。自适应邻域可以有效地削弱固定窗口的空间异质性。因此本文提出了一种联合自适应形状 邻 域 和 协 同 表 示 集 成 学 习 算 法 。该算法的关键在于同时构建训练样本和测试样本的自适应形状邻域。该模型中采用邻域像素点的光谱平均值表示中心像素点的光谱值。假设测试样本表示为狔犚犖，其构建的自适应形状邻域为狔 狔，狔，狔，狔狀。其中狀 为目标像 元 的 自 适 应 形 状 邻 域 中 邻 域 像 元 数。算法中将训练样本和测试样本内的自适应形状邻域的所有像素的光谱平均值作为新的测试样本珔狓 和测试样本珔狔。与 算法相比，算法中训练样本狓和测试样本狔分别用珔狓 和珔狔 代替。两种方法的其余步骤是一致的。具体计算如式（）与式（）所示。珔狓（狀）狀 犻狓犻（）珔狔（狀）狀 犻狔犻（）式中：狓犻为自适应邻域内的训练样本，犻，狀；狔犻为自适应邻域内的测试样本，犻，狀。算法的模型示意图如图所示。图犛 犃 犅 犪 犵 狊 犆 犚 犆模型示意图实验与分析 实验设置本 文 采 用 高 光 谱 影 像 数 据 和 高光谱影像数据进行实验。两组实验采用 、联合协同表示分类器（，）和联合权重协同表示分类器（，）作为对比分类算法。分类性能评价指标包括总体分类精度（，）、平均分类精度（，）和 系 数。表中 详 细 列 出了两个数据集中算法的最优参数，犜表示集成次数，为正则化参数，狀代表邻域像元数目。种算法重复次实验取平均值，参数采用交叉验证的方法。遥 感 信 息 年期表实验设置的最佳参数数据集参数 犜 狀 狀 犜 犐 狀 犱 犻 犪 狀狆 犻 狀 犲 狊高光谱影像实验 数据集是由 传感器在美国印第安纳州西北部的印第安松树地区采集的，影像大小为 像素 像素，空间分辨率为。该影像光谱分辨率为 ，波长范围为 ，删除覆盖吸水区域的波段，剩下 个波段用于实验。该数据共分为 种不同的地物类别，实验选择类地物作为实验数据。假彩色 图像如图（）所示，地物真实分布如图（）所示，共有 个样本。图直观地给出了不同分类方法得到的分类图。可以看出，本文提出的 方法得到的分类图效果最好，其中类别区域内的分类结果最为平滑，类别区域之间的分类边界也更加清晰，特别是干草、大豆略耕地、乔木类。表给出了不同方法图 犐 狀 犱 犻 犪 狀狆 犻 狀 犲 狊假彩色影像图与地面样本数据分布图图 犐 狀 犱 犻 犪 狀狆 犻 狀 犲 狊数据算法分类土地覆盖图引用格式：虞瑶，范雪婷，丁婷联合自适应邻域和 的协同表示集成学习方法遥感信息，（）：表 犐 狀 犱 犻 犪 狀狆 犻 狀 犲 狊分类精度统计表方法 在 数据集上得到的分类精度的详细情况。就而言，的为 ，比经典的 提高了 ，比两种空谱分类方法 、分别提高 、，比原型方法 提高了 。就 系数而言，为 ，比其他对比方法高出 。犠 犪 狊 犺 犻 狀 犵 狋 狅 狀犇 犆犕 犪 犾 犾高光谱影像实验实验数 据采 用 由 传 感 器 获 取 的 高光谱遥感影像，影像的空间分辨率约为，该数据集包含了波长范围为 的可见光到短波红外波段的 个波段，剔除水吸收波段和低信噪比的波段后，保留了 个波 段 用 于 实验 分 析。该 实 验 数 据 大 小为 像素 像素，共包含类地物。假彩色 图像如图（）所示，地物真实分布如图（）所示。图犠 犪 狊 犺 犻 狀 犵 狋 狅 狀犇 犆犕 犪 犾 犾假彩色影像图与地面样本数据分布图表给出了不同方法在 数据 集 上 得 到 的 分 类 精 度 的 详 细 情 况。虽 然 的略低于 ，但 就而言，的为 ，比经典的 提高了 ，比空谱分类方法 、分别提高了 和，比原型方法 提高了 。就 系数而言，的 系数为 ，分别比其他方法高出 。图直观地给出了不同方法得到的分类图。由图可知，方法产生了更好的结果，特别是对于道路和草地两类，明显产生了更加平滑和准确的分类结果。表犠 犪 狊 犺 犻 狀 犵 狋 狅 狀犇 犆犕 犪 犾 犾分类精度统计表方法 遥 感 信 息 年期图犠 犪 狊 犺 犻 狀 犵 狋 狅 狀犇 犆犕 犪 犾 犾数据算法分类土地覆盖图 参数分析）正则化参数。和 两种算法的总体分类精度随正则化参数的变化如图所示。横坐标为正则化参数，纵坐标为实验次得到的平均 值。正则化参数的设置范围是，。在 数据上，算法的分类结果表明，参数设置的差异对的影响不大。当在 范围时，可以提供性能较优且比较稳定的精度表现，当大于 时，算法的精度开始下降。当在 图两组数据算法总体精度变化曲线图 范围时，的总体精度随着的增大而增加。当 时，和 方法均达到最大总体精度，总体精度略高于 。在 数 据 上，当 时，提供最优的分类精度。当大于 时，算法的精度开始下降，但精度始终高于 和 。）集成次数犜。图分别评估了两个数据集上，、两种算法的集成次数犜对分类精度的影响。集成次数的取值范围为犜，。两组高光谱数据中 方法中图两组数据算法犜总体精度变化曲线图引用格式：虞瑶，范雪婷，丁婷联合自适应邻域和 的协同表示集成学习方法遥感信息，（）：犜值取值范围在 内可以显著提高总体分类精度。但当犜值设置大于 时，精度提升的较为缓慢。原因是随着集成次数犜的增加，基分类器的数量随之增加，但同时分类器间的多样性减小，集成效果反而变差。因此综合考虑分类性能和时间消耗，表中犜的数目设置为。结束语本文提出了联合自适应形状邻域和 的协同表示集成学习方法，可以更加充分地利用和挖掘高光谱遥感的空间信息。高光谱影像数据的实验结果表明，影像数据 的总体精度比 算法提高了约 ，而 数据中总体精度提升了约。虽然两组数据 算法提升幅度不同，但均优于 算法。两组数据 的分类精度随着集成次数的增加呈现出不同趋势，但都能获得高于 算法的分类精度。算法仍存在一定的不足之处，如集成过程不可避免地导致计算复杂度高和计算效率下降的问题。因此该算法如何减小计算复杂度有待进一步研究。参考文献浦瑞良，宫鹏高光谱遥感及其应用北京：高等教育出版社，（）：杜培军遥感科学与进展徐州：中国矿业大学出版社，杜培军，夏俊士，薛朝辉，等高光谱遥感影像分类研究进展遥感学报，（）：，：？，：，：，（）：，（）：，（）：，（）：，（）：，（）：，（）：，：，：