基于图像降噪的集成对抗防御模型研究.pdf

年第 期(第 卷总第 期)基于图像降噪的集成对抗防御模型研究薛晨浩 杜金浩 刘泳锐 杨 婧(.国家计算机网络应急技术处理协调中心山西分中心 山西 太原.国家计算机网络应急技术处理协调中心 北京)摘 要:深度学习的快速发展使其在图像识别、自然语言处理等诸多领域广泛应用 但是 学者发现深度神经网络容易受到对抗样本的欺骗 使其以较高置信度输出错误结果 对抗样本的出现给对安全性要求严格的系统带来很大威胁 研究了在低层特征()和高层特征()对图像进行降噪以提升模型防御性能 在低层训练一个降噪自动编码器 并采用集成学习的思路将自动编码器、高斯扰动和图像掩码重构等多种方式结合 高层对 作微小改动加入均值滤波 实验显示 所提出的方法在多个数据集的分类任务上有较好的防御性能关键词:对抗样本 集成学习 降噪自动编码器 高层特征中图分类号:文献标识码:/引用格式:薛晨浩 杜金浩 刘泳锐 等.基于图像降噪的集成对抗防御模型研究.网络安全与数据治理():.(/()/):.()().:引言近年来随着计算机硬件发展带来的算力提升和数据量的爆炸性增长 深度学习在很多任务中如图像分类、自然语言处理等方面表现十分出色 深度学习正以前所未有的规模被用于解决一些棘手的科学问题 例如 分析、脑回路重建、自动驾驶、药物分析等但是随着对深度学习研究的不断深入 学者发现在深度学习强大的表现下也隐藏着巨大的安全隐患 年 等人在研究中发现 通过添加微小的扰动 在人眼难以察觉到的情况下 可使深度学习模型以高置信度做出错误判断 如图 所示在给“山脉”加上扰动之后 分类器以 的置信度将其识别为“狗”给“河豚”添加扰动后 分类器以 置信度将其识别为“螃蟹”这种通过在原始图像上增加一些人眼难以察觉的轻微扰动使得深度学习模型产生错误判断的样本 称为对抗样本本文聚焦于图像分类领域的对抗防御方法研究 结合图像掩码重建、高斯扰动和降噪自动编码器在低层特投稿网址:年第 期(第 卷总第 期)图 对抗样本示例征()阶段对图像进行降噪 实验证明集成方式比任何单一的降噪方式更能提升模型防御性能在高层特征()阶段通过对已有模型进行微小调整增加降噪块进一步消除扰动影响 本文主要创新如下:()提出一种基于 监督的降噪自动编码器 将低层图像处理任务和高层任务结合起来 通过联合损失函数指导编码器权重更新 以减少低层任务对高层任务的影响 在编码阶段进入高斯扰动进一步增加预处理的鲁棒性以增强防御能力()高层阶段对 增加降噪块 以消减轻微扰动随着网络深度传播为无限放大的影响()以集成学习方式将多种降噪方式结合起来 克服了单个方法的弱点本文从两阶段进行降噪可有效防御对抗样本攻击其中低层阶段的图像降噪模块训练好后可直接与已有模型进行串联使用 可在不改变已有模型结构不重新训练的情况下增强防御能力 具有很强的实用价值 相关研究对抗样本研究主要分为两个领域:攻击、防御 攻击即对抗样本生成算法 主要目的是设计算法诱导模型对其生成的样本做出错误的判断 给模型应用带来安全问题 防御则是通过一些算法提高模型的鲁棒性 使其不受对抗扰动的干扰 能对生成的对抗样本做出正确的判断 等人最先提出对抗样本概念 他们发现通过在测试图像上添加微小的噪声扰动会使得训练好的深度学习模型产生误判 等人分析之所以会产生这种现象是由于深度学习模型网络结构的高度非线性和对数据的过拟合导致的 等人经进一步研究 认为深度学习模型高维空间中的线性特点是造成对抗样本的原因 即使是简单的线性模型 如果输入数据具有较高维度也会产生对抗样本 等人提出一种边界倾斜的观点 即对抗样本存在于采样数据子流形的分类边界 因为该边界无法完全与实际数据流形边界保持一致 所以可能存在导致模型判断错误的对抗样本近几年随着深度学习应用的普及 越来越多的研究开始重视深度学习的安全问题 学者们提出攻击算法暴露已有模型的问题 同时针对这些问题研究防御策略增强模型的鲁棒性 随着研究的深入 在攻防两侧都取得了很大的成效 对抗样本生成算法研究现状对抗样本生成算法分类方式有多种 根据被攻击环境 可以将其分为白盒攻击和黑盒攻击 白盒攻击指在了解被攻击模型、网络结构和权重参数以及防御手段的情况下实施的攻击行为 黑盒攻击与白盒攻击相反 为在完全不了解被攻击模型的信息下实施的攻击 白盒攻击方法 等人提出了首个对抗样本生成方法()该方法在输入空间内寻找最小的对抗扰动 等人在 方法的基础上 提出了一种快速梯度符号法()该方法通过计算目标类别对输入图像求梯度 然后对梯度求符号函数 结果作为对抗扰动 等人将 方法中的单步骤转变为多个小步骤 并在每一步计算之后调整梯度方向提出投影梯度下降()方法 的攻击性能非常高 但其迭代操作过程需要很高的计算成本 等人提出基本迭代法()该方法是一种基于快速梯度攻击法的迭代版本 通过迭代的方式 沿着梯度增加的方向进行多步小的扰动 来求取对抗样本 等人提出一种专门针对非循环前馈神经网络的定向攻击算法 映射方法()该算法每次迭代修改干净样本中的一个像素点并评估修改结果对深度学习模型预测影响 重复此过程最后生成对抗样本 等人提出一种 对抗样本生成方法 通过限制、范数来优化对抗扰动 能有效攻击现有的大多数深度学习模型 但是其所耗时间资源非常大 黑盒攻击方法 等人提出了最早的黑盒攻击方法 称为替代黑盒攻击()该算法训练一个替代模型来代替黑盒目标网络 并对该替代模人工智能 年第 期(第 卷总第 期)型进行白盒攻击 等人提出了另一种黑盒攻击方法 称 为 零 阶 优 化 方 法()该方法通过直接估计目标模型的梯度来生成对抗样本 基于 算法 等人提出基于自适应矩阵估计()的零阶优化攻击算法 该算法首先随机选择一个变量来更新对抗样本然后采用 迭代优化方法找到最优对抗样本 对抗样本防御方法研究现状随着深度学习模型对抗防御研究的深入 涌现出大量防御方法 这些方法可分为对抗样本检测方法和模型鲁棒性防御方法两大类 对抗样本检测研究对抗样本检测方法是在模型之外额外增加一个检测模块用于区分一个输入样本是对抗样本还是普通样本如果是对抗样本直接丢弃 等人通过二分类检测器网络来检测干净样本和对抗样本 等人训练了一个有 个分类的深度神经网络模型 在训练集中将对抗样本指定为 类 等人观察干净样本与对抗样本的特征差异 通过特征压缩()的检测方法 减少中值平滑和颜色位深度以压缩图形特征空间 比对输入样本与压缩样本的预测一致性来检测对抗样本 等人提出基于局部内在维度()特征进行对抗样本检测 该方法提取分类模型每一层输入 计算其 值作为输入样本特征 基于 特征训练一个二分类模型 模型鲁棒性防御研究 等人最先提出对抗防御方法 该方法通过把对抗样本加入训练集 并以此重新训练模型 等人提出使用迭代的 算法生成对抗样本训练模型 等人于 年提出 方法 采用随机噪声生成对抗网络降低对抗扰动影响 等人通过在原始图像上添加随机噪声 同时使用 算法生成对抗样本 以此为基础构建训练集更新模型参数增加防御性 等人提出 ()方法 通过训练 模型来进行对抗扰动防御 等人基于自动编码器 并与深度学习模型构成堆叠模型 通过图像去噪操作执行对抗样本防御 等人提出基于 网络训练一个降噪器来对输入图像进行去噪这些研究大多停留在 的数据处理上 没有考虑到低层数据处理对 任务的影响 本文通过 任务监督训练 降噪 并采用集成学习的方式提高防御能力 本文研究方法图像对抗样本通过在原始图像上增加微小、人眼不可察觉的扰动 使得图像分类做出错误判断 这些扰动在初始网络中非常细微 但是随着网络的传播 在深层网络中被无限放大 导致分类失败 因此 本文在图像预处理层和网络传播过程中分别进行降噪以提升模型的整体防御能力 本文提出一种基于 监督的降噪自动编码器()并集成图像掩码重建和高斯扰动对输入图像进行降噪 此外在神经网络的 层进行均值降噪 基于 监督的降噪编码器一般的图像处理任务将图像降噪和 的图像任务单独处理 但是 的图像降噪效果会直接影响 的图像任务 受 等人启发 本文在训练降噪卷积神经网络时引入训练好的 进行监督模型结构如图 所示图 模型结构选取训练好的 作为 监督 将 和降噪自动编码器联合训练 在反向传播过程中只更新降噪自动编码器的权重参数 的权重参数保持不变 联合计算两个层面的损失函数:()()()其中 为干净样本 为 训练时样本的真实类别 为 的损失函数计算 预测标签和真实标签之间的交叉熵 度量降噪网络输出结果和对应干净样本的均方误差()因 为训练好的模型 在训练中主要用于在 监督降噪自动编码器训练 本身引入的误差较小 所以在联合误差中 和图像降噪模块()的权重设置为 本文中采用干净样本、对抗样本、添加高斯噪声的样本三部分按照 的比例进行训练 与其他方法不同 本文在编码阶段引入高斯噪声残差块 用于增强鲁棒性 降噪自动编码器的模型如图 所示 和 每层设置如表 所示投稿网址:年第 期(第 卷总第 期)图 降噪自动编码器模型表 和 每层设置 基于 的图像掩码重构降噪主流的对抗样本攻击算法通过寻找关键像素做微小扰动 使得分类器做出错误判断 因此 擦除这些关键像素并重建 可减少扰动的攻击 本文采用文献 提出的 算法 对每张图像遮掩比设置为 在 上首先对每张图像进行分割(上划分 的)然后对分割后的图像做掩码重建 在本文实验中该方法称为 ()基于高斯扰动的图像降噪相比于干净样本 对抗样本只对少量像素进行微小扰动 这些微小扰动经过深层网络不断放大最终引起模型误判 因此 如果能增大其他像素的影响减小扰动像素的影响 即可提升模型的对抗能力 本文采用标准差为 的 对图像添加随机高斯扰动 高层特征降噪的 对抗样本中的微小扰动经过深层网络被无限放大因此要想提升模型的防御能力需要在深层网络进行降噪本文采用均值滤波的思想 在 中增加 模块进行降噪 分别在 的第、层增加均值降噪 结构如图 所示图 均值池化降噪块在实验过程中发现 单独采用一种 的降噪模块与降噪后的 串联防御性能都弱于集成使用 集成方式能克服单个降噪网络存在的弱点 获得更加优越的泛化能力 本文集成三种降噪方式与均值滤波降噪后的 在一起训练 获得每个降噪模块的权重参数 模型结构如图 所示图 基于 监督的集成降噪模型 实验结果 实验环境实验中硬件环境使用 云服务器 配置如下:人工智能 年第 期(第 卷总第 期)块 、块 处理器、云硬盘和 内存软件采用深度学习框架 和对抗样本生成工具 在实验过程中调用 中的 和 算法生成攻击样本 算法中迭代步骤设置为 参数使用 中的默认设置 实验数据实验采用 和 两个公共数据集 其中 数据集由 类共计 张训练样本及 张测试样本组成 每个样本是 的彩色图片 数据集是从 中随机抽取 类组成 每个类别 张样本 其中 为训练样本为测试样本 每个样本大小为 对 和 的训练集按照 划分 其中 数据为干净样本 样本通过 生成攻击样本 样本使用 算法生成攻击样本 采用高斯扰动生成噪声样本 训练降噪自动编码器时将 图像分割为 的图像进行训练 使用测试集分别通过 和 算法生成对抗样本 实验结果及分析 多种降噪方式对比本文分别将高斯扰动、和集成后的降噪模块与使用干净样本微调后的 串联 测试其在生成的对抗样本上的准确率 结果如表 所示表 不同降噪方式在 上的防御效果()数据集高斯扰动 由实验结果可知 使用集成学习的方式取得的对抗防御性能更好 在大图像 上相比于其他方法能提高 以上的准确率 高斯扰动通过随机添加噪声以降低对抗扰动的影响 但是同时也降低了关键特征的影响 算法以较大比例图像进行随机遮蔽 此过程可在很大程度上遮蔽对抗扰动 但是其重建后的图像有一定程度的损失 本文提出的 方法 以高层任务做监督 引入随机噪声进行降噪编码 降噪过程中同时保证了高层任务的准确性 但是 对抗攻击手段多样仅采用一种降噪方式 难以在消除扰动影响的同时兼顾对下游模型的影响 集成学习方式通过加权方式可以同时具备多种降噪方法的优点 克服单个算法带来的负面影响 多种防御算法对比将集成后的降噪模块和 串联与 和方法做比较 实验结果如表 所示表 不同防御模型防御性能表()数据集 本文提出的方法在 数据集上 无论是 还是 生成的对抗样本防御性能都优于其他方法 采用图像压缩重建方法消除扰动影响 在重建过程中加入了高斯噪声 但是未在高层阶段进行降噪 通过检测和修正方式 采用多种检测器判断是否是扰动样本 对于不确定的样本进行修正 针对于白盒攻击 微小扰动很难被检测到 修正过程中可能引入新的无差别扰动 会降低准确率 相比于 和 只在低层特征进行降噪 本文提出的方法在高层添加降噪模块 可进一步增强防御性能 尤其在大图像数据集上 这种高层降噪的效果更加显著 结论对抗攻击算法通过对少量像素进行微小扰动达到欺骗模型的目的 这些微小扰动经深度神经网络被不断放大 本文从图像降噪思路出发 分别在低特征层和高特征层进行降噪 在低特征层 采用集成学习思想 通过高层任务监督训练降噪自动编码器 与高斯扰动和图像掩码重建结合 高层采用均值滤波思想进行降噪 实验表明本文的方法可以有效提升防御能力 下一步 将持续优化算法结构 从时间和性能上进一步提升防御能力参考文献 ./:.:.投稿网址:年第 期(第 卷总第 期).:./:./:./:./:./:.:/:./:.:.:/:.:.:/:.:.:.:/:./:./:.:.:.:.:/:.:/().(收稿日期:)作者简介:薛晨浩()男 硕士研究生 初级工程师 主要研究方向:图像处理、大数据应用杜金浩()男 博士研究生 工程师 主要研究方向:语音信号处理、自然语言处理刘泳锐()通信作者 男 硕士研究生 高级工程师 主要研究方向:网络安全分析、工业互联网安全:人工智能