基于Transformer-VAE的ADS-B异常检测方法.pdf
《基于Transformer-VAE的ADS-B异常检测方法.pdf》由会员分享,可在线阅读,更多相关《基于Transformer-VAE的ADS-B异常检测方法.pdf(10页珍藏版)》请在咨信网上搜索。
1、第 卷第 期 年 月系统工程与电子技术 文章编号:()网址:收稿日期:;修回日期:;网络优先出版日期:。网络优先出版地址:基金项目:国家自然科学基金民航联合基金();中国民航大学信息安全测评中心开放基金()资助课题通讯作者引用格式:丁建立,张琪琪,王静,等基于 的 异常检测方法系统工程与电子技术,():犚犲 犳 犲 狉 犲 狀 犮 犲犳 狅 狉犿犪 狋:,():基于犜 狉 犪 狀 狊 犳 狅 狉犿犲 狉 犞犃犈的犃犇犛 犅异常检测方法丁建立,张琪琪,王静,霍纬纲(中国民航大学计算机科学与技术学院,天津 ;中国民航大学信息安全测评中心,天津 ;中国民航大学安全科学与工程学院,天津 )摘要:针对现
2、有的异常检测算法无法同时捕捉广播式自动相关监视(,)报文序列中的长程依赖关系、随机性以及整体性特征的问题,提出了基于 变分自动编码器(,)的 异常检测算法,以 编码器和解码器作为的推断网络和生成网络来学习 报文序列的时序分布。由 编码器的自注意力机制建模序列中的长程依赖关系,生成反映报文序列整体性特征的随机变量,并采用一个特殊的融合模块融合该随机变量与 解码器的输出以实现报文的重构,最终通过重构误差来检测异常。实验表明,所提出的方法在不同攻击场景下,均优于相关基线算法。关键词:广播式自动相关监视;异常检测;变分自动编码器;深度学习中图分类号:文献标志码:犇犗犐:犃犇犛 犅犪 狀 狅犿犪 犾 狔
3、犱 犲 狋 犲 犮 狋 犻 狅 狀犿犲 狋 犺 狅 犱犫 犪 狊 犲 犱狅 狀犜 狉 犪 狀 狊 犳 狅 狉犿犲 狉 犞犃犈 ,(犆狅 犾 犾 犲 犵 犲狅 犳犆狅犿狆狌 狋 犲 狉犛 犮 犻 犲 狀 犮 犲犪 狀犱犜犲 犮 犺 狀 狅 犾 狅 犵狔,犆 犻 狏 犻 犾犃狏 犻 犪 狋 犻 狅 狀犝狀 犻 狏 犲 狉 狊 犻 狋 狔狅 犳犆犺 犻 狀 犪,犜 犻 犪 狀 犼 犻 狀 ,犆犺 犻 狀 犪;犐 狀犳 狅 狉犿犪 狋 犻 狅 狀犛 犲 犮 狌 狉 犻 狋 狔犈狏 犪 犾 狌 犪 狋 犻 狅 狀犆 犲 狀 狋 犲 狉狅 犳犆 犻 狏 犻 犾犃狏 犻 犪 狋 犻 狅 狀,犆 犻 狏 犻
4、犾犃狏 犻 犪 狋 犻 狅 狀犝狀 犻 狏 犲 狉 狊 犻 狋 狔狅 犳犆犺 犻 狀 犪,犜 犻 犪 狀 犼 犻 狀 ,犆犺 犻 狀 犪;犆狅 犾 犾 犲 犵 犲狅 犳犛犪犳 犲 狋 狔犛 犮 犻 犲 狀 犮 犲犪 狀犱犈狀犵 犻 狀 犲 犲 狉 犻 狀犵,犆 犻 狏 犻 犾犃狏 犻 犪 狋 犻 狅 狀犝狀 犻 狏 犲 狉 狊 犻 狋 狔狅 犳犆犺 犻 狀 犪,犜 犻 犪 狀 犼 犻 狀 ,犆犺 犻 狀 犪)犃犫 狊 狋 狉 犪 犮 狋:,(),(),犓犲 狔狑狅 狉 犱 狊:();引言广播式自动相关监视(,)技术基于全球卫星导航系统和地空、空空数据链通信等技术向空中交通管制(,)中心以及其他
5、相邻空域内飞机周期性广播飞机的经第 期丁建立等:基于 的 异常检测方法 纬度、高度、速度等信息。报文被视为航空信息系统的重要数据源,其安全性对航班间隔管理、空中交通流量管理、空中交通防撞等功能子系统有着至关重要的影响。一旦 报文遭到攻击,整个航空信息系统的安全性将受到威胁,报文的安全已成为航空安全的重要组成部分。然而,报文以明文的形式广播并且协议缺乏基本的安全机制,攻击者可以利用无线射频传输技术轻易实现对 的欺骗干扰。因此,研究有效的 安全解决方案具有重要意义。传统的 安全解决方案主要包括类,第类为基于密码学的方法,但此类方法需要修改协议的内部机制与硬件系统,因此在实际中应用难度较大。第类为基
6、于多点时差定位的方法,该类方法利用 报文到达不同站点的时间差校验发送位置的正确性,但此类方法高度依赖大量地面站的参与,实施难度大、附加成本高,不易在大范围内推广。第类为基于多阵列天线的方法,该类方法利用多面阵列天线对 报文进行空间位置测量来验证目标的位置特征,此类方法实施成本较低,但仍需要在 系统上附加额外的设备。为了避免硬件和协议更改带来的高昂成本,基于深度学习的异常检测方法逐渐受到关注。在此类方法中,无监督学习方法因为不需要标记数据进行模型训练且可以识别未知类型异常而得到了广泛的研究。报文是具有多维特征的时间序列数据,等采用基于自动编码器(,)结构的神经网络模型对 报文进行重构,使用长短时
7、记忆(,)网络作为编解码器来学习正常 报文的特征,通过滑动窗口来计算 报文序列的依赖关系并利用重构误差检测异常,有效地解决了传统机器学习方法无法捕捉时间依赖性的问题。丁建立等在上述模型的基础上通过计算每个滑动窗口的统计特征来增加 序列特征维度,使模型能够更好地捕捉数据的时间依赖性,检测性能也有了较大提升。罗鹏等采用双向门控循环单元神经网络预测 报文,并将预测值与真实值的差值放入支持向量数据描述(,)中对样本进行二次训练,通过创建出的超球体分类器检测 异常报文,同时解决了 报文异常检测阈值的自适应问题。飞机在飞行过程中,报文在各个维度上的特征值会在正常范围内波动,表现出随机性。然而上述基于确定性
8、模型的方法忽略了数据中随机性的影响,可能会发生误判问题。对此,等 指出了在模型中引入随机变量来建模数据中的随机性能够改善并增强模型性能。等 提出了基于变分(,)的 异常检测算法,假设每个 报文除可见的特征外还有额外的潜在随机变量,并使用来计算该变量的分布,随后从计算出的分布中采样得到潜在随机变量的样本用于重构输入数据,随机性则可以通过采样过程融入建模过程。报文序列是基于时间的一系列数据,报文在过去的状态会对未来较长时期之后的状态产生影响,表现出长程依赖性。然而,现有异常检测算法却无法很好地捕捉 报文序列中的长程依赖关系。而 模型通过自注意力机制使得输入序列中每个时间点的数据都融合了之前以及之后
9、时间点的所有特征,有效地提升了模型捕捉时间序列中长程依赖关系的能力。基于此,和 等 利用 模型来构建时间序列异常检测模型,显著地提升了模型的检测性能和鲁棒性。此外,在一定的时间段内,报文序列通常表现出整体性特征,例如飞机的飞行过程可以分为起飞、爬升、巡航、下降和着陆几个阶段,相应地,飞机的高度呈现出不同的变化趋势。报文序列在不同阶段有不同的整体性特征,因而异常报文的判定标准也会发生变化,识别此类特征并加以利用对于提升模型的检测性能具有重要作用。然而,现有的 异常检测算法无法获得输入序列的整体性特征。在自然语言处理领域,等 通过基于的模型引入随机变量,用于表示单个语句的整体性特征,证实了整体性特
10、征在控制模型生成文本的语义连续性方面具有重要作用,因此本文参考该研究工作引入随机变量来表示序列的整体性特征。综上所述,本文提出了基于 的无监督异常检测算法,通过 编码器的自注意力机制建模 报文序列中的长程依赖关系,基于框架,在 模型中引入随机变量来反映 报文序列的随机性和整体性特征。然后通过特殊的融合模块将该变量与 解码器的输出进行融合,实现 报文的重构,最后利用重构误差来判定异常。在真实的数据集上的实验表明,本文提出的算法与其他基线算法相比在所设定的不同攻击场景下具有更高的准确率。准备知识 犜 狉 犪 狀 狊 犳 狅 狉犿犲 狉 是深度学习中用于处理时间序列数据的神经网络模型,该模型完全基于
11、自注意力机制来建模序列中的时序特性,通过将序列中的任意两个元素直接连接,有效地捕捉序列长程依赖关系。基于编码器 解码器结构,其中的编码器与解码器部分各自都是通过堆叠多层相同的模型构建而成,每一层模型主要包括多头注意力()和前馈神经网络(,)两个主要子模型。多头注意力子模型主要基于缩放点积注意力机制,注意力权重矩阵运算过程如下:(犙,犓,犞)犙犓犱槡烄烆烌烎 犞()式中:犙表示查询向量矩阵;犓表示键向量矩阵;犞表示值 系统工程与电子技术第 卷向量矩阵;犱 表示模型隐状态的维度。多头注意力机制则是使用不同的线性映射参数矩阵将输入数据矩阵映射为多个不同的查询向量矩阵、键向量矩阵和值向量矩阵,作为缩放
12、点积注意力机制的输入,此过程可定义为 狓 (犙犠狓狇,犓犠狓犽,犞犠狓狏)(犙,犓,犞)犱犺狓 ()狓犠烅烄烆狅()式中:犠狓犪,犠狓犽,犠狓狏犚犱 犱 和犠狓狅犚犱犺犱 犱 分别表示线性映射的参数矩阵;()表示对计算结果的拼接操作;犱犺表示多头注意力模块中进行的缩放点积注意力机制运算的次数。由两次线性映射以及一个 激活函数构成,该网络的运算过程如下:(狓)犠(,犠狓犫)犫()式中:犠,犠犚犱 犱 是线性映射的参数矩阵;犫,犫犚犱 是偏置项参数;狓表示特征维度为犱 的输入数据。犞犃犈 是基于贝叶斯推断理论的的变体,该模型通过引入潜在随机变量狕建模数据狓的潜在分布狆(狕)并生成新的数据,该过程可
13、以表示为狆(狓)狆(狓狘狕)狆(狕)狕。然而,由于潜在随机变量狕的连续定义域,上式中的积分无法计算,将数据样本狓的边缘对数似然函数表示为 狆(狓)犇犓犔(狇(狕狓)狆(狕狓)?犞犃犈(,;狓)()式中:犇()表示变分后验分布狇(狕狓)与真实后验分布狆(狕狓)之间的()散度;和分别表示编码器和解码器中的参数;?()表示边缘对数似然函数的下界,也是变分自编码器所使用的目标函数,通过优化这一下界来优化模型中的参数,其定义如下:?犇(狇(狕狓)狆(狕)狇(狕狓)狆(狓狕)()式中:第一项通过最小化变分后验分布与先验分布之间的散度来正则化潜在变量的分布;而第二项则是通过最大化对数似然函数 狆(狓狕)来实
14、现对原始数据的重构。犃犇犛 犅异常检测方法 问题定义定义犡狓,狓,狓犔表示原始 报文序列,其中犔为原始 报文序列的长度。定义狓狋狋,狊,狊,狊狀表示 报文特征向量,代表在狋时刻具有唯一识别码()的飞机所在位置的经度()、纬度()以及气压高度()等,狊,狊,狊狀代表飞机附加特征,本文分配一个字段代表飞机的航行方向,即航向(狊)。由于原始 报文序列长度过长,故采用步长为的滑动窗口机制处理原始报文序列,将其分割为若干段长度为犽的子序列作为模型的输入,其中任意一段 子序列表示为狓狋犽,狓狋犽,狓狋,狓狋。模型设计本文提出了基于 的 异常检测模型,该模型是一个端到端的无监督深度学习模型,其结构如图所示。
15、图模型结构图 模型主要由编码器、解码器和估计网络个模块组成。整体上采用框架通过引入潜在随机变量狕捕捉 报文序列的随机性。编码器模块用于建模 报文序列中的长程依赖关系,将 报文的特征向量编码到低维潜在空间中,得到包含上下文特征的潜在表示。估计网络用于计算潜在随机变量狕的概率密度的参数,建模子序列的整体性特征。在解码器模块中,将 解码器的输出与代表整体性特征的潜在随机变量的样本融合以进行样本特征的重构。编码器 的编码器模块具有与原始的 模型类似的结构,由犖犲个相同的编码器层构成。编码器使用滑动窗口生成的 报文子序列狓狋犽,狓狋犽,狓狋,狓狋作为输入,完全基于自注意力机制将报文的特征向量映射到低维潜
16、在空间中,从而得到报文子序列的上下文表示。以第狋个时间点处的 报文的特征向量狓狋为例,首先通过输入数据向量与位置编码向量相加,将位置特征引入计算过程:犺狋犠犲狓狋犫犲狆 犲狋()式中:犺狋表示时间点狋处 报文子序列在第层的隐状态;犠犲犚狀犱 和犫犲犚犱 是可训练的参数;狆 犲狋是当前位置的位置编码向量。自注意力机制是建模时间序列数据中前后依赖关系的关键模块,在第犻个编码器层中,由前一个编码器层输出的隐状态犺犻狋,犺犻狋,犺犻狋犽拼接而成的隐状态矩阵犎犻犚犽犱 通过多头自注意力机制来编码上下文特征犃犻 (犎犻,犎犻,犎犻)犅犻 (犃犻犎犻烅烄烆)()第 期丁建立等:基于 的 异常检测方法 式中:
17、()表示多头注意力机制;()表示层归一化机制。随后计算结果犅犻被进一步输入前馈神经网络模块:犗犻(犅犻)犎犻 (犗犻犅犻烅烄烆)()式中:()表示前馈神经网络。经过犖犲层的迭代后,最后一编码器层的输出犎犖犲将被输入到估计网络和解码器,以分别用于估计潜在随机变量后验分布的参数以及进行多头注意力机制的计算。基于神经网络的后验分布估计网络 通过引入潜在随机变量来显式地建模输入 序列的整体性表示。包含潜在随机变量的模型所面临的一大挑战是建模相关的后验分布,在 模型中,假设其服从协方差矩阵为对角矩阵的多元高斯分布,并采用神经网络来估计分布的相关参数。首先使用平均池化操作来得到滑动窗口中 报文序列的确定性
18、整体特征表示犺:犺犽犽犻犺犖犲犻()式中:犺犖犲犻表示编码器最终输出的隐状态。假设随机隐变量的后验分布狇(狕犡)为多元高斯分布,即狇(狕犡)?(犡),(犡),其参数(犡)和(犡)可分别通过神经网络计算出来,计算过程如下:(犡)犳(犺)(犡)(犳(犺烅烄烆)()式中:犳()和犳()分别为全连接神经网络;()表示以输入向量为对角元素的对角矩阵。在得到随机隐变量的后验分布的参数后,输入 报文子序列的随机性整体性特征可通过在该分布中采样得到。由于该采样过程无法微分,为了使得整个模型可以通过梯度下降算法端到端地训练出来,采用重参数化方法,通过在标准高斯分布中进行采样来得到服从特定分布的随机性整体性特征狕
19、,计算过程表示为狕(犡)(犡)()式中:表示从标准高斯分布中的采样结果;狕可以表示 报文子序列的整体性特征。融入注意力机制的解码器解码器的主要任务是根据已生成的当前时刻狋以及之前的 报文序列和随机隐变量狕重构出下一时间点处的 报文的特征向量。与编码器类似,解码器使用融合了位置特征的 报文特征向量作为输入,并且由犖犱个相同的解码器层堆叠而成。每一个解码器层主要包括掩码多头注意力机制、交叉多头注意力机制以及前馈神经网络个模块。其中,掩码多头注意力机制是指在多头注意力机制中引入掩码以确保在当前时刻狋的注意力权重计算以及预测仅依赖于当前时刻之前的 报文数据,掩码多头注意力模块用于建模已解码出的部分 报
20、文序列中的时序关系。第犻个解码器层中掩码多头注意力模块的计算过程定义如下:犃犻 (犎犻,犎犻,犎犻)犅犻 (犃犻犎犻烅烄烆)()式中:犎犻犚犻犱 表示上一个解码器层输出的隐状态拼接成的矩阵。为了将当前时刻待预测的 报文与输入的 报文序列对齐,以更好地重构当前时刻的报文数据,解码器中还包括了另外一个交叉多头注意力机制模块,对编码器的输出进行注意力机制运算:犆犻 (犅犻,犎犔犲,犎犔犲)犇犻 (犆犻犅犻烅烄烆)()最后,前馈神经网络模块被用来进一步提升解码器的表示能力:犗犻(犇犻)犎犻 (犗犻犇犻烅烄烆)()为了方便表示,使用犎犖犱表示最后一个解码器层输出的隐状态矩阵。设犎犖犱的第狋个列向量犺犔犱
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 Transformer VAE ADS 异常 检测 方法
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。