智能化漏洞挖掘与网络空间威胁发现综述.pdf
《智能化漏洞挖掘与网络空间威胁发现综述.pdf》由会员分享,可在线阅读,更多相关《智能化漏洞挖掘与网络空间威胁发现综述.pdf(8页珍藏版)》请在咨信网上搜索。
1、信息安全研究第9 卷第10 期2 0 2 3年10 月Journalot lnformationSecurity ResearchVol.9No.10Oct.2023DOl:10.12379/j.issn.2096-1057.2023.10.01智能化漏洞挖掘与网络空间威胁发现综述刘宝旭2.3.4李昊2孙钰杰董放明12孙天琦陈满1(中国科学院信息工程研究所北京100093)2(中国科学院大学网络空间安全学院北京100049)3(中国科学院网络测评技术重点实验室北京100195)4(网络安全防护技术北京市重点实验室北京100195)()Survey of Intelligent Vulnerab
2、ility Mining and Cyberspace Threat DetectionLiu Baoxu-2.3.4,Li Haol.2,Sun Yujiel.2,Dong Fangmingl*2,Sun Tianqi-2,and Chen Xiaol.21(Institute of Information Engineering,Chinese Academy of Sciences,Beijing 100093)2(School of Cyber Security,University of Chinese Academy of Sciences,Beijing 100049)3(Key
3、 Laboratory of Network Assessment Technology,Chinese Academy of Sciences,Beijing 100195)4(Beijing Key Laboratory of Netvwork Security and Protection Technology,Beijing 100195)Abstract At present,the threat of cyberspace is becoming more and more serious.A large numberof studies have focused on cyber
4、space security defense techniques and systems.Vulnerabilitymining technique can be applied to detect and repair vulnerabilities in time before the occurrence ofnetwork attacks,reducing the risk of intrusion;while threat detection technique can be applied tothreat detection during and after network a
5、ttacks occur,which can detect threats in a timelymanner and respond to them,reducing the harm and loss caused by intrusion.This paper analyzedand summarized the research on vulnerability mining and cyberspace threat detection based onintelligent methods.In the aspect of intelligent vulnerability min
6、ing,the current research progressis summarized from several application classifications combined with artificial intelligencetechnique,namely vulnerability patch identification,vulnerability prediction,code comparison andfuzz testing.In the aspect of cyberspace threat detection,the current research
7、progress issummarized from the classification of information carriers involved in threat detection based onnetwork traffic,host data,malicious files,and network threat intelligence.Key words artificial intelligence;cyberspace security;network attack;network intrusion;vulnerabilitymining;threat detec
8、tion technology摘要当前网络空间面临的威胁日益严重,大量研究关注网络空间安全防御技术及体系,其中漏洞挖掘技术可以应用于网络攻击发生前及时发现漏洞并修补,降低被入侵的风险,而威胁发现技术可以应用于网络攻击发生时及发生后的威胁检测,进而及时发现威胁并响应处置,降低入侵造成的收稿日期:2 0 2 3-0 9-0 5基金项目:国家重点研发计划项目(2 0 2 1YFC3300401);国家自然科学基金项目(6 2 2 0 2 46 2)引用格式:刘宝旭,李昊,孙钰杰,等.智能化漏洞挖掘与网络空间威胁发现综述 J.信息安全研究,2 0 2 3,9(10):932-939932漏洞挖掘与威胁
9、检测专题.Issue on Vulnerability Mining and Threat Detection危害和损失.分析并总结了基于智能方法进行漏洞挖掘与网络空间威胁发现的研究.其中,在智能化漏洞挖掘方面,从结合人工智能技术的漏洞补丁识别、漏洞预测、代码比对和模糊测试等几个应用分类方面总结了当前研究进展;在网络空间威胁发现方面,从基于网络流量、主机数据、恶意文件、网络威胁情报等威胁发现涉及的信息载体分类方面总结了当前研究进展。关键词人工智能;网络空间安全;网络攻击;网络入侵;漏洞挖掘;威胁发现技术中图法分类号TP183随着信息化水平的提高,各行业的生产效率也随之提高,国家、个人和各行业基
10、础设施都高度依赖网络计算系统.同时,网络空间面临的威肋也更加严重:2 0 10 年震网病毒事件展现了网络威胁对现实世界的破坏 1;2 0 15年乌克兰电网被植人恶意软件造成大规模的停电 2 ;2 0 2 0 年网络管理软件SolarWinds被植入后门,使超过30 万用户面临供应链攻击威胁 3.高级持续性威胁(advancedpersistent threat,A PT)旨在破坏社会的关键基础设施,如政府、能源、教育等领域 4,对特定目标进行长期、隐蔽和持续攻击,在世界范围内造成了严重的安全威胁和巨大的经济损失。软件是构建网络空间的核心基础设置之一,存在于软件中的漏洞成为影响网络空间安全的重要
11、因素.漏洞可被利用于窃取他人隐私数据(如HeartBleed漏洞),亦可被用于控制他人计算机(如Sandworm漏洞),以及种种其他网络空间破坏活动.在“黑客地下产业”经济利益驱动下,从漏洞发现、利用到网络渗透攻击,已经形成分工明细、规模化的产业链,各种稀有漏洞资源待价而沽,从漏洞首次发现并被用于渗透攻击的周期缩短到几周甚至几天.快速、深入地漏洞分析与发现已成为安全防御的关键。漏洞挖掘技术可以应用于网络攻击发生前,降低被人侵的风险.而为了应对正在发生的网络空间攻击,安全界建立了多重防护体系:Gartner公司 5 每年都会总结网络安全行业的关键技术,威胁发现一直是最关键的研究问题之一,威胁发现
12、技术是处置、溯源等减少被人侵损失的基础,也是网络安全防御体系的基石.而网络威胁尤其是APT攻击的发现目前是一个非常具有挑战性的研究领域。漏洞挖掘技术关注于攻击发生前系统面临的威胁,而威胁发现技术关注攻击发生中系统产生的威胁行为,下面将分别介绍智能化的漏洞挖掘与智能化的网络威胁发现相关研究.1智能化的漏洞挖掘研究随着人工智能和计算机技术的飞速发展,智能化正深刻改变着各个领域.针对漏洞挖掘高度依赖安全人员专业知识等问题,智能化漏洞挖掘技术在漏洞挖掘领域崭露头角.近年来,研究者开始将人工智能技术与漏洞挖掘技术相结合,主要包括将人工智能技术应用于漏洞补丁识别、漏洞预测、代码比对和模糊测试等。1.1智能
13、化漏洞补丁识别漏洞补丁包含了漏洞语句、修补语句、漏洞函数等重要的信息,但是开发人员可能不会在补丁信息中表明这是漏洞补丁,或者在未公开的情况下静默修复漏洞,这些补丁被称为静默补丁,如何精准地从大量提交信息中识别静默补丁是一个技术难题.1.1.1基于机器学习的漏洞补丁识别Zhou等人 6 从提交信息和漏洞报告中提取文本特征,使用K-fold stacking算法将多个分类器组合起来.Perl等人 7 开发了一种启发式算法,从修复提交中找到引人漏洞的提交,提取特征,包括代码度量和GitHub元数据特征.使用线性支持向量机(SVM)作为分类器,能够自动识别潜在的漏洞.1.1.2基于深度学习的漏洞补丁识
14、别传统的机器学习需要研究者提取语义特征,人工成本较高,而深度学习模型能够自动从输人中学习特征,因此深度学习模型越来越多地应用在补丁识别领域。PatchRNN8使用经典的RNN模型,设计了TwinRNN和TextRNN这2 个子模型,分别处理网址http:/1 933信息安全研究第9 卷第10 期2 0 2 3年10 月Journalot Information Security ResearchVol.9No.10Oct.2023修改前后的代码和补丁消息.E-SPIC9对SPI进行了改进.E-SPI也由2 个神经网络组成,作者设计了一个AST编码器获取修改代码相关的抽象语法树路径,使用BiLS
15、TM网络进行训练;使用图神经网络(GNN)构建提交消息依赖图,学习文本消息表示。1.1.3基基于大语言模型的漏洞补丁识别大语言模型相较于普通的深度学习模型更有优势,通过对大语言模型预训练,能够很好地胜任补丁识别相关任务.已经有很多学者进行了尝试.VulFixMiner10基于Transformer,仅从代码更改中提取语义,该系统的框架包括3个阶段:微调、训练和应用.使用标记的数据对CodeBERT进行微调.在训练阶段使用单层神经网络分类器对补丁进行分类.1.2餐智能化漏洞预测传统的漏洞识别方法需要依靠人工专家的知识和经验,然而随着对软件安全性要求的提高,需要更高效、自动化和智能化的漏洞识别方法
16、.智能漏洞识别技术具备强大的特征提取和模式识别能力,可以从海量数据中自动学习和提取关键特征,并从中学习出模式和规律,使得漏洞识别更加高效和准确.1.2.1基于语法特征的智能化漏洞预测Rebecca11针对大多数研究受限于数据集的规模和多样性,无法充分发挥深度学习优势的问题,提出了利用深度学习从源代码中直接学习特征的方法,并将学习到的特征表示与随机森林分类器相结合进行漏洞检测.1.2.2基基于语义特征的智能化漏洞预测随着研究的深入,研究人员开始结合程序分析技术利用更深层的语义信息进行模型训练。Benjamin12以漏洞检测的程序分析算法DataflowAnalysis(DFA)为指导,对DFA和
17、GNN消息传递算法进行对比,设计了一种嵌入技术,用于对CFG中每个节点编码,嵌人处理后的CFG进行图学习,通过利用节点中编码的数据流信息进行分析,从而模拟DFA中的数据流技术.1.2.3基于大语言模型的智能化漏洞预测基于Transformer的大语言模型在自然语言处理中的出色表现以及自然语言与高级编程语言(如C/C十十)的相似性,使得大模型在漏洞识别9341中有很好的应用前景.Claudia13研究探索了基于Transformer的模型在Java漏洞的多标签分类中的应用,通过使用BERT等Transformer模型,解决了现有漏洞检测数据集过小的问题,提高了模型的性能.1.3餐智能化代码比对代
18、码比对是发现目标软件中是否存在已知漏洞的重要技术,将漏洞函数与目标软件中的所有函数进行比较,当相似度大于阈值时即可推断目标软件中存在已知漏洞.二进制代码比对方法的一个关键是发现目标场景(跨架构、跨版本、跨编译器、跨优化选项或其组合)尽可能具有鲁棒的、可标识的特征,人工智能方法的基本思想是借助深度神经网络而非人的先验知识识别出这样的特征。1.3.1基于深度学习的二进制代码比对技术Gemini14提出借助深度图神经网络具化这一非对等映射.Gemini假设一个函数等价于一个属性控制流图,进一步,Gemini借助内嵌Structure2Vec 网络的 Siamese网络将一个ACFG表示为一个低维em
19、bedding.然后通过比较嵌人的相似性来判断2 个二进制函数的相似性.1.3.2基于大模型的二进制代码比对技术Jtrans15将汇编代码作为输入,首先使用BERT根据输入生成token,然后引人位置嵌入作为跳转关系依据,接着将两者通过屏蔽语言模型进行训练,最后通过跳跃目标预测进行微调.VulHawk12首先将二进制代码转换为微码,通过补充隐式操作数和剪枝穴余指令,有助于保留二进制函数的主要语义.然后使用RoBERTa模型提取微码基本块嵌入,使用图卷积网络(GCN)将基本块嵌入和CFG进行结合生成函数向量进行匹配1.4智能化模糊测试传统的模糊测试的输人构造过程高度依赖于测试人员的经验,2 0
20、17 年,微软提出了Learn&Fuzz16这一智能化模糊测试技术,标志着模糊测试智能化方向的兴起.构造输人主要需要解决3个问题:确定变异位置、改良变异策略、生成合法输人.本文从这3个方面观察模糊测试在智能化技术上的发展1.4.1石确定变异位置Neuzz17采用了基于梯度的方法增益模糊测试的变异过程,利用神经网络中的梯度判断和指漏洞挖掘与威胁检测专题.Issue on Vulnerability Mining and Threat Detection定代码强相关的输入区域,并重点对此类区域进行变异.MTFuzz18通过多维度因素,如变异方法、上下文调用情况与代码覆盖进行训练模型.1.4.2改良
21、变异策略Meuzz19根据从过去相同或类似项目的种子调度决策中学到的知识来确定哪些新种子有更高的代码覆盖率.FuzzBoostL201结合Q-learning模型,设计了一种奖励策略来评估测试覆盖率,以此增强模糊过程中的输人突变.Seamfuzz21 能够捕捉单个种子输人的特征,按照种子间的语法和语义相似性进行分组,使用汤普森采样算法为不同的种子输人应用不同的突变策略。1.4.3生生成合法输入LAFuzz22使用LSTM和 Attention 这2 种模型生成高质量的结构化或非结构化的种子输人。在针对编程语言的测试用例生成方面,Deep-Fuzz23利用Seq2Seq模型对C语言源码进行建模并
22、生成半有效的畸形输入.此外,有部分研究尝试利用神经网络模型恢复输人中的语法信息,例如GANFuzz24利用生成对抗网络生成符合协议语法规范的畸形输人。2智能化的威胁发现研究威胁发现可以分为威胁检测和威胁狩猎 2 5,威胁检测是被动的扫描系统识别疑似恶意行为,威胁狩猎是主动地在网络中搜索可以绕开安全检测或产生危害的威胁的过程 2 6 。网络空间威胁发现需要依赖攻击发生时收集的信息载体,如网络流量、主机日志、恶意文件、网络威胁情报等,下面将从几种信息载体出发,结合智能方法总结每个载体在网络威胁发现中发挥的作用。2.1基基于网络流量的威胁发现研究网络流量是网络计算系统互相通信时传输的信息载体,而当攻
23、击者入侵网络计算系统时会在各个环节中产生与正常流量不同的特征,以下将介绍基于网络流量在渗透攻击不同阶段的威胁发现研究.2.1.15外部渗透攻击流量检测研究攻击者通过外部渗透入侵系统,通过对网络流量的分析可以检测到攻击行为.Yang27利用IP地址、端口号、包类型数、网络包数作为数据源,结合信息熵和SVM模型进行异常检测.2.1.2C2通信的威胁发现研究攻击者需要向被入侵的主机发送指令完成接下来的渗透攻击环节,在通信的过程中不可避免地产生网络流量,尽管只占网络流量的极小一部分.然而,恶意的C2通信与正常的通信行为模式往往具有差异,许多研究关注C2通信的威胁发现,Dong等人 2 8 I 将远程控
24、制木马的网络行为建模,从每个待评估应用的独特网络跟踪行为中自动构建多级树(MLTree),并将二者进行对比识别是否为木马通信。2.1.3阳隐蔽信道的威胁发现研究恶意软件在获取机密信息后需要进行数据传输,为了规避检测,在数据传输时通常使用隐蔽信道,例如使用DNS协议的字段外泄数据,伪装成合法的DNS查询通过防火墙的检查.Zhang等人 2 9 使用深度学习方法,将DNS隧道数据视作文本,使用词嵌人作为拟合神经网络的一部分,检测决策由常见的深度学习模型作出,包括密集神经网络(DNN)、1维卷积神经网络(1D-CNN)和循环神经网络(RNN).2.2基于主机数据的威胁发现技术主机数据是网络计算系统在
25、运行中记录操作的文件,包含操作种类、操作时间、操作状态等字段,为威胁发现提供了关键信息.下面将结合主机日志介绍威胁发现技术.最早研究关注利用日志的统计信息进行异常检测,Llgun30利用UNIX操作系统的审计数据序列分析系统状态转换,并匹配攻击模式的行为检测异常。随着计算资源的增加,许多深度学习模型被提出并用于日志数据系统异常检测.Yang等人E31提出一种基于对数的异常检测方法PLELog,采用半监督方法消除耗时的人工标签,并通过概率标签估计方法,结合有关历史异常的知识,以发挥监督方法的优越性.通过设计一个基于注意力的GRU神经网络有效地检测异常.由于APT攻击具有时间跨度长的特点,使用传统
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 智能化 漏洞 挖掘 网络 空间 威胁 发现 综述
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。