基于自注意力和长短期记忆网络的管制信息抽取模型.pdf
《基于自注意力和长短期记忆网络的管制信息抽取模型.pdf》由会员分享,可在线阅读,更多相关《基于自注意力和长短期记忆网络的管制信息抽取模型.pdf(3页珍藏版)》请在咨信网上搜索。
1、AutomaticControlSySystem&Equipment自动控制系统与装置电气自动化2 0 2 3年第45卷第4期于自注意力和长短期记忆网络的管制信息抽取模型王雪川,王煊”,杨涛,雷宁,王磊(1.北京首都国际机场股份有限公司,北京10 1317;2.中国电子科技集团公司第二十八研究所空中交通管理系统与技术国家重点实验室,江苏南京2 10 0 0 7)摘要:管制指令的正确理解对飞行安全具有重要意义,从指令中提取管制信息有助于管制员的理解。为实现管制信息的自动提取,提出了一种新的管制信息抽取模型。模型基于自注意力和长短期记忆网络,将管制指令转换成标签序列,并学习标签之间的长距离依赖性,
2、实现管制信息的精确抽取。通过试验可知,新模型对管制信息的抽取精度不低于97%。由此可见,新模型可赋予计算机对管制信息的自动提取能力,辅助管制员工作,保障飞行安全。关键词:管制指令;信息抽取;长距离依赖性;自注意力网络;长短期记忆网络D0I:10.3969/j.issn.1000-3886.2023.04.024中图分类号V355.11文献标志码A文章编号10 0 0-38 8 6(2 0 2 3)0 4-0 0 7 6-0 3Regulation Information Extraction Model Basedon Self-attention and Long Short-term Me
3、mory NetworkWang Xuechuan,Wang Xuan,Yang Tao,Lei Ning,Wang Lei(1.Bejing Capital International Airport Co.,Ltd.,Beijing 101317,China;2.State Key Laboratory of Air Traffic Management System and Technology,Nanjing Jiangsu 210007,China)Abstract:The correct understanding of the control instruction is of
4、great significance to flight safety,and the extraction of control informationfrom the instruction will help the controllers understanding.In order to realize the automatic extraction of regulatory information,anew regulatory information extraction model was proposed.Based on self-attention and long
5、short-term memory network,the modelconverted regulatory instructions into label sequences,and learned long-distance dependencies between labels to achieve accurateextraction of regulatory information.The experiment shows that the precision of the new model is not less than 97%.It can be seenthat the
6、 new model can endow the computer with the ability to automatically extract control information,assist the controller andensureflight safety.Keywords:control instruction;information extraction;long-distance dependency;self-attention network;long short-term memory network0引言空中交通管制员使用管制指令引导航空器飞行,长期以来,
7、因管制指令理解错误而导致的飞行事故不胜枚举。加强空管系统对指令的解析将有助于管制员及时发现错误,对保障航空运输安全具有重大意义。由于管制指令是非结构的,需要人工智能算法辅助抽取关键信息。当前的方法可分为三类:一是基于语法规则抽取管制信息2;二是基于机器学习,使用隐马尔可夫模型3抽取管制信息;三是基于深度学习,构建卷积神经网络4或循环神经网络5-7 抽取管制信息。管制指令包含航班呼号、动作、朝向、停机位、滑行道等待点和跑道等信息,涉及航空器飞行全过程。为规范管制指令,国际民航组织做出了明确规定8,具有以下特点:包含大量专业术语;具有固定结构和规则。但在实际管制中,管制员发送的管制指令会出现重复、
8、隐字、口语或加字现象。这使得指令结构被破坏,词语顺序被扰乱,信息间依赖距离增加,上下文呈现随机分布,导致基于语法规则方法难以有效提取管制信息。基于机器学习和深度学习的方法虽然具有鲁棒性,但未考虑管制信息间依赖距离增加的情况,导致模型仍具有一定误差。定稿日期:2 0 2 2-0 3-0 876ElectricalAutomation本文基于自注意力网络(self-attentionnetwork,SA N)和长短期记忆(longshort-termmemory,LST M)网络,提出一种新的管制信息抽取模型,可以有效捕捉信息之间的长距离依赖关系,更精确地抽取管制信息1基本网络1.1LSTM网络基
9、本原理循环神经网络(recurrentneuralnetwork,R NN)可用于处理序列问题,通过引人定向循环方式,更好处理输人序列间的关联问题。LSTM是RNN的一种变形结构,可解决RNN的梯度消失和梯度弥散问题,核心是LSTM单元,包括了输入门、输出门、遗忘门和记忆单元,记忆单元用于存储某时间段的历史信息。定义输人文本序列为x=x1,2,,x T,其中:T为序列长度。LSTM网络在t时刻的输出计算如式(1)所示i,=o(Wxix,+Whht-1+Waci-1+b,)f,=o(Wwx,+Whr-1+Wagci-1+by)c,=fic,-1+i,tanh(Wex,+Whcht-1+b.)(1
10、)0,=o(Wox,+Whohi-1+Wcoc,+b.)(h,=o,tanh(c,)式中:x,为在序列位置t上的字符;h,为位置t上的模型隐藏状态;i,f.o,分别为位置t上输入门、遗忘门和输出门的输出序列;c,ElectricalAutomation77AutomaticControlSystem&Equipment自动控制系统与装置电气自动化2 0 2 3年第45卷第4期为位置t上的记忆单元状态;()为sigmoid函数,且tanh(z)=2g(2 z)-1;Wi、W、W*。、W*。为输入门、遗忘门、输出门和记忆单元的连接权重,*=x,h,c;b,、b、b。b.为输人门、遗忘门、输出门和记
11、忆单元的偏置项。LSTM从前向后训练,在位置t上无法学习后面的语义信息。而管制指令中的信息依赖上下文内容,需要使用双向LSTM网络(BiLSTM)BiLSTM的网络结构如图1所示,由两个方向相反的LSTM网络组成,正向LSTM网络和反向LSTM网络分别从序列的首尾两个方向处理输人序列。正向LSTM网络捕获目标位置词的上文特征,反向LSTM网络捕获目标位置词的下文特征,拼接后输出结果,因此同时学习了信息的上下文内容。输出LSTMJLSTMLSTMLSTM单元单元单元单元一反向正向JLSTMJLSTMLSTMLSTM单元单元单元单元输入图1BiLSTM网络结构1.2SAN网络基本原理SAN网络学习
12、较长距离信息间的依赖关系,SAN网络由多头自注意力组成。多头注意力的核心是缩放点积注意力,工作机制描述如下:QKattention(Q,K,V)=softmax(2)式中:Q为查询向量;K是键向量;V为值向量;Va为比例压缩因子。通过QK计算Q和K之间的相似度,经过softmax归一化处理得到权重矩阵,并对V加权求和。多头注意力由多个比例点积注意力组合构成。如图2 所示,Q、K 和V经过线性变换得到多头注意力中不同比例点积注意力的输入向量,经过式(2)计算得到输出结果,然后将所有比例点积注意力的输出向量进行拼接后,再线性映射,得到多头注意力的输出向量。线性拼接h比例点积注意力机制性贷性线性性线
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 注意力 长短 记忆 网络 管制 信息 抽取 模型
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。