多重注意力指导下的异构图嵌入方法.pdf
《多重注意力指导下的异构图嵌入方法.pdf》由会员分享,可在线阅读,更多相关《多重注意力指导下的异构图嵌入方法.pdf(11页珍藏版)》请在咨信网上搜索。
1、DOI:10.11992/tis.202204006网络出版地址:https:/ 电子与信息工程学院,辽宁 葫芦岛 125105)摘 要:现有的异构图嵌入学习方法存在两个方面的问题,一是没有考虑不同节点属性间的深层联系,二是通过注意力机制聚合邻居节点来生成目标节点的向量表示,忽略了目标节点的特征在向量表示中起的作用。为解决上述问题,本文提出了一种多重注意力指导下的异构图神经网络,从点线网 3 个角度学习异构节点嵌入向量。使用双向长短期记忆模型(bidirectional long short-term memory networks,Bi-LSTM)挖掘不同节点的属性间的深层关联关系并将其映射
2、到同一向量空间,利用级联网络对单条元路径实例上的邻居节点和目标节点的特征信息进行融合,从而增强嵌入向量对目标节点信息的表达能力,提出一种多重注意力机制来聚合多条元路径实例上的节点信息,生成最终的节点嵌入向量表示。在 3 个大型异构图上的实验结果表明,本文提出的模型在异构图嵌入的效果方面优于现有基线模型,并且对于增强节点属性信息上的表达展现出了良好的性能。关键词:异构信息网络;图表示学习;异构图嵌入;元路径;元路径实例;图注意力;异构图;图神经网络中图分类号:TP18 文献标志码:A 文章编号:16734785(2023)04068811中文引用格式:孟祥福,温晶,李子函,等.多重注意力指导下的
3、异构图嵌入方法 J.智能系统学报,2023,18(4):688698.英文引用格式:MENG Xiangfu,WEN Jing,LI Zihan,et al.Heterogeneous graph embedding method guided by the multi-attentionmechanismJ.CAAI transactions on intelligent systems,2023,18(4):688698.Heterogeneous graph embedding method guidedby the multi-attention mechanismMENG Xiang
4、fu,WEN Jing,LI Zihan,JI Hongzhang(School of Electronic and Information Engineering,Liaoning Technical University,Huludao 125105,China)Abstract:There are two problems in the existing heterogeneous graph embedding learning methods.One is that thedeep relationship between different node attributes is n
5、ot considered,the other is the problem of ignorance of the role ofthe features of the target node in the vector representation when generating the vector representation of the target nodeby aggregating neighboring nodes through attention mechanism.In order to solve above problems,this paper proposes
6、 aheterogeneous graph neural network under the guidance of multiple attentions,which learns the embedding vectors ofheterogeneous nodes from three perspectives of Point-Line-Net.Bi-LSTM is used to mine the deep relationship betweenattributes of different nodes and map them to the same vector space.A
7、 cascaded network is used to fuse the feature in-formation of neighbor nodes and target nodes on a single meta-path instance,so as to enhance the expression ability ofembedded vectors to target node information.A multi-attention mechanism is proposed to aggregate node informationon multiple meta-pat
8、h instances and generate the final node embedding vector representation.Experimental results onthree large heterogeneous graphs show that the proposed model is superior to the existing baseline model in the embed-ding effect of heterogeneous graphs,and shows good performance in enhancing the express
9、ion of node attribute inform-ation.Keywords:heterogeneous information network;graph representation learning;heterogeneous graph embedding;metapath;metapath instance;graph attention;heterogeneous graph;graph neural network 现实世界中,很多数据都是以图结构进行表示的,如社交网络1-3、蛋白质结构、推荐系统4-6等。这些包含多种不同类型边和节点的图称为异收稿日期:20220404
10、.网络出版日期:20230322.基金项目:国家自然科学基金项目(61772249);辽宁省教育厅项目(LJKZ0355).通信作者:孟祥福.E-mail:.第 18 卷第 4 期智能系统学报Vol.18 No.42023 年 7 月CAAI Transactions on Intelligent SystemsJul.2023智能系统学报编辑部版权所有构图(heterogeneous graph,HG),也叫异构信息网络(heterogeneous information network,HIN)7。如,DBLP(digital bibliography&library project)学术
11、网络可以用 HG 表示,它由 4 种类型的节点(作者 A、论文 P、术语 T、地点 V)和 3 种类型的边(作者撰写论文、论文包含术语、论文发表在会议上)组成。基于这些节点和边,可以推导出更复杂的语义。APA 代表着同一个论文的合著者,PAP 代表一个作者发表多篇论文。为了将这些图数据应用到下游任务,如节点分类8、链路预测9、节点聚类10和推荐11等,需要对异构图进行映射和嵌入处理,使得原始网络中的节点和边的结构和语义信息得到有效保持,并且压缩冗余信息。图嵌入作为一种高效的大规模网络表示和管理方法,将网络的拓扑结构映射到低维向量空间中,使得原始网络节点的邻近信息得到很好地保留和利用。早期的嵌入
12、技术着重研究同构图,如 Deep-Walk12,将图上的一组随机游动序列输入 Skip-Gram13模型来近似这些游动中的节点共现概率,并获得节点嵌入表示。与它类似的还有 Node2-vec14。随着深度学习的迅速发展,图神经网络(graph neural networks,GNNs)被提出,它利用专门设计的神经层学习图表示。尽管 GNN 在许多任务中取得了先进的成果,但大多数基于 GNN的模型都假设输入的是同构图,如 Esim15。为了解决异构图嵌入问题,研究者提出了元路径的概念,通过元路径将异构图转化为同构图,从而进行节点表示,如 Metapath2vec16、HAN(heterogen-
13、eous graph attention network)17、MAGNN(metapathaggregated graph neural network for heterogeneousgraph embedding)18等。也有研究不采用元路径,直接在异构图上进行操作,如 HetSANN19、Het-GNN20、GATNE21等。然而,现有的异构图嵌入方法大多是通过简单的线性变换将不同类型节点的不同属性信息投影到同一向量空间,忽视了不同节点的属性信息间的关联。如 DBLP 数据集中有“作者”节点、“会议”节点、“作者”具有“研究方向”、“发表论文”等属性,研究方向为“数据库”的作者发表的
14、文章都是与数据库相关的,并且大多数代表性的论文都是发表在 SIGMOD、VLDB、ICDE 等会议上。“研究方向”决定着论文发表到什么样的会议或者期刊上。由此可见,同一节点的不同属性之间具有语义关联,不同节点的属性信息间也存在语义关联。同时,异构图嵌入方法大多是基于元路径的思想,通过注意力机制聚合单条路径上的邻居节点,从而生成目标节点的嵌入,该类方法过于强调邻居节点的重要性而忽视了目标节点本身的信息。为了解决上述问题,本文提出了一种多重注意力指导下的异构图神经网络嵌入方法(multipleattention for heterogeneous graph embedding method,MA
15、N)。MAN 从 Point、Line、Net 3 个角度进行节点嵌入,生成最终的嵌入向量。首先,把节点的属性信息输送进双向长短期记忆模型(bidirection-al long short-term memory networks,Bi-LSTM),通过正向和反向建模捕获节点属性间的双向联系。然后,利用图注意力机制聚合邻居节点。为了解决图注意力只能聚合元路径实例上的首尾节点的问题,通过引入一个邻居节点聚合器学习每个邻居节点在元路径实例中的上下文向量表示;为了解决目标节点最终向量中包含较少节点属性信息的问题,设计了一种级联网络,该网络通过将图注意力生成的向量和目标节点属性向量进行线性操作,生成
16、 Line 层次的向量表示。最后,通过多重注意力机制混合多条路径进行 Net 层次聚合。注意力机制按照元路径类型对图中所有路径进行分类和平均转换,聚合平均向量生成最终嵌入向量。然而对同一种元路径下的多条路径未区分重要性,因此,为解决这一问题,模型在将注意力作用到根据不同类型元路径形成的平均向量的同时,引入一个可学习的注意力参数,形成多重注意力机制,减小聚合平均向量为最终嵌入向量带来的偏差。本文工作的主要创新点如下:1)提出了基于 Bi-LSTM 的节点属性间关联关系的建模方法。2)设计了级联网络和多重注意力机制来聚合元路径内部以及元路径之间的邻居节点。3)在 3 个大型异构图上进行了节点分类和
17、链路预测任务,评估所提模型的性能。1 相关工作 1.1 图神经网络图神经网络22-24的目标是学习图中每个节点的低维向量表示,从而将这些节点应用于下游任务。图卷积网络(graph convolutional network,GCN)25是一种在图中结合拓扑结构和顶点属性信息学习节点的嵌入表示的方法,然而 GCN 要求在一个确定的图中学习嵌入表示,无法泛化到在训练过程中没有出现过的节点。为解决这一问第 4 期孟祥福,等:多重注意力指导下的异构图嵌入方法689 题,Hamilton26提出了一种通过学习一个对邻居顶点进行聚合的函数来产生目标节点的嵌入向量的方法。图注意力(graph attenti
18、on networks,GAT)27将注意力机制应用到图表示学习上,将原本 GCN的标准化函数替换为使用注意力权重的邻居节点特征聚合函数,从而学习节点的嵌入向量。不同于传统的多头注意力机制均衡地消耗所有的注意力头,GaAN28使用了一个卷积子网络来控制每个注意力头的重要性。1.2 异构图嵌入异构图嵌入,旨在通过保留网络拓扑架构和节点内容信息,将节点表示到低维向量空间中。现有的方法大多是基于元路径,如 Metapath2vec16利用元路径引导生成随机游动,将其馈送到 Skip-Gram13模型学习到节点的嵌入表示;HERec29借助元路径的邻居将异构图转化为同构图,将节点送入 DeepWalk
19、12模型学习到嵌入表示。利用基于元路径的邻居将异构图转化为同构图,降低了图嵌入的复杂性。对于转化后的同构图,HAN17使用图注意力架构聚合来自邻居节点的信息,并利用注意力机制来组合各种元路径;MAGNN18改进了 HAN 和 HERec 只考虑元路径起始节点和末尾节点的问题,利用 RotatE30编码元路径实例,最终得到包含丰富节点信息的嵌入表示。ie-HGCN31打破了需要预先定义元路径的局限性,设计了一种基于邻接矩阵的异构图卷积网络,能够在粗粒度和细粒度 2 个层面上发现对于当前任务最优的元路径。HetSANN19通过一个类型感知的注意力层替换传统 GNN32-34中的卷积层,在不使用元路
20、径的前提下,直接编码异构图中的结构信息。HetGNN20采用重启随机游走为每个节点采样固定数目的强关联异质邻居,对于同类邻居和不同类邻居分别采用 Bi-LSTM35和注意力机制进行聚合,生成嵌入向量。GATNE21提出了一种基于属性多元异构网络的表示学习方法,通过节点之间存在的多种邻近类型,产生具有多个视图的网络,进行多重网络嵌入学习。2 问题定义本节将介绍本文使用的与异构图相关的一些重要术语的形式化定义。G=(,)A R定义 1异构图。异构图由表示,它由节点集合 和边集合 组成;:为节点类型映射函数,:为边类型映射函数;A 和|A|+|R|2R 表示预定义对象类型和链接类型的集合,如图 1
21、所示。A1R1A2R2A3R3RlAl+1pi=A1,A2,Al+1R=R1R2RlAl+1定义 2元路径。元路径 pi由来 表 示,简 称。其 中,是节点类型 A1的组合关系,表示关系上的组合操作。pi=A1,A2,Al+1定义 3元路径上的 k 跳邻居。对于一条元路径,目标节点 A1的元路径pi上的 k 跳邻居为 A1的 k 阶邻居 Ak+1。G=(,)定义 4异构图嵌入。给定一个异构图,异构图嵌入是通过设计的模型学习节点的d 维向量表示,该向量尽可能包含节点在图 G 中的语义信息和结构信息。PVTauthorpapervenuetermA1A2A3P1P2V1T1P3V2A1P1A2(a
22、)节点类型(b)异构图(c)元路径Author-paper-authorA 图 1 异构图Fig.1 Heterogeneous graph 3 多重注意力指导下的异构图神经网络模型本节描述了一种新的多重注意力指导下的异构图神经网络MAN,用于生成异构图嵌入。图 2 给出了单个节点的嵌入向量生成过程。如图 2 所示,Bi-LSTM 捕捉节点属性之间的关系,并将节点投射到相同的向量空间中,级联网络融合元路径上节点的上下文信息,多重注意力模型生成节点嵌入表示。3.1 Point 层次异质节点属性抽取通过预训练得到节点不同属性的嵌入表示,这些表示向量的数据形状由属性内容决定。节点的异质性决定了属性的
23、异质性,不同类型的节点具有不同的属性,属性的维度也是不相同的,无序无规格的属性数据将对后续的操作造成阻碍。以往的解决方法大多是将不同的属性特征进行拼接,或利用转换矩阵将其映射到同一向量空间。单一的线性转换无法反映出节点属性间存在的联系。例如,学术论文数据集(Database systems andlogic programming,DBLP)中有“作者”节点,“作者”具有“研究领域”、“发表论文类型”等属性,对于研究领域为“推荐系统”的作者 A,他发表论文的关键字通常是“推荐”、“协同过滤”等。作者的研究领域与发表论文类型也是密切相关的。因690智能系统学报第 18 卷 此,设计了一种基于 B
24、i-LSTM 的模型来捕获节点深层次的特征交互信息,从而增强模型的表达能力。节点 vi的内容嵌入表示为hvi=ixvlstmpfcx(xi)lstmnfcx(xi)|xv|(1)hvi RdRdfcxx式中:为节点 vi经过 Bi-LSTM 模型得到的内容嵌入;为 d 维欧氏空间;为节点特征转换器,可以是一个恒等式(即 fc 的输入与输出相同),也可以是一个参数为的全连接神经网络,用于调整嵌入维度的大小;xv为节点的内容信息;为向量间的串联操作;lstmp、lstmn 分别为正向反向的 LSTM 网络。LSTM 的计算过程为zi=(Uzfcx(xi)+Wzhi1+bz)fi=(Uffcx(xi
25、)+Wfhi1+bf)oi=(Uofcx(xi)+Wohi1+bo)ci=tanh(Ucfcx(xi)+Wchi1+bc)ci=fici1+zicihi=tanh(ci)oi(2)Point 层模型首先使用不同的 FC 层来转换节点的内容信息,然后将转换好的内容信息输入 Bi-LSTM 进行编码,从而挖掘节点特征的深层交互,最后利用所有隐藏状态上的池化层输出一个基于内容信息的节点 vi的嵌入表示。Bi-LSTMBi-LSTM编码编码编码图注意力FCFCMultiple attentionMLPhviviuikhvilviE(vi,ui1)a1a2PointLineNetE(vi,ui2)E(v
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 多重 注意力 指导 构图 嵌入 方法
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。