可扩展分层次编译码的语义通信系统.pdf
《可扩展分层次编译码的语义通信系统.pdf》由会员分享,可在线阅读,更多相关《可扩展分层次编译码的语义通信系统.pdf(12页珍藏版)》请在咨信网上搜索。
1、2023 年 8 月 Journal on Communications August 2023 第 44 卷第 8 期 通 信 学 报 Vol.44 No.8可扩展分层次编译码的语义通信系统 张聿远,赵海涛,魏急波,曹阔,张亦弛,罗鹏,刘月玲,梅锴(国防科技大学电子科学学院,湖南 长沙 410073)摘 要:针对目前文本语义通信大部分研究主要依靠仿真系统进行理论验证的问题,利用分层次编译码架构在语义层次和语法层次上的分离性,提出了一种可扩展分层次的语义通信系统。该系统通过语义和语法层次相分离的模式有效兼容香农信息框架下的可靠通信技术,实现语义通信与传统通信的嵌套结合。进一步,基于软件无线电平
2、台搭建了一个通用可扩展的验证系统,对所提语义通信系统架构进行实用化验证。该验证系统以语义通信软件平台作为硬件驱动和算法调用的驱动核心,集成了信号产生、信息发送、接收端数据采集、译码和评估的全过程,并且能够面向语义和语法层次进一步扩展。最后,基于该验证系统进行了文本语义通信的测试,验证了其相较于传统通信方式具有更高的有效性和可靠性。关键词:语义通信;分层次编译码;语义层次;语法层次;验证系统 中图分类号:TN914 文献标志码:A DOI:10.11959/j.issn.1000436x.2023157 Extensible hierarchical codec semantic communi
3、cation system ZHANG Yuyuan,ZHAO Haitao,WEI Jibo,CAO Kuo,ZHANG Yichi,LUO Peng,LIU Yueling,MEI Kai College of Electronic Science and Technology,National University of Defense Technology,Changsha 410073,China Abstract:Aiming at the problem that most current researches on text semantic communication mai
4、nly rely on simulation system for theoretical verification,an extensible hierarchical semantic communication system was proposed by taking advantage of the separation of hierarchical encoding and decoding architecture in semantic level and grammatical level.The system was compatible with the reliabl
5、e communication technology under the framework of Shannon information through the mode of semantic and syntactic separation,and realized the nested combination of semantic communication and traditional communication.Furthermore,a universal and extensible verification system was built based on the so
6、ft-ware radio platform to verify the proposed semantic communication system architecture.The verification system took semantic communication software platform as the driving core of hardware drive and algorithm call,integrated the whole process of signal generation,information transmission,data acqu
7、isition,decoding and evaluation at the receiving end,and could be further extended for semantic and syntactic level.Finally,the text semantic communication was tested based on this verification system,which verified that it had higher validity and reliability than the traditional communication mode.
8、Keywords:semantic communication,hierarchical codec,semantic level,syntactic level,verification system 0 引言 Weaver1于 1953 年在香农信息论2的基础上,对通信的定义进行了重要补充,提出了包含语义通信在内的通信 3 个层次的概念。1)语法层次,围绕如何准确地传输通信符号的问题展开,即经典香农信息论框架;2)语义层次,围绕如何使传输符号精确地传达信息含义展开;3)语用层次,围绕如何利用接收到的信息含义以其期望的方式有效影响行为而展开。语义通信从信息含义3的角度出发,将长期通信过程收稿
9、日期:20230512;修回日期:20230809 通信作者:赵海涛, 基金项目:国家自然科学基金资助项目(No.62201584,No.61931020,No.U19B2024)Foundation Item:The National Natural Science Foundation of China(No.62201584,No.61931020,No.U19B2024)50 通 信 学 报 第 44 卷 中积累的用户个性化信息(如用户需求、情感和用语习惯等个性化特征)作为共享知识进行存储,并在通信交互过程中不断动态更新知识库以便更加准确地刻画用户特点,实现面向对象的个性化智能物联通信
10、服务,是未来智能体之间一种必然的通信方式4。徐文伟等5在其提出的后香农时代十大挑战问题中,将建立语义信息论作为当前信息通信行业亟须解决的首要问题。张平院士6在展望未来6G 移动通信技术时指出,6G 将拓展传统的香农信息理论,构建完备的语义信息度量、压缩和传输的理论体系。张亦弛等7提出了一个面向智能体的语义通信架构。为促进语义通信的实用化发展,国内外学者针对图像和语音信号展开研究,尝试搭建语义通信平台进行实验验证。刘传宏等8以图像分类任务为例,设计并构建了面向智能任务的语义通信平台。Weng 等9针对所提语音传输语义通信系统架构 DeepSC-ST,开发了用于概念验证的软件演示平台。为迎接未来更
11、加智能化的、万物互联10的无线通信时代,实现信息通信行业的深层发展,迫切需要在语义通信领域实现理论与技术突破。利用人工智能技术赋能,语义通信有望解决传统通信模式难以满足智能化通信需求的问题8,在工业互联网、远程医疗和智慧城市等传输数据量大而通信资源紧缺的通信场景中有巨大潜力11。自然语言处理(NLP,natural language processing)技术作为人工智能领域的重要组成部分,在语义特征提取和语义处理方面取得了长足的发展,尤其以 ChatGPT(chat generative pre-trained transformer)为代表的生成式预训练语言模型12,在理解和学习人类语言的
12、基础上可以做到与真正人类几乎无差异的聊天交流,展现出未来智能语义通信的巨大潜力。在此背景下,语义通信逐渐成为一大研究热点,涌现出很多激动人心的研究成果13-30,但大部分研究成果主要依靠理论分析和仿真进行验证,缺乏一个通用可扩展的、经过真实信道的语义通信验证系统来推动语义通信的进一步发展和实用化。为了构建一个通用的语义通信验证系统,并兼顾语义通信系统的通用性和可扩展性,本文设计了一个可进行实验验证的传输系统。本文综合考虑了上下文知识与传输符号对通信性能的影响,设计了一种能够有效兼容语法层次通信技术并且可进行实验验证的语义通信系统。通过联合语法层和语义层进行分层次编译码,所提语义通信系统能够面向
13、具体通信场景进行扩展,鲁棒性和适应性得到提升。1 相关研究现状 随着语义通信得到广泛关注和重视,国内外学者分别针对文本、语音和图像等信源展开了研究。不同类型信源的语义特征各不相同,因而需要构建与之相匹配的语义编码方式,并在接收端将其语义准确恢复或者完成某项智能任务,成为当前语义通信系统相关研究的主要内容。1.1 针对文本信源的语义通信系统 文本信源在形式上相对简单,不具备类似于由音色相似性或图像模式重复性带来的特征稀疏性。另一方面,文本包含的单词词性、上下文知识、语法句法结构和文本情感等深层知识却非常丰富,这些因素导致文本信源的语义特征的提取和恢复难度更大。深度学习(DL,deep learn
14、ing)模型作为一项数据驱动的新兴人工智能技术,其强大的知识学习能力和非线性特征映射能力恰好与语义通信结合上下文知识处理信息含义的需求不谋而合,因而成为大多数学者构建语义通信系统的重要工具。其次,NLP 模型对文本主题、句法和情感等背景知识具有高效的特征提取与处理能力,是语义特征提取和语义信息处理的重要工具。Zhang 等13提出了一种基于词义的语义编码策略和上下文语义关联的译码策略,采用深度学习模型来获取作为背景知识的上下文特征,并将该特征作为输入以求解联合概率模型,该策略下的语义编码、上下文特征学习和概率模型求解过程相对独立,实现了模块化语义通信系统方案的构建。Yao 等14采用端到端神经
15、网络进行文本语义传输,提出了一种迭代语义编译码设计方案,以应对信道的时变特性。该方案中的语义编译码模块采用了 Bi-LSTM 和 Transformer 这 2 种神经网络架构,通过语义译码器和信道译码器之间的相互迭代来修正信道引发的语义歧义。Xie 等15采用 Transformer 架构将文本映射到语义空间,将部署在收发两端的编码器和译码器进行联合优化,通过最小化语义错误来恢复语句含义。在此基础上,针对物联网设备算力有限和模型参数传输带宽受限的问题,Xie 等16提出了一种轻量化的分布式语义通信系统 L-DeepSC,通过权值裁剪和量化手段有效缩减网络尺寸和参数,使其能够在参数减少的情况下
16、保持稳定的语义相似度。文献17在一对多广播通信场景中引入用户情感需求,并采用情感识别模型完成对多用户文本信息的区分。第 8 期 张聿远等:可扩展分层次编译码的语义通信系统 51 1.2 针对语音信源的语义通信系统 相较于形式简单而内涵丰富的文本信息,语音信号包含说话人音色、谐波结构和持续时间等大量声纹特征,在语音恢复时需要完整地将语音信源的时域细节特征进行还原。其次,语音信源也可以从频域维度来挖掘和重构语音语义。针对语音信源的语义传输,Weng 等18采用基于通道注意力的SE-ResNet 模块设计了一种语义编译码系统,命名为 DeepSC-S。该系统基于端到端的神经网络架构设计,通过注意力机
17、制来学习和获取语音信号传输所需的关键语义信息,并为其分配高权值以保证关键语义的准确恢复。文献9将语音合成技术引入语音语义通信系统,将语音信号的语义特征通过由总卷积神经网络(CNN)、门控循环单元(GRU)和Dense 等网络层构成的编译码网络转化成文本(即语音识别),再利用 Tacotron2 模型将文本信息重构成语音样本序列(即语音合成),从而实现语音信号的传输,并达到了传输符号数与语义通信系统性能的良好折中。Han 等19提出了一种高度语义聚焦的语音传输通信系统,利用基于注意力机制的软对齐模块和去冗余模块,使网络只传输与语义相关的信源信息,以实现高效的语音传输。与文献9类似,该系统也采用语
18、音识别得到的解译文本来辅助语音合成,并构建语义校正器对文本进行语义和语法纠错,实现了基于背景知识的语音信源消歧。1.3 针对图像信源的语义通信系统 相较于全连接神经网络,基于卷积核的局部连接和权值共享机制在处理图像信息上具有明显优势,这主要是因为图像信息具有局部相关性和模式重复性。在以卷积神经网络为代表的深度学习助力下,计算机视觉技术取得了长足的发展,相关模型已在图像识别、视觉问答和目标检测等多个子领域得到广泛应用,同时也是图像语义特征提取、处理和传输的重要工具。文献20设计了一种端到端一体化、多层语义感知的无线图像传输系统 MLSC,该系统将图像整体的语义信息和局部的空间细节语义信息分别提取
19、后进行拼接融合,通过多层级图像语义信息的整合以更好地对抗信道干扰。Hu 等21分析了图像语义噪声的产生机理,采用以 Vision Transformer 为基础的自编码器架构和对抗训练方式,从而降低了语义噪声。Xie 等22针对视觉问答(VQA,visual question answering)智能任务,设计了一种可处理图像和文本多模态信息的语义通信系统 DeepSC-VQA。进一步,Xie 等23将图像检索(IR,image retrieval)任务、机器翻译(MT,machine translation)任务和 VQA 相结合,提出一种面向任务的多用户语义通信系统 MU-DeepSC。然
20、而,上述基于端到端一体化联合设计的语义通信系统严重依赖于收发端共享的背景知识,在实际传输过程中可能存在数据分布动态变化和接收端任务未知的问题。针对此问题,Zhang 等24分别定义了数据恢复和任务执行 2 个损失函数,并采用生成对抗网络学习动态更新后的数据分布,使模型能够更好地适应变化的任务和数据环境。2 分层次语义通信系统设计 2.1 可扩展分层次编译码 为了能与现有通信技术进行嵌套与结合,本文采用分层次编译码的方式来搭建语义通信系统。通过语义和语法层次相分离的方式实现语义通信与传统通信的结合,并进一步通过搭建通用可扩展的验证系统来实现语义通信的实用化。如图 1 所示,图 1 分层次编译码语
21、义通信系统基本架构 52 通 信 学 报 第 44 卷 所提分层次编译码的语义通信系统架构并未改变传统通信的结构和编译码方式,只是增加了基于共享知识库的语义编码和语义译码模块,语法层次则由传统通信的信源编码、信道编码和调制等模块实现,从而实现了 2 个层次编译码的分离。分层次编译码语义通信系统利用其语义层次和语法层次的分离性,能够实现面向语义和语法层次的扩展,本文基于该基本架构搭建的可扩展分层次语义通信系统如图 2 所示。该系统在语义层次从单词词性的角度出发,利用不同词性单词之间的语义距离较大的特点对单词进行组合编码,通过面向文本主题、情感等角度对词组进一步分类,或者引入句法结构和知识图谱来扩
22、展词汇的组合模式,增加语义知识的丰富度,可实现语义层次的算法扩展。在语法层次,因词性编码是从词汇本身语义距离的角度对单词层级的文本进行分组,并不影响语法层次单词到比特数据的转换,故语法层各模块能够有效兼容香农信息框架下的无差错比特传输技术,该系统的信源编码、调制解调模块可嵌套已有成熟的编码、调制方式,并且可进一步增加信道编译码模块以提升比特数据的传输可靠性,从而实现面向语法层次的模块扩展。图 2 可扩展分层次语义通信系统 语义层次编译码通过对共享知识的挖掘,在传统通信基础上实现传输性能的进一步提升。如图 1所示,在比特级无差错传输的语法层次部分,是符合传统的经典信息论且存在香农极限的;在语义层
23、次部分,现有学者尝试利用语义信息来突破香农极限,比如通过挖掘传输信息本身蕴含的上下文知识作为共享知识来提升通信可靠性。这些知识本身并没有作为额外的数据在信道中传输,而是通过共享知识库的形式进行存储,并作为辅助信息在语义层级的编译码中发挥作用。因此,挖掘并利用这一额外的上下文知识进行语义译码和纠错,能够在经典通信的基础上进一步提升通信可靠性,从而使语义通信系统存在“突破”香农极限的可能,但在语法层次的经典通信过程中,信息的传输依旧是符合香农信息论且存在香农极限的。2.2 语义编码方法 考虑到不同词性单词之间的语义距离较大,若将不同词性的单词分配给同一码字,接收端能够利用深度学习技术轻松地区分这些
24、单词。因此,本文系统在发送端利用单词的词性差异构建编码表,实现信息的压缩,并减小同一码字单词出现在相同语境下的概率,便于接收端依据共享知识能更好地筛选出正确单词。第一步,利用单词词性对单词进行分类和编码。综合考虑有效性和计算复杂度,本文所提系统考虑了名词类n、动词类v、形容词类a和其他类o共 4 类词汇,对 Brown 语料库中的BM个词汇标注其单词类型。需要说明的是:该方法不局限于分类类型数目只为 4,若想进一步提升压缩率,可将其他类划分成副词、代词等类型,或从文本主题和情感等角度继续分类,但类型数目增大会增加译码的复杂度。第二步,将 4 类词汇依据其在语料库中出现的频率进行降序排序。第三步
25、,将排列好的词汇序列按类合并成BN(BBNM)个叶子节点。每个叶子节点包含每个类别中排序相同的 4 个不同词性的单词,即取每类词汇中均处于第 i 个频次的单词,组成第 i 个叶子节点,并取每个叶子节点所含4 个单词的频次之和作为其权重,如表 1 所示。第四步,从频率最低的叶子节点向高频率节点依次构建二叉树。具体而言,先取权重最低的两节点合并成新节点,并给这两节点按权重高低分别分配标签1 和 0,新节点权重为两节点权重之和。第五步,表 1 叶子节点权重示例 序号 名词类n 动词类v 形容词类a 其他类o 叶子节点权重 i(boy,1054)(be,6374)(own,750)(and,28850
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 扩展 分层 译码 语义 通信 系统
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。