生成式大模型安全与隐私白皮书.pdf
《生成式大模型安全与隐私白皮书.pdf》由会员分享,可在线阅读,更多相关《生成式大模型安全与隐私白皮书.pdf(60页珍藏版)》请在咨信网上搜索。
1、生成式大模型安全与隐私白皮书The development of the Generative AI,e.g.,Large Language Models(LLM),have been popular in both academic and industrial communities on a worldwidescale,especially the ChatGPT series.The success of ChatGPT and GPT4 hasshown the future direction of developing AGI.However,large generative
2、modelsalso suffer from the issue of data/model security and privacy.We should note thatlarge generative models would bring a lot of security and privacy problems,whenthey demonstrate great power in changing our life,such as data leaking and thepropagation of fake news.In this white paper,we first co
3、nclude the developmentof large generative models,including its effects and social influences.Then,wesummarize the current security and privacy problems in existing large generativemodels,e.g.,the data and model security,copyright problems,and ethical issues.Finally,we give the corresponding suggesti
4、ons about the current security and privacyproblems.They can be employed to point out future research and develop directions,and can also be utilized as references for government decision-making.目录1序言12生成式大模型的发展之路12.1.ChatGPT 和 GPT4 的前身.12.1.1GPT1.12.1.2GPT2.42.1.3GPT3.52.1.4GPT3.5.72.1.5InstructGPT.
5、82.1.6Google Bert.102.2.ChatGPT 和 GPT4.112.2.1ChatGPT.112.2.2GPT4.142.3.ChatGPT 和 GPT4 之后发布的模型.172.3.1Facebook:LLaMa.172.3.2Stanford:Alpaca.182.3.3百度:文心一言.182.3.4阿里:通义千问.192.3.5清华:ChatGLM.193生成式大模型引发的变革203.1.应用 1:助力人机交互.203.2.应用 2:助力信息资源管理.203.3.应用 3:助力科学研究.223.4.应用 4:助力内容创作.234生成式大模型存在的安全问题244.1.生成
6、式大模型的数据安全.244.1.1生成式大模型使用过程中显式的隐私信息泄露.244.1.2生成式大模型使用过程中隐式的隐私信息泄露.244.2.生成式大模型的使用规范.264.2.1生成式大模型被用于虚假和恶意信息/软件编写.274.2.2生成式大模型违反当地法律法规.284.2.3生成式大模型没有预警机制.294.2.4生成式大模型安全优化不涉及灰色地带.294.3.生成式大模型的可信和伦理问题.304.3.1生成式大模型的可信问题.304.3.2生成式大模型的伦理问题。.314.4.生成式大模型的产权问题.354.4.1生成式大模型生成作品的著作权问题.354.4.2生成式大模型生成作品的
7、侵权.364.4.3生成式大模型生成作品的维权.364.5.生成式大模型的模型安全.374.5.1模型窃取攻击.374.5.2数据窃取攻击.394.5.3对抗攻击.394.5.4后门攻击.404.5.5Prompt 攻击.414.5.6数据投毒.425生成式大模型存在的安全与隐私建议435.1.保护数据隐私的建议.435.2.模型安全问题的建议.455.3.模型合规性问题的建议.456AGI 的展望和安全规划467致谢481序言11序言OpenAI 于 2022 年 11 月 30 日开放测试 ChatGPT,此后 ChatGPT 风靡全球,在 1 月份的访问量约为 5.9 亿。AI 驱动的聊
8、天机器人 ChatGPT 成为互联网发展二十年来增长速度最快的消费者应用程序。ChatGPT 和 GPT4 的诞生引发了生成式大模型的研发热潮,显示了人类迈向通用人工智能(AGI)的可能性。但在其备受追捧的同时,ChatGPT 等生成式大模型也面临 AI 自身数据和模型方面的安全隐患。我们应该意识到,在生成式大模型带来各种革命性的技术进步的同时,其自身带来的一系列安全与隐私问题也值得我们注意,例如引发的数据泄漏,助长虚假信息传播等。在本白皮书中,我们首先总结了 ChatGPT 与 GPT4等生成式大模型模型的发展历程,以及其带来的各种令人惊叹的能力和社会变革,社会应用等。而后,我们归纳了 Ch
9、atGPT 与 GPT4 等生成式大模型中存在的安全与隐私问题,包括数据安全,模型使用安全,版权问题,伦理问题等。最后,我们为应对这些安全与隐私问题提出了相应的应对策略,重点强调了日后亟需进行的研究和法规调整等。特别是为之后 AGI 技术的持续革新,起到未雨绸缪的预防。2生成式大模型的发展之路GPT(Generative Pre-trained Transformer)是一种基于 Transformer 模型的语言生成模型,由 OpenAI 团队开发。自 2018 年发布以来,GPT 系列模型已经成为自然语言处理领域的重要研究方向之一。图1概括了当前国内外有关 GPT 的研究现状。下面我们将先
10、介绍 ChatGPT 与 GPT4 出现之前的模型,而后介绍 ChatGPT与 GPT4 的原理与特点,之后将列举在 ChatGPT 与 GPT4 之后涌现的一系列代表性生成式大模型。2.1.ChatGPT 和 GPT4 的前身如图2所示,本文将按照时间顺序介绍几种代表性的 GPT 方法。2.1.1GPT12017 年,Google 推出 Transformer,利用注意力机制完全替代过往深度学习中的卷积结构,直白地展现出了“大一统模型”的野心。2018 年 6 月,OpenAI 通过论文Improving Language Understanding by Generative Pre-Tr
11、aining47 推出了基于 Transformer Decoder 改造的第一代 GPT(Generative Pre-Training),该2.1.ChatGPT 和 GPT4 的前身2图 1:国内外生成式大模型研究现状总结图 2:GPT 系列模型的发展历程总结模型是最早的将 Transformer 以多层堆叠的方式构成语言模型的模型,有效证明了在自然语言处理领域上使用预训练和微调方式的有效性。类似地,在计算机视觉领域,先预训练后微调的方式盛行已久:先用海量有标注的数据集,通过有监督的训练生成一个预训练模型,然后通过下游任务,在这个模型上做微调。但是在自然语言处理中,这个方式一直很难做起来
12、,原因是:缺乏大量标注好的文本数据集、2.1.ChatGPT 和 GPT4 的前身3图 3:GPT1 示意图比起图像信息,文字的信息更难被模型理解。Transformer 出世后,模型对文字上下文的理解能力得到显著增强,在这一铺垫下,GPT1 诞生了。如图3所示1,它的整体设计思路如下:首先,用无标注的数据(可以理解为一段普通的文字)训练一个预训练模型。在这个环节里,我们培养模型文字接龙的能力,也就是给定前 k 个词,模型能预测出第 k+1 个词。然后,在模型能够理解文字含义的基础上,用有标注的数据训练模型去定向做一些下游任务。例如文本分类,文本相似性比较等。有标注的数据集是远小于无标注数据集
13、的,在这个环节,我们只是对模型做了一些微小的调整。(1)GPT1 的优缺点 优点:GPT1 是第一个使用 Transformer 自回归模型的自然语言处理模型,可用于各种文本语言任务,如机器翻译,文本生成,对话生成等。缺点:GPT1 没有全面的站点,在处理复杂的对话任务中容易走样,并且其预测结果不太准确。(2)GPT1 的应用场景GPT1 是第一个使用 Transformer 神经网络架构的语言模型,它使用了极大的文本数据集进行预训练。它的训练数据包括预定义的文本领域,如天气、体育、新闻等。GPT1 采用自回归模型预测下一个词的出现概率,然后使用 Beam Search 算法生成下一句话。GP
14、T1 在自建语料库上进行训练,训练得到的模型可用于各种下游任务,如基于任务的语言学习和对话生成等。1此图引用于https:/ 和 GPT4 的前身4图 4:GPT2 示意图2.1.2GPT22018 年 10 月 Google 推出基于 Transformer 编码器的 Bert 算法,在同样参数大小的前提下,其效果领跑于 GPT1,一时成为自然语言处理领域的领头羊。基于Transformer 的模型,模型和数据量越大,效果越好。但如果只做到这一点,从技术上来说又太逊色了,性价比也不高。因此,openAI 在 2019 年 02 月从训练数据上进行改进,引入了 zero-shot 这一创新点,
15、GPT2(GPT1:110M,Bert:340M,,GPT2:1.5B)就诞生了 48,如图4所示2。GPT2 主要针对 zero-shot 问题,希望在完全不理解词的情况下建模,以便让模型可以处理任何编码的语言。下面我们将对其与 GTP1 的区别和自身的优缺点进行介绍。(1)相较于 GPT1 的改进GPT2 去掉了微调层:不再针对不同任务分别进行微调建模,而是不定义这个模型应该做什么任务,模型会自动识别出来需要做什么任务。在预训练部分基本与 GPT1 方法相同,在微调部分把第二阶段的有监督训练自然语言处理任务,换成了无监督训练任务,这样使得预训练和微调的结构完全一致。当问题的输入和输出均为文
16、字时,只需要用特定方法组织不同类型的有标注数据即可代入模型,如对于问答使用“问题+答案+文档”的组织形式,对于翻译使用“英文+法文”形式。用前文预测后文,而非使用标注数据调整模型参数。这样既使用了统一的结构做训练,又可适配不同类型的任务。虽然学习速度较慢,但也能达到相对不错的效果。另外 GPT2 将 Transformer 堆叠的层数增加到 48 层,隐层的维度为 1600,参数量更是达到了 15 亿。2此图引用于https:/ 和 GPT4 的前身5(2)GPT2 的优缺点 优点:GPT2 在 GPT1 的基础上进一步改进了模型,通过增加更多的参数(1.5 亿到 15 亿)来提高性能。同时
17、GPT2 可以生成更长的文本,更好地处理对话,并且有更好的通用性。缺点:GPT2 的训练数据来自于互联网,这意味着它存在垃圾数据和不当信息的问题。这使得它偶尔会生成不适当的回答。此外,GPT2 是封闭模型,无法对其进行修改或改进。(3)GPT2 的应用场景应用场景:在性能方面,除了理解能力外,GPT2 在生成方面第一次表现出了强大的天赋:阅读摘要、聊天、续写、编故事,甚至生成假新闻、钓鱼邮件或在网上进行角色扮演通通不在话下。在“变得更大”之后,GPT2 的确展现出了普适而强大的能力,并在多个特定的语言建模任务上实现了彼时的最佳性能。2.1.3GPT3虽然预训练和微调在许多情况下效果显著,但是微
18、调过程需要大量样本。这一框架不符合人类习惯,人类只需要少量的示例或任务说明就能适应一个新的自然语言处理下游任务。因此 OpenAI 于 2020 年 06 月推出了 GPT3 3,该模型延续了 GPT1 和 GPT2 基于 Transformer 的自回归语言模型结构,但 GPT3 将模型参数规模扩大至 175B,是 GPT2 的 100 倍,从大规模数据中吸纳更多的知识。如图5所示3,GPT3 不再追求 zero-shot 的设定,而是提出 In-Context Learning,在下游任务中模型不需要任何额外的微调,利用提示信息给定少量标注的样本让模型学习再进行推理生成,就能够在只有少量目
19、标任务标注样本的情况下进行很好的泛化,再次证明大力出击奇迹,做大模型的必要性。(1)GPT3 的优缺点 优点:与 GPT2 相比,GPT3 更加强大,它有 1750 亿个参数,并能够非常准确地执行一些任务,如语言翻译,问答与自动文本摘要。此外,GPT3 是开放模型,可供用户访问,并且可以进行迭代和改进。缺点:尽管 GPT3 功能强大,但在某些情况下仍会出现语义不清或不正确的回答,特别是对于特定领域的问题:1)当生成文本长度较长时,GPT3 还是会出现各种问题,比如重复生成一段话,前后矛盾,逻辑衔接不好等等;2)模型和结构的局限性,对于某一些任务,比如填空类型的文本任务,使用单3此图引用于htt
20、ps:/ 和 GPT4 的前身6图 5:GPT3 示意图向的自回归语言模型确实存在一定的局限性,这时候如果同时考虑上文和下文的话,效果很可能会更好一些;3)预训练语言模型的通病,在训练时,语料中所有的词都被同等看待,对于一些虚词或无意义的词同样需要花费很多计算量去学习,无法区分学习重点;4)样本有效性或者利用率过低,训一个模型几乎要把整个互联网上的文本数据全都用起来,这与我们人类学习时所需要的成本存在非常大的差异,这方面也是未来人工智能研究的重点;5)有一个不太确定的点是,模型到底是在“学习”还是在“记忆”?我们当然希望它能够学习,但是在使用数据量如此大的情况下,很难去判断它到底是什么样的;6
21、)众所周知,GPT-3 的训练和使用成本都太大了;7)GPT-3 跟很多深度学习模型一样,都是不可解释的,没办法知道模型内部到底是如何作出一系列决策的;8)模型最终呈现的效果取决于训练数据,这会导致模型会出现各种各样的“偏见”。(2)GPT3 的应用场景GPT3 的应用领域十分广泛。其中最重要的运用之一是自然语言生成,它可以根据给定的前后文或主题,自动生成语言流畅、连贯、逻辑清晰的帖子、新闻报导、诗文、对话等文字。此外,GPT3 也可以进行文本分类、情感分析、机器翻译、问答等多种自然语言处理任务,这些任务表现往往与人类表现很接近甚至超过了人类表现。正由于 GPT3 这些强大的能力,以及其开源的
22、特性,使得 GPT3 成为一个在 ChatGPT 模型诞生之前,被广泛使用的一个基座模型。在应用方面,GPT3 早已广泛应用于各种领域。比如,在教学领域,它能够为学生提供定制化的学习材料和回答,为教育行业带来更加智能、高效的教学模式。在商业领域,它可以用于智能客服、智能营销等场景,为用户提供更加人性化、高2.1.ChatGPT 和 GPT4 的前身7图 6:GPT3.5 示意图效的服务。在科技领域,它可以用于机器翻译、语音识别等场景,为人机交互带来更加便利的感受。在数据处理领域,它可以被用于一些结构化数据的分析,成为高效的数据分析师。然而,GPT3 也存在一些挑战和难题。最先,因为 GPT3
23、使用了大规模的训练数据和模型,其计算资源耗费特别大,必须运行在强悍的计算平台上。其次,GPT3还存在一些难题,比如针对一些特殊领域的语言逻辑水平有限,必须针对不同的领域开展专门的训练和优化。此外,GPT3 也存在一定的语言成见难题,可能会体现出一些社会、文化与性别上的成见。各种问题需要进一步的研究和处理。这些问题在之后的 GPT3.5 中得到了较大程度的缓解。2.1.4GPT3.5GPT3 纵然很强大,但是对于人类的指令理解的不是很好,这也就延伸出了GPT3.5 诞生的思路。在做下游的任务时,我们发现 GPT3 有很强大的能力,但是只要人类说的话不属于 GPT3 的范式,他几乎无法理解。如图6
24、所示4,2022 年初 OpenAI 发布了 GPT3.5,该模型是在 GPT3 的基础上进一步优化了模型架构和训练技术,提高了模型的效率和泛化能力,同时减少了对大量数据和计算资源的依赖。具体来说,GPT3.5 引入了一种新的“分组稀疏注意力”(Grouped SparseAttention,GSA)的架构,可以在不影响模型性能的情况下减少计算量,同时还采用了“标准化知识蒸馏”(Normalized Knowledge Distillation,NKD)等技术来进一步提高模型的效率和精度。4此图引用于https:/ 和 GPT4 的前身8(1)GPT3.5 的优缺点 优点:GPT3.5 与其他
25、 NLP 模型相比,具备更高的效率和更快的处理速度。这使得它在实际应用场景中更为实用。例如,在自然语言生成、文本摘要、机器翻译等任务中,GPT3.5 表现出了非常出色的能力。它可以生成高质量的文本,其生成的文本的质量接近于人类写作。同时,在处理问答任务中,GPT3.5 的语言理解能力也非常出色,可以理解和回答各种类型的问题。此外,该模型还具备文本分类能力,可以对给定的文本进行分类,并且在这方面取得了很好的成绩。GPT3.5 不仅在这些传统的 NLP 任务上表现优异,它还可以在一些新兴领域得到应用,如自然语言生成、文本摘要、机器翻译等。该模型还具有一个独特的优势,即它可以自我学习、自我改进。这意
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 生成 模型 安全 隐私 白皮书
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【Stan****Shan】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【Stan****Shan】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。