AI内容安全审核技术在新闻采编场景的应用研究:新华云盾产品设计与实践案例分析.pdf
《AI内容安全审核技术在新闻采编场景的应用研究:新华云盾产品设计与实践案例分析.pdf》由会员分享,可在线阅读,更多相关《AI内容安全审核技术在新闻采编场景的应用研究:新华云盾产品设计与实践案例分析.pdf(13页珍藏版)》请在咨信网上搜索。
1、中国新闻传播研究:视听传播新图景AAAAA IIIII内内内内内容容容容容安安安安安全全全全全审审审审审核核核核核技技技技技术术术术术在在在在在新新新新新闻闻闻闻闻采采采采采编编编编编场场场场场景景景景景的的的的的应应应应应用用用用用研研研研研究究究究究:新新新新新华华华华华云云云云云盾盾盾盾盾产产产产产品品品品品设设设设设计计计计计与与与与与实实实实实践践践践践案案案案案例例例例例分分分分分析析析析析*R e s e a r c ho n A p p l i c a t i o no fA IC o n t e n tS e c u r i t yC e n s o rT e c h n o
2、 l o g yi nN e w sG a t h e r i n ga n dE d i t i n gS e r v i c eS c e n a r i o s:A n a l y s i so fX i n h u aC l o u dS h i e l dP r o d u c tD e s i g na n dP r a c t i c e赵 越 刘 冬 孙 飞 陈自强Z h a oY u e L i uD o n g S u nF e i C h e nZ i q i a n g摘要:随着互联网的快速发展,新媒体已成为社会生活的一部分,正在潜移默化地改变着我们的工作、生活、学习和
3、社交方式。但网络内容中的大量有害信息对社会产生了严重不良影响,特别是对青少年的健康成长极其不利。而且,内容背后隐藏的意识形态、隐晦表达等问题让内容安全隐患更难以识别。如何营造清朗的网络内容空间,成为世界各国的难题。本文分析了我国内容安全审核行业现状,指出了当前环境下的优劣势以及业务痛点,并以新华云盾内容安全审核产品为实践案例,从设计理念、产品功能、交互体验、产品运营等方面详细阐述了如何使A I技术有效赋能采编业务场景。文章最后分析了A I内容审核所面临的挑战,并提出应对思路。关键词:内容安全;人工智能;产品驱动增长A b s t r a c t:W i t ht h er a p i dd e
4、 v e l o p m e n to ft h eI n t e r n e t,n e w m e d i ah a sb e c o m eap a r to fs o c i a ll i f ea n di si m p e r c e p t i b l yc h a n g i n go u rw o r k,l i f e,l e a r n i n ga n ds o c i a l s t y l e.H o w e v e r,a l a r g ea m o u n to fh a r m f u l i n f o r m a t i o n i nn e t w o
5、 r kc o n t e n th a sas e r i o u sn e g a t i v e i m p a c to ns o c i e t y,e s p e c i a l l yt h eh e a l t h yg r o w t ho fy o u n gp e o p l e.M o r e o v e r,t h eh i d d e n i d e o l o g ya n dc r y p t i c e x p r e s s i o n sb e h i n d t h e c o n t e n tm a k e i tm o r ed i f f i c
6、 u l t t o i d e n t i f yt h eh i d d e nd a n g e r so f c o n t e n t s e c u r i t y.H o wt o272*本文系国家社科基金重大项目“我国新闻传播业人工智能应用现状与发展趋向研究”(项目编号:1 9 Z D A 3 2 7)的阶段性成果。青年视点c r e a t eah e a l t h yn e t w o r kc o n t e n ts p a c eh a sb e c o m ead i f f i c u l tp r o b l e mf o ra l lc o u n t r
7、i e si nt h e w o r l d.T h i sp a p e ra n a l y z e st h ec u r r e n ts i t u a t i o no fC h i n a sc o n t e n ts e c u r i t yc e n s o ri n d u s t r y,a n dp o i n t so u tt h ea d v a n t a g e s,d i s a d v a n t a g e sa n db u s i n e s sp a i np o i n t su n d e rt h ec u r r e n te n v
8、 i r o n m e n t.T a k i n gt h ep r o d u c to fX i n h u aC l o u dS h i e l dc o n t e n ts e c u r i t yc e n s o rs y s t e m sa sap r a c t i c a lc a s e,t h i sp a p e re x p o u n d sh o wt oe f f e c t i v e l ye n a b l eA I t e c h n o l o g yt on e w sg a t h e r i n ga n de d i t i n g
9、s e r v i c es c e n a r i o s f r o mt h ea s p e c t so fd e s i g nc o n c e p t,p r o d u c t f u n c t i o n s,i n t e r a c t i v ee x p e r i e n c ea n dp r o d u c to p e r a t i o n.F i n a l l y,t h i sp a p e ra n a l y z e st h ec h a l l e n g e so fA I c o n t e n t c e n s o r t e c
10、h n o l o g y,a n dp r o p o s e s t h es o l u t i o n s.K e y w o r d s:c o n t e n t s e c u r i t y,a r t i f i c i a l i n t e l l i g e n c e,p r o d u c t-l e dg r o w t h引 言云计算、大数据、人工智能等互联网前沿科技的快速发展与普及,对各行业的发展都起到了显著的推动作用。近年来,随着国家大力发展融媒体,以及以微博、微信公众号、今日头条、百家号、抖音、快手等社交媒体平台为代表的新媒体,互联网新业态、新动能、新模式
11、层出不穷,由此也产生了很多新的互联网产业生态。新媒体已经渗透到社会的各个方面,正在潜移默化地改变着我们的工作、生活、学习和社交方式,对人类的发展发挥积极的推动作用。但与此同时,这些新技术也带来了很多困难挑战和安全隐患。面对网络信息井喷式的增长势态以及流量阵地的激烈竞争环境,网络内容安全隐患日益凸显。网络中传播的图文、音视频中充斥着大量违法违规和不良信息,包括极端言论、色情、暴力、恐怖、血腥、谣言、欺诈等内容,严重影响了互联网空间的内容安全,从而造成国家安全受损和社会稳定隐患。而且,对于青少年来说,在这样复杂的网络信息环境中获取和辨别正确、科学、健康的信息十分困难,大量不良信息对青少年的身心健康
12、发展十分不利。近年来,随着A I技术的逐步成熟,智能化内容安全审核已经成为互联网内容生产、发布、传播的第一道安全屏障。A I内容安全审核技术基于自然语言处理、图像处理、音视频处理等技术,通过对关键词、关键帧进行提取、识别,实现了对色情、暴力、恐372汪少敏,王铮,任华.利用深度学习融合模型提升文本内容安全的研究J.电信科学,2 0 2 0,3 6(5):2 5-3 0.刘丹.基于信息贫困理论的青少年信息行为浅析J.时代金融,2 0 2 0(3):1 3 8-1 4 0.中国新闻传播研究:视听传播新图景怖等图文视听信息的筛查,大幅缩减了审核时间,节约了成本,提升了审核效率。但由于A I技术的局限
13、性,对于事实追踪、新兴词汇、隐晦表达、语境差异等情况,A I还无法实现1 0 0%准确识别,因此仍需要人工复审。“人为主导、机为辅助”是目前内容安全风控的主要解决方法,但要做到快速、正确鉴别出内容安全隐患,困难和挑战依旧很大,要解决这个问题还有很长的路要走,一方面可以通过算法模型、词库规则、特征库的持续优化,不断提升A I审核的精准度和效率;另一方面,审核人员需要与时俱进、持续不断地培训学习,不断提高政治素养、语言文化水平等综合知识能力。本文对当前内容审核行业现状进行了分析,指出了其中存在的业务痛点,并以 新华云盾智能内容安全审核产品为例,结合一线采编业务场景,从设计理念、产品功能、交互体验、
14、产品运营等方面阐述如何基于互联网产品思维,使智能内容安全审核技术高效赋能采编业务场景。一、内容审核业务行业背景(一)政策环境:监管力度更大、规范要求更严格 网络空间是全球网民的精神家园,对人们的世界观、人生观、价值观以及思维方式都产生了重要影响。网络空间治理是网络强国的重要环节,已经引起世界各国的重视,各国纷纷开启网络治理的监管风暴。党的十九大报告提出,要“加强互联网内容建设,建立网络综合治理体系,营造清朗的网络空间”。习近平总书记也曾多次强调,要依法加强网络空间治理和信息内容建设监管的力度,培育积极健康、向上向善的网络空间。近年来,国家陆续出台了 中华人民共和国网络安全法 网络信息内容生态治
15、理规定 中华人民共和国未成年人保护法 中华人民共和国数据安全法 中华人民共和国个人信息保护法 等相关政策法规,对网络信息内容安全的监管力度愈加严格。(二)产业规模:市场需求旺盛,审核维度愈加专业化和精细化近年来,得益于A I技术的成熟和普及,数据标注和审核产业应运而生,通过对文本、图像、音视频特征内容的标注,为机器学习提供了大量的训练样本,并持续优化A I472蔡报文,杨慧芸,刘辉.人工智能技术在媒体融合中的应用研究J.教育传媒研究,2 0 2 0(4):8 4-8 5.李留英.各国互联网内容安全监管现状比较与分析J.信息网络安全,2 0 1 0(1):7 4-7 6.青年视点识别效果。根据中
16、研普华研究院2 0 1 82 0 2 4年中国数据标注与审核市场深度分析与发展趋势研究报告 所述,自国家十三五规划中提出发展大数据产业以来,我国数据标注与审核产业发展迅速。2 0 1 7年产业市场规模达到1 3.8 2亿元(不含关联产业),较2 0 1 6年增长1 2%以上,预计在2 0 2 3年前后突破3 0亿元。由于A I技术的局限性,对审核准确度要求较高的业务,仍需要大量的人工审核把关。因此,数据标注和审核产业仍属于劳动力密集型行业。目前,很多涉及内容安全审核业务的互联网公司分别在北京、上海、天津、无锡、济南、武汉、芜湖、西安、重庆、成都、郑州、广州等地组建了内容审核团队,以“A I+人
17、工”的方式支撑大量的内容安全审核工作。在审核维度方面,随着国家对网络意识形态安全的高度重视,识别色情、恐怖、暴力、血腥、谣言、辱骂等违背法律和道德的有害信息,是内容审核市场最为核心的需求。随着历史虚无主义、网络谣言等新的内容安全隐患类型不断增加,A I审核难度加大,对审核人员专业度、工作强度的要求也越来越高,审核的维度也在向专业化纵深发展。(三)技术研发:底层核心技术+互联网产品化,让A I内容审核快速普及A I内容安全审核的关键技术主要集中在自然语言处理、图像处理、音视频处理等几方面。在文本纠错方面,一般采用模型训练配合词库规则的方式,实现错别字、标点、单位、固定搭配、规范用法等文本错误类型
18、的审核;在文本敏感词审核方面,一般采用常用的快速检索算法,实现对大量敏感词库的高效匹配;在图像审核方面,也是通过模型训练,实现对色情、暴恐、血腥等不良画面及特定场景、物品的识别。在音视频审核方面,除了对声纹特征的识别,主要还是将语音转化为文字,将视频截帧为图像,再分别进行文本和图像审核。在落地应用方面,为了让A I技术更好地赋能业务场景,市面上也出现了很多A I内容审核产品。这些产品基于数据可视化等主流W e b前端技术,把高深的A I技术隐藏在背后,在交互体验、业务流程方面精雕细琢,让产品更贴合实际业务场景。正因为如此,A I内容审核产品得以快速应用于各个行业。(四)业务痛点:采编力量跟不上
19、业务发展,管理方式制约团队成长目前,内容审核业务普遍存在以下问题:572中研普华研究院.2 0 1 82 0 2 4年中国数据标注与审核市场深度分析与发展趋势研究报告R/O L.(2 0 1 8-0 9-2 8)2 0 2 2-0 7-1 0.h t t p s:/w w w.c h i a n r n.c o m/r e p o r t/2 0 1 8 0 9 2 8/1 5 1 0 2 6 8 2 2.h t m l.朱世强,王永恒.基于人工智能的内容安全发展战略研究J.中国工程科学,2 0 2 1,2 3(3):6 7-7 4.中国新闻传播研究:视听传播新图景一是业务量大,人手紧缺。随着
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- AI 内容 安全 审核 技术 新闻 采编 场景 应用 研究 新华 产品设计 实践 案例 分析
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。