智能质检白皮书(2023).pdf
《智能质检白皮书(2023).pdf》由会员分享,可在线阅读,更多相关《智能质检白皮书(2023).pdf(46页珍藏版)》请在咨信网上搜索。
1、目 录一、发展趋势:AI 语义质检 04质检业务的 4 个主要发展阶段为什么说“AI 语义”模式是未来趋势?基于深度学习的“AI 语义”模式的优势“AI 语义”模式的技术原理基于“大模型”的新一代解决方案二、新实践:双模质检 10“关键词+正则”模式的适配场景“AI 语义”模式的适配场景“双模”质检,各司其职三、新实践:流程质检 14什么是“流程质检”?流程质检的常见使用场景四、企业微信质检 18离线质检:企业微信需开通“会话存档”实时质检:支持 PC 客户端和手机客户端微信质检的常见问题 FAQ五、Compliance 产品七大亮点 22关联质检:全面提升“多通会话”成组质检的能力流程质检:
2、灵活配置,适配各种复杂业务场景自定义字段:让质检与业务结合更紧密会话详情页改版:提升用户体验一键对接质检工单系统:快速在线生成质检报告10000+质检业务模板更新:可即插即用全自研核心 AI 技术:保障更高检出率、更快优化能力六、保险行业的实践 30实践一:从“关键词”升级到“一段话的语义”实践二:引入自定义字段和复杂流程&逻辑配置七、多行业案例 35银行:中信银行保险:大都会人寿证券:招商证券教育:火花思维八、质检项优化 41-4-一、未来趋势:AI 语义质检市面上有很多面向销售和客服人员的语音、文本质检系统,其他绝大部分产品使用的是基于“关键词+正则表达式”实现方式。由于漏检和错检问题严重
3、,单纯地依靠这类质检方式,越来越难以满足企业的实际需求。-5-2023 智能质检质检业务的 4 个主要发展阶段很多企业拥有中大型电销或客服中心,每天与客户产生成千上万次沟通。沟通的质量,决定了企业的收入或客户满意度。企业监督业务人员的沟通质量和执行力的过程,被称为质检。在未引入机器质检(系统质检)之前,以呼叫中心场景为例,质检人员只能依靠人工抽听录音的方式进行质检,后来企业引入“语音转写”技术,质检员可以边听边看,效率得到提升。引入初代的机器质检系统之后,通过设置关键词和简单正则质检项,机器可以帮助质检员做一轮全量的初筛,质检员则复检机器质检的结果。引入新一代机器质检系统之后,机器可识别上下文
4、语义,帮助质检员更快更高效地找出所有违规对话。5%左右100%质检覆盖率人工抽听人工抽听+语音转写初代机器质检(关键词+简单正则)新一代机器质检(复杂正则+AI 语义)-6-为什么说 AI 语义模式是未来趋势?市面上有很多面向销售和客服人员的语音质检系统、文本质检系统,绝大部分产品实际使用的是基于“关键词+正则表达式”的机器质检系统。这种方法的主要优点是部署和上手使用都比较快,主要缺点是存在非常严重的漏检和错检情况。就像一个漏孔很大的筛子一样,难以满足企业对质检的需求越来越精细、对质检效率要求越来越高的发展趋势。因此,在“关键词+正则表达式”之外,我们开始越来越多地为客户提供基于深度学习模型的
5、 AI 语义方案,并且在实际使用中能够多发现210倍的问题。对于企业而言,采用“AI 语义”方案意味着他们可以全面地提升服务质量或者实现合规升级。“关键词和正则的方法,难以满足企业对质检的需求越来越精细、对质检效率要求越来越高的发展趋势。-7-2023 智能质检基于深度学习的“AI 语义”模式的优势语音和文本质检的主要任务是找出业务人员“说了什么不该说的内容”或者“该说的什么内容没有说”。前者通常被称为负向质检;后者通常被称为正向质检,企业可以设置为“做得不好就减分”的惩罚制,也可以设置为“做得好就加分”的奖励制。传统基于“关键词+正则表达式”的产品做质检,所遇到的最主要问题是“找不全”,通常
6、会漏掉很多不合格、不合规之处,导致质检效率大打折扣。看一个实际对比的例子。某互联网公司的基础质检项“服务态度问题”,在我们的实际应用中:使用传统“关键词+正则”方案,一天的数据中能找出13条,100%是正确的;使用新的“AI 语义”方案,能找出134条,其中78%是对的。从最终结果看,新的“AI 语义”方案多找出了 8 倍的问题。原因其实很简单。如果使用基于“关键词+正则”的方案,方法是用关键词的组合来涵盖每个质检项的不同表达方式但是你可以写 10 个关键词,100 个关键词,却永远不可能穷尽,因为语言的表达方式是非常多样的、千变万化的,必须通过整个句子的上下文语义才能做出更准确的判断。质检项
7、“服务态度问题”系统找出量(一天)正确率问题检出量问题检出率传统关键词+正则方案13 条100%13 条1x新一代AI 语义方案134 条78%104 条8x-8-“AI 语义”模式的技术原理AI 语义方案,目标是训练一个深度学习算法模型,使之能够判断关键词未覆盖的句子是否命中了质检项。我们以另一个贷后资产管理领域常见的质检项“暴露客户隐私”为例。从标注到训练模型,再到最后上线使用,“AI 语义”方案大致分为三个步骤。第一步,使用我们的“标注工厂”产品,通过人工的方式,将是“暴露客户隐私”的句子标记为“正例”,将不是“暴露客户隐私”的句子标记为反例。第二步,将一定规模的经过标注的正例和反例都“
8、喂”给训练器,让训练器学习到一个算法模型,这个算法就能用来判断新句子是不是涉嫌暴露客户隐私。第三步,在质检产品中,系统就可以标记出所有命中“暴露客户隐私”语义点的句子,复检员可以快速定位到该质检项所处的位置,迅速进行核实。此外,复检员每一次复检的操作,都相当于对算法模型进行了一次反馈,会帮助算法模型变得更准。最终,比”关键词+正则“方案多找出数倍的不合格、不合规之处,达到召回率(找的全)、准确率(找的准)均在80%以上的效果。-9-2023 智能质检基于“大模型”的新一代解决方案2021 年 4 月,循环智能联合华为云发布了全球首个千亿参数的中文语言预训练大模型“盘古”,发布时盘古大模型打破了
9、权威评测榜单 CLUE 的三项记录。经过一年多的研发和进化,循环智能把零样本技术推向落地,建成了零样本 NLP 平台。盘古零样本 NLP 平台搭载了,经过极致优化的 15 亿参数可落地模型,性能显著超越原版的千亿模型。零样本学习是全新的 NLP 生产范式,在大部分场景下无需标注样本,只需要人类提供指令(Prompt)即可完成建模,大幅度地降低生产门槛;在少部分场景下,仅需通过少量样本(通常 10-50 条数据)进行微调,即可完成建模。从模型效果的角度看,通过盘古零样本平台生产的 NLP 模型,跟原来的标注几百条样本得到的模型,可以做到效果相当;从生产周期的角度看,大部分 NLP 模型生产可以从
10、传统方法的几天降至几分钟,少部分需要微调的模型也仅需要一两个小时即可完成生产,生产效率提升 10 到 1000 倍。-10-二、新实践:双模质检随着自然语言处理(NLP)领域技术的发展,以“AI 语义”质检模式为主、“关键词+正则”模式为辅的方案已成为未来发展趋势。两种模式将长期共存,因为它们各有其更擅长做的事情、更适配的场景。-11-2023 智能质检“关键词+正则”模式的适配场景在实际应用中,“关键词+正则”作为一种基础质检模式,越来越难以满足企业在质检效果和效率上的精细化需求。但是,这种模式也有它的优势:上手快。当企业提出一个新的、此前从未用过的质检项时,质检项的标准尚未完全确定,因此可
11、以用“关键词+正则”模式先跑起来,快速进行探索和迭代。其后根据初步探索和迭代的结果,再判断是否可以升级到基于深度学习技术的“AI 语义”模式。这是适配“关键词+正则”模式的第一种场景。第二种场景:当一个质检项命中的目标通话量比较少,只有几百甚至几十条,就无法产生足够的“正例”给机器学习模型进行训练,只能继续采用“关键词+正则”模式。这是一种被动场景,也是比较常见的场景。还有一种场景比较特殊:有些质检项命中的目标通话比较多,原则上可以用来训练机器学习模型,但是因为“关键词+正则”已经得出不错的结果,既找得全(术语叫召回率高),又找得准(术语叫准确率高),两个值都超过90%,那么暂时就不迫切需要升
12、级到“AI 语义”质检模式了。比如很多企业需要的正向质检项“礼貌问候”,因为可以穷举出大部分“礼貌问候”的用词,用“关键词+正则”模式就能得到双90%的结果。不过,这种场景非常少见。大部分情况下,“关键词+正则”质检模式相比基于深度学习技术的“AI 语义”质检模式,在找全率和找准率上有很大差距。-12-“AI 语义”模式的适配场景在实际应用中,传统“关键词+正则”模式,很难找得全和找得准目标通话,大大影响工作效率如果找不全,就意味着会遗漏很多目标通话;如果找不准,就意味着在人工复检时会浪费大量人力。“AI语义”质检模式,可更好地解决上述痛点。考虑到在实际使用中,质检项与命中的目标通话量之间的关
13、系也存在“二八法则”20%的质检项贡献了 80%的质检量,所以将质检量大的少数质检项升级到“AI 语义”模式,往往可以大幅提升整个质检任务的找全率和找准率。这是“AI语义”质检模式主要的适配场景。第二种场景:某些质检项,虽然从某一家企业的角度看,所命中的目标通话量不算大,但是这个质检项是整个行业中较为成熟的、通用的质检项,其他企业也都在用,那么就可以采用基于深度学习技术的“AI语义”模式进行模型训练。因为其他企业都可以比较快速的复用,所以“AI 语义”模式带来的收益就更高。与“关键词+正则”质检模式相比,“AI 语义”模式,不再需要既懂业务又懂正则的稀缺人才编写规则和迭代规则,只需要普通人快速
14、进行数据标注即可训练算法模型,而且通常能得到更好的效果。“AI 语义模式,只需要普通人快速进行数据标注即可训练算法模型。”-13-2023 智能质检“双模”质检,各司其职当前阶段,质检项应该采取哪种模式,主要取决于该质检项产生的目标通话量大小通常数量大,才能快速标注数据、训练出更好的算法模型,采用“AI 语义”模式,否则仍需要继续使用“关键词+正则”模式。其次也要考虑到质检项的成熟度太新的、标准尚不明确的质检项,适合先用“关键词+正则”模式迭代起来,再决定何时升级到“AI语义”模式。综合来看,在实践中采用“双模”方案,让两种模式各司其职,可最大程度提升质检效率。双模质检,各司其职。“AI 语义
15、”质检方式通过引入深度学习算法模型,能够更好地利用上下文语义来判断一个句子是否命中了质检项,显著提升找全率(术语“召回率”)和找准率(术语“准确率”)。同时,由于深度学习算法模型对训练数据量有要求,因此“AI 语义”方式更适合目标通话量较多的质检项,而目标通话量过少的质检项,无法训练出好的算法模型,需要继续使用“关键词+正则”的方式。综合来看,在实践中采用“双模”方案,让两种模式各司其职,可最大程度提升质检效率。-14-三、新实践:流程质检如何监督业务人员在遇到特定场景或客户的特定问题时,有没有执行标准流程,有没有按要求进行回复?-15-2023 智能质检什么是“流程质检”?最常见的全局质检项
16、,是只要在通话中命中了某个语义点,就判定为违规。例如员工在对话中“过度承诺”在几乎任何场景下都是违规的“流程质检”则适用于有前置判定条件、需要进行逻辑判断或者需要多个“语义点”组合来判断是否合规的场景。简而言之,就是稍微复杂一些的场景。具体来看,流程质检的质检项,首先需要判断一个对话是在讲什么事情,然后再判断针对这件事情,业务人员的回答是否满足一个或多个规范条件。先判断对话在讲什么事情,有时候是通过语义点来判断,有时候可以通过企业上传的自定义字段。有时候企业会要求某个 SOP(标准作业流程)需要在对话开始的前几分钟内完成,有时会要求某个 SOP必须执行几次接下来,我们看一些比较场景的流程质检实
17、例,应该很快就可以了解流程质检的作用了。-16-实例:判断开场白是否完整实例:判断是否完成“销户”场景 SOP如下所示,有些企业会要求坐席在首次联系客户时,确认客户身份后报出完整的开场白包括:问候语、公司名称、工号及姓名。如下所示,有些企业会要求坐席在遇到客户需要“销户”的场景时,首先询问客户销户原因,然后挽留客户,最后在挽留失败时再指引办理。-17-2023 智能质检实例:验证自定义字段信息实例:判断是否提前核实了客户身份如下所示,当坐席未询问客户的联系方式,但是编辑了自定义字段中的“联系方式”,质检系统也可以用来验证人工填写的字段是否有效。如下所示,按照规定坐席人员在谈及合同中的隐私信息时
18、,需要先核实客户的身份。也就是,如果未核实身份,就谈及合同详情,即是违规。-18-四、企业微信质检企业与客户沟通的渠道处于不断变革中。当前,企业微信被越来越多企业采用。因此,我们在电话录音质检和在线 IM 文本质检的基础上,新增了对企业微信的支持,包含离线的存档会话质检和实时质检(实时违规提醒)功能。-19-2023 智能质检离线质检:企业微信需开通“会话存档”当前,企业微信被越来越多企业采用,员工采用企业微信可与客户的个人微信进行消息互通,同时可展示企业认证员工的身份,有助于赢得客户的信任。例如:银行的理财顾问使用企业微信,向高净值客户推荐理财产品;婚恋平台的红娘使用企业微信,为会员提供一对
19、一服务;高端品牌商的导购员使用企业微信,向顾客推荐新到的商品。对企业而言,员工通过任何渠道与客户进行的沟通,都应该保证沟通的质量和规范性。因此,我们在电话录音质检和在线 IM 文本质检的基础上,新增了对企业微信的支持。使用企业微信的客户,为员工开通“会话存档”功能之后,即可调用官方接口,将会话内容接入循环智能的质检产品中,对沟通中的文本和语音(循环智能会将语音转写为文本)进行质检。需要注意的是,就像电话录音需要提醒客户一样,开通了企业微信的“会话存档”功能之后,企业员工在与客户沟通时会自动出现“服务须知”的提示。开通“会话存档”后,对话中会出现相关提示-20-实时质检:支持企业微信 PC 客户
20、端和手机端企业越来越多采用企业微信的一个重要原因是,相比于个人微信,企业微信可以更好的留存客户的资源员工的工作变动或离职后,无法带走客户。为了保障服务质量,降低聊天沟通中出现的违规对话。开通了企业微信的“会话存档”功能之后,可以设置敏感词,出发敏感词的信息无法发送,例如财富管理行业中,会设置“保本”等关键词,避免财富顾问对客户做出错误的承诺。不过,人与人的沟通对话,同样的意思通常有很多种表达方法,仅仅依靠敏感词设置,依然会遗漏大量的风险。借助企业微信开放的“侧边栏”自定义功能,循环智能可以帮企业集成一套实时的质检和违规提醒功能。质检系统除了支持常规的正则表达式,还支持 AI 语义质检,通过识别
21、对话上下文的语义,来判断对话内容是否涉及违规。借助 AI 语义质检,企业可以减少漏检的情况,从而更好地提醒员工,更好地保障业务的合规性。企业微信的 PC 版和手机版均支持。企业微信的侧边栏,可集成循环智能的实时质检模块,在沟通中实时提醒销售人员,对话可能触及了违规项,从而及时修正。-21-2023 智能质检微信质检的常见问题 FAQ问:微信聊天中的图片和表情可以质检吗?答:目前仅针对文本和语音,图片和表情暂不处理。问:支持群聊、企业微信与企业微信之间的会话质检吗?答:支持群聊会话质检,暂不支持企业微信之间的会话质检。问:跨越多天的会话内容,可以每天只质检增量部分吗?答:循环智能的系统支持仅质检
22、每日增量部分,也支持将多天内容整合在一起进行质检。问:语音是微信转写的,还是循环智能转写的?答:循环智能提供短语音转写为文本的服务,可支持对专有领域内容做算法优化。FrequentlyAskedQuestions-22-五、Compliance 产品七大亮点一、关联质检:全面提升“多通会话”成组质检的能力二、流程质检:灵活配置,适配各种复杂场景三、自定义字段:让质检与业务结合更紧密四、一键对接质检工单系统:快速在线生成质检报告五、会话详情页改版:提升用户体验六、10000+质检业务模板更新:可即插即用七、全自研核心 AI 技术:保障更高检出率、更快优化能力-23-2023 智能质检关联质检全面
23、提升“多通会话”成组质检的能力亮点一关联质检作为 Compliance 的核心功能,是指将多次沟通产生的多通会话(包含电话、APP、IM、企微等不同渠道的文本和语音数据)关联在一起,成组进行质检,输出质检结果。关联维度可按照成功单的客户维度关联成组、会话 ID 关联成组、业务单据关联成组等多种方式,并支持对质检结果通过客户和坐席的相关字段进行查询和检索的功能。以保险行业的“成功单质检”场景为例,企业可以通过匹配客户和坐席 ID 等方式配置“多会话”的成组规则,快速检查销售人员“跨渠道会话”的 SOP 执行情况和违规情况,保证销售人员与客户沟通的全流程都是合规的。健康险的电网销“成功单”质检场景
24、,一条质检规则是:如果在销售特定的健康险产品时,未确认被保险人药物使用情况,那么销售过程就是不合规的。但由于保险顾问与客户通常在进行了多次沟通后才会成单,为了更好的客户体验,质检规则并不要求保险顾问每次与客户沟通时都询问客户是否使用成瘾药物,而是仅需在任意一次沟通得到客户确认即可,因此需要将保险顾问与客户的多通对话进行关联质检(把多通会话当成一通长会话)。“多会话”关联质检的真实场景示例-24-流程质检可灵活配置,适配各种复杂业务场景亮点二流程质检是一种以业务人员更容易理解的方式,灵活配置各种复杂场景质检规则的创新方案。可用于售前、售中、售后中一线人员的话术质检(例如教育行业,课程产品介绍中是
25、否过度承诺)、业务流程(SOP)执行情况质检(例如理财产品销售签约过程中,一线坐席是否有按规定完成核身等),也可以根据自身业务需要,按照特定场景配置的不同质检规则(例如为不同产品设置不同的质检规则等)。可灵活配置,是流程质检的一个关键特征。在设置“前置条件”和“质检要求”时,不仅可以组合多个“标签(语义点)”,便捷地设置不同“标签(语义点)”之间的逻辑关系(与或非),而且支持对“标签(语义点)出现的位置、出现的次数、参照点进行灵活的设置,也支持与自定义字段进行结合,满足各种不同的质检场景需求。流程质检的另一个关键亮点是,让负责质检业务的人员更容易理解和使用,企业无需依靠会写代码(逻辑代码或“算
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 智能 质检 白皮书 2023
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【Stan****Shan】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【Stan****Shan】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。