产品质量分析方法研究V13移动通讯.doc

实现移动产品运行质量的端到端量化
分析的方法研究
杨剑 谭志远 周文红
摘要：提高业务质量和客户满意度是各运营商保证移动业务快速发展，增加客户粘着度并赢取市场份额的关键。本文基于当前中国电信移动产品运营质量分析的实际情况，分析了产品运行质量分析的需求，提出了移动产品运行质量分析采用端到端量化评估的理论模型，并且以WAP业务为例说明该模型如何实施。
关键词：产品健康度 KQI KPI 质量分析 客户满意度 评估模型
1. 引言
中国电信于2008年末承接了CDMA网络并于2009年初对外放号，至此，国内三家电信运营商都已经具备全业务运营的资格，业务范围和目标客户群日益接近，将导致竞争更加直接和激烈。在网络同质的情况下，产品运营质量将成为关键竞争力之一，同类产品之间的客户感知度将逐步成为未来竞争关注点，提升客户感知，提高客户满意度将成为获得竞争优势的关键。
定期进行产品运行质量分析是运营商评估和掌握网络和业务的运行情况的常见手段。但是，如何使产品质量分析评估的结果能够切实反映客户感知，如何使产品质量分析能够成为促进业务质量的提升和赢取市场份额的有效工具，是各个运营商都面临的难题。
2. 产品运行质量分析的需求
基于中国电信当前实施产品质量分析工作的成果经验和问题分析，我们提出产品质量分析应满足以下的关键需求：
首先，产品质量分析应面向用户，反映用户的业务使用感知。用户的业务使用感知是衡量产品运行质量的最重要的标准，所有产品质量的评估以及优化工作应最终反映在用户业务使用体验和总体满意度的提高，而这也是产品可以顺利和快速推广的基础。当前的质量分析往往出现这种情况，网络侧的指标评估正常，可实际上用户的业务使用体验却不佳。其根本原因在于没有建立网络运行指标和用户业务感知之间的关联性，因此，产品的质量分析应从用户的业务使用场景出发，切实反映用户的业务使用感知。
其次，产品质量分析应面向网络，从全程全网、端到端的角度去综合考虑产品的运行质量。作为业务提供的载体，业务平台的运行质量一直作为产品质量分析的重点和主要工作。但是，从移动业务的实现流程来看，业务的实现往往需要贯穿业务平台、核心网络、承载网络、无线网络、第三方SP/CP，甚至手机终端等多个环节，这些网元和环节都可能对产品运行质量产生重大的影响，因此，完整有效的产品质量分析不应局限于业务平台，而应该实施端到端的产品运行质量分析。
再次，产品质量分析应具备量化评价手段，评估结果能够体现产品的整体健康度。当前的质量分析工作需要解决的一个大难题在于：产品质量分析和考核都制定了一批网络运行指标(KPI)，但是到底哪些指标跟用户的业务使用感知更加密切?哪些指标的劣化会对业务质量的影响更大?如何才能通过这些指标来综合评价产品的整体健康度？由于网络运行指标与产品质量之间存在正相关或负相关的关系，同时各个指标对产品运行质量所产生的影响也各不相同，只能反映一个侧面的产品质量，因此产品质量分析需考虑影响产品运行质量的各个因素的关联关系以及权重才能提供综合和客观的评价。
3. 产品质量分析评估模型
在介绍产品质量分析评估模型之前，需先解释几个关键名词：
（1）KQI(key quality index)：产品的服务质量指标。产品KQI表示了产品的整体或某一方面的性能，KQI指标一般可以通过一个或多个不同的KPI得到。
（2）KPI(key performance index)：关键性能指标，KPI反映了端到端的服务的某一方面或某一部分的数据，是网络运营维护重要的考核指标，影响到产品运行质量的因素。
（3）PHD(product health degree)：产品健康度，对产品整体运行质量的量化评分。
基于我们对端到端量化评估的需求分析，为了使产品质量评估模型能够反映用户的业务使用感知并满足量化评估的需求，我们通过两个阶段建立质量评估模型。
3.1 KQI开发及分解
从用户实际使用业务场景出发，分析业务使用过程用户的使用感知因素，从而提取出产品KQI，再结合业务流程（话务模型）、网络拓扑结构把产品的KQI分解成网元的KPI指标，通过这种方法，从网络层面解决用户感知与产品KQI、网元KPI的关联问题。研究方法如下图所示：

1) 分析业务场景：从终端用户的角度，研究用户的业务的操作使用的过程。
2) 分析用户感知因素：根据用户的业务使用场景，分析用户使用业务的过程中存在哪些因素会影响到客户感知。
3) 提炼网络运营KQI：把用户感知因素归纳和提炼，形成产品的KQI，每个KQI能够反映用户感知的某一方面因素。
4) 分析网络拓扑架构：分析业务流程以及网络的网络拓扑结构，哪些关键网元的共同参与业务提供的过程，每个网元负责哪些关键操作；
5) KQI分解：根据各个网元在业务处理过程中的关键操作，分析与之相对应的网元KPI指标，当KPI出现劣化时会影响该业务的哪些用户感知因素，从而确定产品KQI与网元的KPI之间的对应关系；
6) 确定KQI度量方法：根据各网元KPI之间的关系以及KPI对产品质量和用户感知的影响大小，确定KQI与网元KPI之间的算法和权重。
3.2 产品健康度量化取值
通过给KQI指定参考值和量化取值的方法，并且分配不同权重，聚合形成产品健康度，以满足产品整体运行质量的量化评估的需求。研究方法如下图所示：

1) 建立产品KQI：通过第一阶段KQI开发和分解的工作建立产品KQI体系。
2) 对KQI量化评分：制定各个KQI的参考值，同时制定评分的规则，从而把对网络测评结果，例如：业务时延、成功率，转化为100分制的量化值。
3) 产品健康度聚合计算：根据各个KQI对产品质量的影响大小不同分配合适的权重，并且通过KQI加权聚合得出产品健康度。
4. 模型应用实例
WAP上网是当前各运营商重点发展的移动产品，以下我们将以WAP产品为例介绍产品质量分析评估模型如何应用和实施。
4.1 WAP场景及用户感知分析
用户使用WAP上网业务的场景可以分为3步骤：用户打开网络连接、发送网页浏览请求、结果接收和显示。我们需要分析用户在这三个步骤的具体操作以及存在哪些可以影响用户感知的因素。
1) 打开网络连接：用户点击手机终端的上网按键，打开网络连接。此环节影响用户感知的因素主要包括：
l 网络连接是否成功；
l 建立连接网络时间多久；
2) 发送网页浏览请求：用户打开浏览器，输入所要浏览的网址并发送请求。此环节影响用户感知的因素主要包括：
l 用户终端（含浏览器）界面是否友好；
l 网址输入是否方便；
l 终端/浏览器的操作是否符合用户的使用习惯；
3) 上网过程中是否出现掉线的情况接收和显示：用户终端接收网站的返回结果，并且显示输出网页。此环节影响用户感知的因素主要包括：
l 网页是否成功打开；
l 接收网页内容的速度如何；
l 从发出网页请求到终端/浏览器完成页面显示用了多长时间；
l 上网过程中是否出现上网掉线的情况；
l 终端/浏览器的操作是否符合用户的使用习惯；
4.2提炼影响客户感知相关的网络运营KQI
根据用户业务使用场景的分析，从影响用户使用感知的因素提炼形成KQI指标，每个KQI指标能够反映用户在使用WAP上网业务时某一个方面感知，总体上可以分为业务成功率、业务时延、业务支持度以及速率几类。
序号
影响客户感知各要素
KQI指标
1
网络连接是否成功
网络连接成功率
2
建立网络连接时间多久
网络连接时延
3
上网过程中是否出现上网掉线的情况
上网掉线率
4
终端、浏览器的界面是否友好
终端的业务支持度
5
网址输入是否方便
6
终端/浏览器操作是否符合使用习惯
7
终端（浏览器）的页面显示效果是否良好
8
接收网页内容用了多长时间
平均下载速率
9
网页是否成功打开
端到端访问成功率
10
从发出请求到完成网页显示用了多长的时间
端到端访问时延
表1 WAP产品影响客户感知的KQI提炼
4.3网络拓扑及关键操作分析
以下从WAP上网业务的基本网络拓扑入手，分析各个业务网元在业务提供过程中都有哪些关键的操作可能会对用户的业务体验产生影响。

1) 打开网络连接
l 移动终端经过无线网络发送连接请求。
l PDSN与RADIUS Server进行消息交互完成用户鉴权认证、IP地址分配。
l PDSN向RADIUS Server 发起初始计费请求，连同移动终端 MSISDN转发给WAP GW。
l WAP GW 将计费请求消息中的用户身份信息缓存在内存中并 RADISUS Server返回计费开始应答。
l 计费开始应答转发给PDSN，PDSN 向移动终端下发动态 IP 地址激活响应。
2) 发送网页浏览请求
l 用户输入网址或者打开本地保存的链接，发起访问某个网页的请求。
l PDSN 将 WAP 浏览请求转发给WAP GW协议处理部件。
l WAP GW对WAP浏览请求的进行内部处理和适配，并将请求发送到目的 Web Server。
3) 接收和显示
l Web Server返回响应消息（包含了WAP请求内容结果）。
l WAP GW完成响应消息的内部处理和转换，并转发给 PDSN。
l PDSN将浏览内容经无线网络转发给移动终端，由移动终端处理显示。
4.4 KQI分解并确定算法
本环节根据网络拓扑以及相关网元在打开网络连接、发送网页浏览请求、接收和显示各个阶段的关键操作和处理过程，对KQI进行分解。
KQI
(网络）
网元
KPI
算法
网络连接成功率
无线
PPP连接建立成功率
网络连接成功率为无线域、数据域、WAPGW成功率KPI的连乘
数据
PPP连接建立成功率
WAPGW
计费开始处理成功率
网络连接时延
无线
PPP连接平均时延
无线网络作为最接近用户的设备，其时延最能反映用户感知，建议使用无线侧的PPP平均时延作为网络连接时延，
数据
　-
WAPGW
　-
上网掉线率
无线
无线网络掉线率
掉线主要由无线侧引起，因此上网掉线率取值参考无线网络掉线率
数据
　-
WAPGW
　-
平均下载速率
无线
平均转发速率
基于瓶颈效应，平均下载速率应为无线、数据、WAPGW、SP的速率最小值。
数据
平均转发速率
WAPGW
平均转发速率
SP
平均下载速率
端到端访问成功率
无线
转发成功率
端到端的访问包括用户到WEB Server的访问请求发送以及WEB Server到用户的请求结果返回，因此端到端访问成功率=(无线侧转发成功率)^2*(数据侧转发成功率)^2*WAPGW请求转发成功率*WAPGW响应转发成功率*SP响应成功率
数据
转发成功率
WAPGW
WAPGW请求转发成功率
WAPGW响应转发成功率
SP
SP响应成功率
端到端访问时延
无线
无线转发平均时延
端到端的访问包括用户到WEB Server的访问请求发送以及WEB Server到用户的请求结果返回，因此端到端访问时延=(无线转发平均时延)*2+(数据转发平均时延)*2+WAPGW请求转发时延+WAPGW响应转发时延+SP响应平均时延
数据
数据转发平均时延
WAPGW
WAPGW请求转发时延
WAPGW响应转发时延
SP
SP响应平均时延
终端业务支持度
无
　无
通过终端测评以及业务拨测获取
表2 WAP产品的KQI分解
4.5产品健康度开发
本环节确定各个KPI指标的量化评分方法以及权重，建立网络运营健康度的评估方法。为了使评估结果更准确反映用户感知，不同的KQI需分配合理的权重，权重的设置可以来自业务逻辑的分析以及产品质量分析的经验，也可以参考问卷调查的用户反馈。
序号
KQI
参考值
指标权重
评分规则
评分值
1
网络连接成功率（KQI1）
99%
20%
正相关，达到参考值为100分，最低分为0分，每降一个百分点扣10分，计算公式：100-（参考值-测试值）×100×10
VAL1
2
端到端访问成功率（KQI2）
99%
20%
正相关，达到参考值为100分，最低分为0分，每降一个百分点扣10分，计算公式：100-（参考值-测试值）×100×10
VAL2
3
网络连接建立时延（KQI3）
400ms
15%
负相关，达到参考值为100分，不达标时，取值公式为：100×（参考值/测试值）
VAL3
4
端到端访问时延（KQI4）
1200ms
15%
负相关，达到参考值为100分，不达标时，取值公式为：100×（参考值/测试值）
VAL4
5
终端支持度
(KQI5)
-
20%
为具体业务制定终端测评表格，并根据测试项目进行测试打分
VAL5
6
平均下载速率
（KQI6）
60kbps
10%
负相关，达到参考值为100分，不达标时，取值公式为：100×（参考值/测试值）
VAL6
产品健康度
PHD=VAL1*20%+VAL2*20%+VAL3*15%+VAL4*15%+VAL5*20%+VAL6*10%
表3 WAP产品的健康度开发
4.6 健康度评估结果举例
以下为WAP产品健康度评估结果的举例，尽管每月产品KQI有所波动，但是产品健康度稳中有升，反映了产品的总体运行质量正在逐步提高。

5. 结束语
产品质量评估模型具有广泛的适应性，可以灵活应用到彩信、定位、视讯等各类主流移动业务产品。同时，产品质量分析工作的实施是一项系统的工程，需前端市场业务部门、网发部门和后端运营维护部门通力配合，把产品质量分析的成果应用到指导网络优化建设、业务开展，提升客户的业务体验，从而促进中国电信移动业务的健康发展。

【参考文献】
1、《中国电信CTG-MBOSS OSS 2.5服务质量管理专题分册》,中国电信集团公司，2009年
2、infoX-WISG产品系列文档，华为公司，2009年

【作者简介】
杨剑，男，北京邮电大学通信工程学士，就职于中国电信股份有限公司广东研究院，工程师。主要从事业务网络和产品的研究支撑工作。联系电话 [phone]，邮箱yangj@。
谭志远，男，毕业于华南理工大学，中国电信股份有限公司广东研究院工程师，主要从事业务网络和产品的研究和支撑工作。联系电话：[phone] 邮箱tanzy@。
周文红，女，中国电信集团公司网络运行维护事业部高级工程师。..