行业卷烟生产经营决策管理系统运维工作详述.doc

附件：

行业卷烟生产经营决策管理系统运维工作详述
第90期
一、工业企业维护情况
使用决策管理系统的工业企业包括：16家中烟工业公司，中烟实业发展中心，上海烟草（集团）公司，总厂28家，分厂80家。
本期共受理工业企业突发事件257个。具体见下表：
表一、工业企业运行情况表
事件分类
事件数（个）
占事件总量（%）
已解决（个）
打 码
32
12.5
31
扫 码
20
7.8
20
数据采集
31
12.1
31
管 理 机
107
41.6
107
接 口
3
1.2
3
数据统计
18
7.0
18
基础代码
7
2.7
7
国家局端
37
14.4
37
其 他
2
0.8
2
总 计
257
100.0
256

引发事件的主要原因统计分析如下图所示：

图.事件按故障根源统计所占比例分布图（工业）
注：目前尚有1个事件未确定故障根源。
本期主动监控发现各类事件67个，占所有突发事件的26.1%。监控类事件详细分类如下表所示：
类型
事件总计（个）
故障原因
数量（个）
管理机端
51
文件系统剩余空间不足
27
表空间剩余不足
4
硬件故障
6
MQ传输通道异常
5
应用异常
2
服务器时间异常
7
停机（断电或人为关机）
0
数采上报
16
系统环境
14
人为原因
2
接口因素
0
本期工业方面的重要事件：
1.12月8日，贵州中烟反映近期多次发生WAS服务切换现象，且WAS服务器宕机。运维人员经详细排查，初步确定WAS服务切换是由于服务器系统环境异常所致；赴现场为客户调整了系统环境，系统已恢复正常。
2.12月9日，河北白沙烟草有限责任公司反映不能正常上报11月份月报。运维人员经详细排查，发现客户的CDBOLD数据库部分表的表结构发生变动，导致部分月报的审核页面无法打开；为用户重新恢复了这部分表后，页面恢复正常，数据成功上报国家局。
3. 12月15日晚9点，重庆卷烟厂反映MQ服务器宕机，公司下发的计划无法处理。运维人员手动为客户下发了计划，确保客户的正常生产，并在WAS服务器上重建了MQ通道及队列，系统运行恢复正常；远程排查初步确定MQ宕机原因是主板故障，已赴现场为客户更换了出现故障的硬件。
4.12月15、17日，川渝中烟、广东中烟、陕西中烟及云南中烟在分解2010年度的结转计划出错。经详细分析，分解出错的原因皆为1至11月各中烟的产量出现超出计划量或未达到计划量的交错情况，需要重新调整前11个月的计划量，使其与下达量一致，才能正常下发结转量；目前运维人员已协助各中烟顺利下达2010年度的剩余计划量和结转量。
5．12月21日，贵州中烟反映登录本地决策管理系统页面显示异常。运维人员经详细排查，发现客户的WAS服务器宕机，WAS服务切换到DB2服务器上，但由于切换时中文环境未加载成功，导致客户数据采集相关页面显示乱码；为其调整环境变量，重启服务加载中文环境成功，系统登录正常。WAS服务器宕机的原因确定为CPU卡故障，已赴现场为客户更换了故障的硬件。
二、商业企业维护情况
使用决策管理系统的商业企业包括：33家省级局（包括深圳、大连两个计划单列市），346家地市公司。
本期共受理商业企业事件545个。具体见下表：
表二、商业企业运行情况表
事件分类
事件数（个）
占事件总量（%）
已解决（个）
扫 码
39
7.2
39
工商数采
149
27.3
149
管 理 机
240
44.0
240
接 口
85
15.6
85
数据统计
7
1.3
7
基础代码
25
4.6
25
国家局端
0
0.0
0
其 他
0
0.0
0
总 计
545
100.0　
545

引发事件的主要原因统计分析如下：

图.事件按故障根源统计所占比例分布图（商业）
本期主动监控发现各类事件253个，占所有突发事件的46.4%。监控类事件详细分类如下表所示：
类型
事件总计（个）
故障原因
数量（个）
管理机端
194
文件系统剩余空间不足
74
表空间剩余不足
10
硬件故障
0
MQ传输通道异常
69
应用异常
3
服务器时间异常
12
停机（断电或人为关机）
26
数采上报
59
系统环境
13
人为原因
45
接口因素
1
本期商业方面出现的重要事件：
1.12月8日，河南周口市公司无法打开本地决策管理系统页面。运维人员经排查发现管理机上的web.xml配置文件中存在乱码，删除web.xml文件中的乱码并重新启动应用后，故障得到排除。
2.12月13日，辽宁省局反映无法登录本地决策管理系统。运维人员经排查发现系统在进行管理机端升级（数据统计应用项目）、修改文件系统后没有在HA中同步；为其同步并重启HA服务后，故障得到排除。
3.12月20日，陕西省局反映无法登录本地决策管理系统。运维人员经详细排查，发现管理机端配置存在错误，为其调整相应配置（子系统管理项类型修改为“普通应用B/S结构”）后，故障得到排除。
4.12月31日，上海烟草集团、贵州省局、湖南省局无法登录本地决策管理系统。运维人员排查发现管理机端ResouceOne产品许可证书错误，经协调相关方替换license许可证后，故障得到排除。
三、国家局数据中心维护情况
本期国家局数据中心受理事件3个。（详见表三）

表三、数据中心运行情况表
事件分类
事件数（个）
占事件总量（%）
已解决（个）
代码系统
1
33.3
1
工商数采
0
0.0
0
平台系统
2
66.7
2
生产系统
0
0.0
0
数据展现
0
0.0
0
其 他
0
0.0
0
总 计
3
100.0
3
引发事件的主要原因统计分析如下：

图. 事件按故障根源统计所占比例分布图（国家局数据中心）
本期国家局出现的重要事件：
12月23日，国家局数据加工过程异常中断。运维人员经排查发现是由于基础表数据错误，导致加工数据调用无法执行，手工调整后重新进行数据加工后系统恢复正常。
第 7 页