基于大数据和机器学习的用电异常行为分析系统.pdf
《基于大数据和机器学习的用电异常行为分析系统.pdf》由会员分享,可在线阅读,更多相关《基于大数据和机器学习的用电异常行为分析系统.pdf(7页珍藏版)》请在咨信网上搜索。
1、第6 0 卷第6 期2023年6 月15日电测与仪 表Electrical Measurement&InstrumentationVol.60 No.6Jun.15,2023基于大数据和机器学习的用电异常行为分析系统杨铮宇(云南电网有限责任公司计量中心,昆明6 50 0 51)摘要:用户用电异常行为不仅对接入设备和用户本身产生影响,更会危及电网的正常运行,因此对用电异常行为的分析至关重要。基于大数据和机器学习技术,设计了一种用电异常行为分析系统,并提出了系统设计的总体框架和相关配置。所设计系统对用户用电的用电量、电压质量、负载及三相不平衡率、无功及功率因数等方面可以进行异常分析,并以可视化的方
2、式向管理员和用户展示。同时,对高风险用户进行预警和跟踪处理,对窃电行为展开调查分析。本系统可以有效分析用户用电异常行为及进行窃电预警,对电网稳定运行起到关键作用。关键词:用电异常行为;大数据;机器学习;聚类分析;窃电预警D0I:10.19753/j.issn1001-1390.2023.06.024中图分类号:TM71Analysis system of abnormal behavior of electricity consumption based onAbstract:Abnormal behavior of electricity consumption not only affec
3、ts access equipment and users themselves,but alsoendangers the normal operation of power grid.Therefore,the analysis of abnormal behavior of electricity consumption isvery important.Based on big data and machine learning technology,an analysis system of abnormal behavior of electricityconsumption is
4、 designed,and the overall framework and relevant configuration of the system design are proposed.The de-signed system can analyze the abnormal factors such as power consumption,voltage quality,load,three-phase unbalancerate,reactive power and power factor,etc,and show them to administrators and user
5、s in a visual way.Meanwhile,earlywarning and tracking processing are conducted to high-risk users to carry out investigation and analysis of stealing electrici-ty.The system can effectively analyze abnormal behaviors of users and give early warning of electricity theft,which playsa key role in the s
6、table operation of power grid.Keywords:abnormal electricity behavior,big data,machine learning,clustering analysis,early warning of electricity theft0引 言文献3 介绍了基于大数据技术的用电行为异常随着社会经济的不断发展,电力运行也承受着越分析的特点和功能,并从系统架构、功能设计和接人方来越大的压力,其中用户的异常用电行为尤为严重。案对系统的开发进行了论述。文献4 提出了一种基于它不仅会影响用户自身的用电质量,还可能危及电网SMOTE和XGBoo
7、st的窃电检测方案,实验表明,可以提的安全运行。传统的用电异常行为检测方法主要依高不平衡数据分类的有效性,对比于传统的检测模型,靠人力,效率低下且出错性高。随着智能电网的不断在窃电检测场景的多项评价指标下准确率提升至发展,电力系统产生大量的运行数据。因此,从庞大的92.45%。文献5 提出一种基于AdaBoost集成学习的数据库中提炼出想要的信息,并从中对异常行为数据窃电检测算法,结果表明,在准确率、命中率、误检率等进行分析是辨识用电异常的可行性方法之一2 。检测指标中最优,灵敏性分析验证了该窃电检测方法的有效性。文献6 基于样本检测的协同森林技术对基金项目:南方电网有限公司科技项目(0 59
8、3 0 0 KK52170014)用电数据进行检测,仿真算例证明了方法的可靠性。一16 7 一文献标识码:Abig data and machine learningYang Zhengyu(Metering Center,Yunnan Power Grid Co.,Ltd.,Kunming 650051,China)文章编号:10 0 1-13 90(2 0 2 3)0 6-0 16 7-0 7第6 0 卷第6 期2023年6 月15日用户的异常用电行为对系统运行有较大的影响,同时用户运行数据体系较为庞大,如何利用该数据库进行用电行为分析是当今研究热点。因此,文中基于大数据和机器学习技术,构
9、建一种用户用电异常行为分析系统。从用户用电量、用户电压质量、负载及三相不平衡率、无功及功率因素等多方面进行异常分析,保证用户的用电质量。同时设计高风险用户管理体系,构建窃电模型进行窃电预测,同时对高风险用户进行追踪管理,确保电力系统的正常稳定运行。1用电异常行为分析系统平台总体构架1.1总体构架系统采用J2EE架构,可满足根据不同角色进行功能授权,需兼容主流的浏览器7 。系统架构在满足稳定性、性能要求的基础上,应能够提供良好的界面展示及人机交互,提升用户使用感受,系统需具备较强的可扩展性和较低的运维成本,如图1所示。管理用户用电质量分析J2EE、H T M L、JSP、MVC、I O C 等大
10、数据中心云电智云平台图 1系统结构框图Fig.1 Block diagram of system structure总体架构由基础设施、应用支持平台及应用构成,且整体技术又包括安全体系和标准体系全过程管理。其中技术安全包括应用安全、数据安全和环境安全,项目的集成接口建设遵循标准的编码规范、接口规范和数据规范等。(1)基础设施:基础设备主要包括分析应用系统具备的应用服务器、数据库服务器、操作系统等设备及系统运行的网络环境;(2)技术开发支撑平台:支撑平台主要包括开发的J2EE开发组件、页面HTML、JSP及JavaScript开发、及第三方开发JQuery组件等;(3)功能应用:功能应用主要包括
11、服务应用主要包一16 8 一电测与仪表Electrical Measurement&Instrumentation括台区及线路的web功能展示应用及app后台管理,主要包括在线监测、异常分析及数据管理等,同时实现web展示和大屏展示;(4系统使用者包括系统业务人员用户、管理用户等。1.2“云电智云”技术基础云南电网已经基于阿里的技术体系,构建云南电网的“1+1+1”电力大数据中心,如图2 所示,即1个大数据平台(含数据中心),1套大数据资产运营体系(含大数据运营中心),1套大数据治理体系(含以数据源、数据标准、数据安全为核心的数据资产管理工具);对内使公司的电网管制业务提质、增效;对外开展竞争
12、性业务,数据变现、创造价值。对外竞争性发电企业服务决策支持运营管控数据资产集成日大数据应用场景数据标准业务用户其他用户服务应用高风险用户判断)窃电追踪应用支持JqueryVol.60 No.6Jun.15,2023政府充电汽车新能源电力大数据中心大数据平台发电厂管理亚设备监调度实营销实外部数据数据控数据时数据厨数据数据云计算平台图2 大数据平台结构Fig.2 Structure of big data platform云南电网的大数据平台是一个技术支撑平台,从数据“采、存、通、用”流程角度,分为数据采集层、数据存储层、数据计算层、数据分析层、平台服务层。平台整体部署在公司云平台之上,使用云平台
13、提供的计算和存储服务,本身天然拥有弹性伸缩能力。平台是公司数据汇聚中心、统一数据及数据服务唯一来源,是公司大数据应用的开发支撑平台。1.3软件配置方案文中设计的用电异常行为分析系统集成云电智云大数据平台、营销管理系统、售电业务支持系统,获取海量运行数据的基础上,对数据进行分析。本文依照JAVAEE规范,采用兼容性高的系统软件,为今后平台接入做好准备,提供平台支撑。系统基于HTML5、X M L等通用技术标准,设计用户、管理员双模式。需要以下系统软件,具体如表1所示。(1)数据库:Mysql 5.6;(2)操作系统:CentOS 7;(3)中间应用程序服务器:Tomcat8。增内外增效值第6 0
14、 卷第6 期2023年6 月15日以上系统软件均采用采用云电智云平台标准配置,技术相对成熟,使用可靠。表1平台软件配置Tab.1Platform software configuration设备型号中间件Tomcat 8数据库Mysql 5.6操作系统Centos 71.4硬件配置方案本系统在ECS接口服务器配置两颗1.8 GHzCPU、3 2 G 内存、3 0 0 G硬盘。为提供更好的用户体验和管理效率,在WEB服务器配置不低于两颗1.8 GHzCPU、6 4 G 内存以及50 0 G硬盘。由于在应用端,有可视化数据图与相关视频图片的输入,因此在应用服务器配置四颗不低于1.8 GHzCPU、
15、6 4G 内存以及50 0 G硬盘,如表2 所示。表2 平台硬件配置Tab.2Platform hardware configuration服务器类型ECS 接口服务器ECSWE服务器ECS应用服务器1.5部署方式结合本项目的技术架构和项目模板,本项目采用如下方式进行部署,如图3 所示。外网访问DMZ区内外直Android接访问厂4GWIFI移动云网务器IOS1图3 部署方式图Fig.3Diagram of deployment method(1)所有服务器均采用云电智云平台的资源进行电测与仪表Electrical Measurement&Instrumentation数据分析和计算;(2)数
16、据分析服务器实现模型的构建和分析;(3)接口服务器用于项目分析成果的对外数据交互;(4)W EB展现服务器,实现对数据的可视化展现。备注1.6数据库设计原则采用云电智云平台标准配置数据库设计遵循如下原则:(1)模块化设计。系统采用云电智云平台标准配置的设计以模块化为准则,根据需求,将系统划分为不同采用云电智云平台标准配置的相互独立的模块,定义出模块间的调用关系和数据交换方式。使用这样的设计,在后期的维护过程中,只需要寻找到需要完善的模块,而不必关心其他模块的运行,以达到提供可维护性的目标;(2)面向对象的封装。程序的设计采用面向对象的设计方式,将各种功能逻辑进行抽象封装,放置在一个独立的逻辑单
17、元内,外界面对于此功能的调用通过相关接口,而不必关心封装体内部的实现。和模块化类似的是,模块化是粗粒度的封装,对象是细粒度的封装。通过这样层层封装的模式,尽最大的可能提高系统的可维护性;(3)完善的文档、注释。在系统的设计、开发等各个阶段,重视相关文档和规格数量CPU:1.8 GHz,内存:采用云电智云232 G,硬盘:3 0 0 GCPU1.8 GHz,内存:64 G,硬盘:50 0 GCPU:1.8 GHz,内存:64 G,硬盘:50 0 G应用服Vol.60 No.6Jun.15,2023备注程序注释的完善。务必做到每个细微的设计都在文档中详细描述,每一个方法代码都有注释。通过这样的平台
18、标准配置方法,让未接触过系统的人也可以迅速的理解系统的采用云电智云2平台标准配置采用云电智云4平台标准配置云电智平台数据库营销系统数据交换平台数据交换服务器计量系统数据设计思想、实现思路。2用电异常行为分析系统原理2.1技术原理实现用电行为异常分析用户异常行为的判定在于用户采集到的数据的梳理和异常数据判定的学习。随着信息化工作的深人,大数据处理扮演的角色越来越重要。通过大数据对用户采集到的实时数据输入存储,为降低数据处理的压力,运用聚类算法对数据进行分类,根据数据偏离聚类中心的程度判断数据异常程度,盘里越大,说明异常程度越高。利用机器学习跟踪学习数据异常判定,明确某用户的正常用电行为。当其检测
19、到该用户出现频繁异常用电时,便定义该用户为高风险用户,并展开对该用户的用电追踪。同时利用异常数据进行用户用电异常、电压质量异常等判定。异常用电行为分析技术实现流程如图4所示。2.2基于大数据和聚类分析数据处理大数据技术18-10 就是从广阔的数据库中快速获取有价值数据的技术,主要包括大数据输人、大数据存储、数据挖掘、大数据共享和数据交换五方面。一 16 9 一第6 0 卷第6 期2023年6 月15日大数据技术采集用户实时数据,访问历史数据聚类分析对实时采集到的数据分类处理,得到不同聚类中心的n组数据机器学习追踪n组数据异常程度,学习记录异常数据特征利用异常数据进行用户用跟踪异常风险用户,并电
20、异常、电压质量异常、将异常数据可视化处理窃电预测等应用结束图4异常用电行为分析技术实现流程Fig.4 Implementation process of abnormal behavior ofelectricity consumption analysis technology通过对用户历史数据的分析与理解,确定用户“正常行为”,并对可能出现的异常行为进行分析,判断出现问题的环节,以可视化的形式展现。数据传输原理如图5 所示。数据库系统数据采集数据业务其他库系统 存储数据库展示大屏WEB展示展示图5数据传输原理图Fig.5 Schematic diagram of data transmis
21、sion为减小处理器压力,确定可能的异常用电数据,采用模糊聚类的方法对采集的数据进行预处理,将原始数据按聚类中心分为多个场景,利用机器学习对比原始数据确定用户异常用电信息。采集到的数据样本向量为X=(x i,2 x,数据样本总数N,模糊聚类分析法1-12 把聚类中心作为每个类别中所有序列的代表向量,将聚类中心记为c;(i=1,2,,C),每个数据都有一个隶属度,表明此数据对某个聚类中心的紧密程度,其取值范围为0 1,大小则代表了隶属的程度,数值越大,属于此类的可能性越高,每一17 0 一电测与仪表Electrical Measurement&Instrumentation开始大数据平台数据分析
22、训练数据存储建模清洗计算可视化平台Vol.60 No.6Jun.15,2023个数据集的隶属度相加等于1,那么优化分类的目标则是使得各簇中的序列与聚类中心形成的价值函数最小。Ci二Nk=1Cmin式中u;为第i类第j元素的隶属度;D为距离函数,用以计算聚类中心和各元素直接的距离值。传统距离函数包括欧几里得距离、曼哈顿距离等;m表示FCM的柔性参数,如果 m 太大,则分类效果较差,文中取为 2 13 。2.3基于机器学习实现异常用电行为预警机器学习14-15 可以通过监督学习对象数据,形成一般性行为认知,并赋予其定义标签。同时对异常行为进行判定,标识其非正常行为。大数据时代对数据处理能力要求激增
23、,机器学习高效处理各类问题已逐渐引起研究人员重视。面对现代复杂庞大的数据,机器学习如何有效的学习利用这些信息、智能的分析数据,是目前关注的主要方向。因此,基于机器学习法实现窃电行为16-18 的预警。通过对数据集的监督分类,明确某用户的正常用电行为。当其检测到该用户出现频繁异常用电时,便定义该用户为高风险用户,并展开对该用户的用电追踪。机器学习采用决策树算法1-2 0 ,在ID3算法中引入信息增益用于选择最优的特征构建决策树并判断每一步不确定下降程度。但存在过拟合和缺失值的问题,为解决ID3算法利用信息增益容易选择取值较多的特征从而引起过拟合问题,C4.5算法引人了信息增益率,计算公式如下,I
24、R信息增益率:I(Y,X)IR(X,Y)=Hy(X)式中X是特征样本输出集合;Y是特征样本。特征H(X)公式为:H(X)=-Z特征熵随着特征数的增大而增大,特征熵作为分母能有效解决过拟合问题,可将信息增益率最大值作为决策树节点。,i=1,CCD(X;D(x;uD?(x;,U,)10%2(1)(2)m(3)(4)(5)(6)第6 0 卷第6 期2023年6 月15日信息增益I(Y,X)公式如下所示:I(Y,X)=H(Y)-H(Y/X)H(Y)=-Z p:log P:H(Y/X)=-Z p(x;,y,)log p(xi;,y.)式中n表示随机变量X的n种取值;p表示随机变量X取不同值时的概率;lo
25、g的底数为2 或者e。3用电异常行为分析系统应用3.1应用功能用电异常分析如图6 所示。用电异常分析结果平台化应用平台分析用户数据分用电异常用高风险用户闵值设置析报告异常分析用户用电量无功及功率因异常分析数异常分析用户电压质负载及三相不量异常分析平衡异常分析图6 功能框架Fig.6Functional framework异常分析功能介绍如下:(1)用户用电量异常分析:根据计量日冻结电量,结合营销用电客户的计费档案模型,实现用户每天日用电量的计算和跟踪。本功能的主要目标是找出用户电量突增突减的用户,用于排查出现电量异常的用户;(2)用户电压质量异常分析2 12 :根据计量用户计量点电压质量数据,
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 数据 机器 学习 用电 异常 行为 分析 系统
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。