流式计算在污染源监测领域的应用与实践.pdf
《流式计算在污染源监测领域的应用与实践.pdf》由会员分享,可在线阅读,更多相关《流式计算在污染源监测领域的应用与实践.pdf(5页珍藏版)》请在咨信网上搜索。
1、随着环境保护形势的日趋严峻,各大能源企业开始建设内部的污染源监测系统。污染源监测数据的采集、存储和计算要求极高,数据属性具有典型的大数据特征。在管理实际中,需要科学的算法排除异常数据,实时、真实地反映现场实际。流式计算的技术特性与污染源监测数据的计算处理的业务场景匹配度极高,对于能源企业内部环保管理的业务支撑可以发挥传统技术不可替代的作用。关键词污染源监测数据甄别流式计算大数据Application and practice of flow calculation in the field of pollution source monitoringGAO Hongtao(Chnenergy
2、Network Information Technology Co.,Ltd.,Beijing 100011,China)Abstract With the increasingly severe situation of environmental protection,enterprises began to build pollutionmonitoring system.The collection,storage and calculation of data are extremely strict,and the data attributes have bigdata char
3、acteristics.In the practice of management,we need scientific algorithm to eliminate abnormal data and reflectthe actual situation in real time.The flow calculation system are matched with pollution monitoring data processing,which can play an irreplaceable role in the business support of enterprise
4、internal environmental management.Key words pollution source monitoring data screening flow calculation big data0引言随着国家对环境保护的不断重视,污染源监测数据已经越来越多的应用于环保执法。某大型能源企业为了提高自身管理水平,开展了内部的污染源在线监测系统建设。国家在数据的采集、传输、计算和存储等方面也出台了多条法规及国家标准,环保数据处理的及时性和合规性成为了系统建设的核心关键。对于大型能源集团而言,管理的污染源众多,污染源监测采集、存储和计算的量都非常大,种类和来源多样化,数据
5、价值密度相对较低,数据增长速度快,处理速度也快,且环保管理对数据的准确性和可信赖度极高。由此可见,污染源监测数据具有典型的大数据的特点。在实际业务中,污染源排放的异常工况和仪表输出的异常数据对精准监管来说形成了障碍,需要科学的算法排除异常情况,实时、真实地反映现场实际。流式计算的技术特性与污染源监测数据的计算处理的业务场景匹配度极高,对于企业内部环保管理的业务支撑可以发挥传统技术不可替代的作用。1系统设计1.1业务需求分析根据污染物在线监控(监测)系统数据传输标准(HJ212一2 0 17),污染物数据至少5 s采样一次。某大型能源集团拥有煤炭、电力、化工、运输等多种产业类型,污染源企业数百家
6、。每个排放口除了采集二氧化硫、氮氧化物、颗粒物、COD、氨氮、总磷、总氮等污染物浓度以外,还要有烟气折算值、温度、湿度、压力、氧量、流速以及治污设施运行参数等一并上传,测点数量约5 万个。当各污染源企业把数据源源不断的传输到某集团总部后,需要实时计算污染物分钟均值。分钟均值有2 个去向,一是经过有效性判定算法的清洗后计算小时均值、污染物排放量和数据有效传输率;二是识别现场的异常工况,经人工确认后对小时均值进行标记。标记后的小时均值是计算日均值和污染物达标排放率。其过程如图1所示。1.2系统架构设计在污染源监测业务实践中,数据生命周期的时效性往往很短,数据的时间价值也极为重要。所有数据传输到集团
7、总部后,均需要实时处理,并实时产生相应结果反馈给环保管理人员。在传统的数据处理流程中,往往是先将数据存储到数据库中,然后再98通过数据库对数据做查询获取数据。数据ETL的过程也经常采用数据库存储过程或Java代码实现。这样看起来虽然非常合理,但是架构过于紧凑。对于大量数据处理而言,给数据库服务器造成的压力很大,而且会由于性能的局限使计算不能很好的满足实时性的要求。判断数据剔除无效计算污染物数据有效有效性份钟数据排放量传输率计算实时计分钟数据算均值标记识别异人工常工况确认否超标算放率图1监测数据计算和处理业务需求本系统采用大数据技术路线进行设计,如图2 所HBASE实时数据分钟均值小示,监测数据
8、通过Kafka集群被送入Flink完成处理。对于频次较高的实时数据和分钟均值存储到HBASE中,对于日均值、小时均值、污染物排放量以及达标排放率、数据有效传输率等频次相对较低的数据存储到达梦关系型数据库中。基于Flink的流计算方式可以很好地对大规模计算污染源监测数据在不断变化的运动过程中实时地进行分析,并把结果发送到下一计算节点。环保数据以数据流的形式持续到达数据计算系统,分钟均值计算、数据有效性判定、异常工况识别、小时均值小时计算等每一个环节都可通过有向任务图的形式进日均值均值判断是达标排web应用不小时/日均值异常工况考核结果不行描述,数据流在有向任务图中流过后,会实时产生相应的计算结果
9、。Flink可以有效地为各个计算任务分配合理资源,满足不同时间点各计算环节间系统资源的公平使用并保证满足业务管理目标要求。达梦关系型数据库实时计分钟数据算均值判断数据有效Flink性排污单位2算法分析2.1均值计算在环保管理实践中,政府并不会把污染物浓度瞬时超标作为违法事件来处理,污染物小时均值才是判断污染物是否超标的依据。因此,Flink的首要任务就是将Kafka转发的实时数据转化为分钟和小时数据。以废水污染物分钟均值为例。在2 12 协议中,对于废水污染物分钟均值规定了算数均值和加权均值两种算法。所谓算数平均算法,是将1min内收到的所有污染物浓度实时数据进行算数平均;加权平均算法,是以时
10、间和流量为权重。事实上,如果能够严格做到5 s一次的等间隔采样并传输数据,且废水识别异常工况计均值算放率算剔除无计污染物效分钟算排放量均值计算率不KafKa集群图2 系统的技术架构排放呈匀速,那么加权平均算法和算数平均算法的结果是一样的。而但在实际中,由于现场仪表的监测速度、设备灵敏度、网络条件等客观因素的限制,等间隔采样并传输难实现,且废水排放的瞬时流量也千差万别,情况往往如图3 所示。6流量/(Ls)质量浓度/(mgLl)543210T1T2 T3 T4 T5 T6T7 T8 T9图3废水污染物浓度加权均值计算示意由图3 可见,对于任何一个瞬时流量C,而言,流小时计达标排数据有效传输日均值
11、计算口99量Q.的大小和对应的影响时间T,对环境的影响程表1是某发电机组负荷率和烟气流量理论值,度是不同的。因此笔者认为加权均值算法更能准确接下来就要以该数值为基础,要构造一个以负荷率的体现一段时间内的污染物排放情况。于是,废水M为变量的方程F,使得烟气流量Q-F(M)。在拟污染物分钟均值的计算方法见式(1)。合试验过程中,笔者选择了多种拟合方程进行比较,CxQ,xT,结果证明4参数方程的拟合效果最好。即将Q=(A-20.xT.min式中,Cmin为污染物浓度分钟均值;C,为第i个污染物瞬时浓度;Q.为第i个污染物瞬时流量;T为第i个瞬时浓度与第计1个瞬时浓度的时间间隔。2.2异常数据识别根据
12、固定污染源烟气排放连续监测技术规范(HJ75一2 0 17)对有效数据做了规定。整点1h内不少于45 min有效数据的算术平均值才是有效的小时均值。受到现场监测仪表稳定性、网络条件等客观因素的限制,异常分钟数据时有发生。因此,计算机程序需要能够判断异常分钟数据,并计算异常分钟数据的个数。下面以烟气流量的异常数据判断为例进行说明。2.2.1烟气流量准确性影响因素污染物实测浓度和标准状态下干烟气排放流量(简称标干烟气流量)的乘积便是污染物排放量。污染物实测质量浓度的数值范围从个位数到几十mg/m,而烟气流量则高达数百万m/h,如果不能准确地计算标杆烟气流量,则会对污染物排放量的计算结果造成巨大的影
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 计算 污染源 监测 领域 应用 实践
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。