云计算大数据与智慧城市建设.ppt

单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,单击此处编辑母版标题样式,*,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,Click to edit Master title style,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,*,云计算大数据与智慧城市建设,云计算大数据与智慧城市建设,中国联通青海省分公司,引领城市信息化新发展,1.,云计算,概述,2.,什么是大数据,3.,智慧城市建设思路,讲解大纲,云计算,(cloud computing),定义,维基百科,“云计算，是这样一种计算方式，计算资源是动态易扩展而且虚拟化的，往往通过互联网提供。用户不需要了解云中基础设施的细节，不必具有相应的专业知识，也无需直接进行控制”。,Baidu,百科,云计算是网格计算（,Grid Computing,）、分布式计算（,Distributed Computing,）、并行计算（,Parallel Computing,）、效用计算（,Utility Computing,）、网络存储（,Network Storage Technologies,）、虚拟化（,Virtualization,）、负载均衡（,Load Balance,）等传统计算机技术和网络技术发展融合的产物。,云计算是一种商业计算模型。它将计算任务分布在大量计算机构成的资源池上，使各种应用系统能够根据需要获取计算力、存储空间和信息服务。,云计算本质上是计算池,云计算的概念模型,云计算的类别,云计算服务模式,速响应能力,提供的是“服务”,市场成功案例,应用、流程和信息作为服务,(SaaS),(行业应用,CRM,ERP,OA等),平台作为服务,(PaaS),(优化的中间件,应用服务器、数据库服务器等,),基础架构作为服务,(IaaS),(虚拟的服务器、存储、网络,),面向企业内部应用,私有云,提升资源利用率，降低运行成本,提升管理效率，提高运维管理质量,提高基础资源部署速度，提高对业务的快,混合云,公共云,面向社会公众；,提供面向客户的多种商业服务模式；,1MB =1,024 KB=1,048,576 Bytes,1GB =1,024 MB=1,048,576 KB=1,073,741,824 Bytes,PaaS之所以能够推进SaaS的发展，主要在于它能够提供企业进行定制化研发的中间件平台，同时涵盖数据库和应用服务器等。,非结构化海量信息的智能化处理：自然语言理解、多媒体内容理解、机器学习等.,云计算是一种商业计算模型。,(优化的中间件 应用服务器、数据库服务器等),它在满足你需求的同时，也在创造新的需求。,构建“智慧城市”领域应用,微博为新浪带来巨大价值,在安防领域，应用大数据技术，提高应急处置能力和安全防范能力,总数据量的8090%,NoSQL技术：HDFS,HBASE,OceanBase,MongoDB等,采用SOA的体系架构。,我们可以把MapReduce理解为，把一堆杂乱无章的数据按照某种特征归纳起来，然后处理并得到最后的结果。,三大领域应用包括：智慧政府、智慧企业、智慧生活,通常而言,买家在采购商品前,会比较多家供应商的产品,反映到阿里巴巴网站,年4月，iOS被发现会按照时间顺序记录用户的位置坐标信息,云计算平台使用的物理节点是分布的。,进一步理解,PaaS,PaaS(Platform as a service):,平台即服务。,所谓,PaaS,实际上是指将,软件,研发的平台（,业务基础平台,）作为一种服务，以,SaaS,的模式提交给用户。因此，,PaaS,也是,SaaS,模式的一种应用。但是，,PaaS,的出现可以加快,SaaS,的发展，尤其是加快,SaaS,应用的开发速度。,PaaS,之所以能够推进,SaaS,的发展，主要在于它能够提供企业进行定制化研发的中间件平台，同时涵盖数据库和应用服务器等。,PaaS,能将现有各种业务能力进行整合，具体可以归类为,应用服务器,、业务能力接入、业务引擎、业务,开放平台,，向下根据业务能力需要测算基础服务能力，通过,IaaS,提供的,API,调用,硬件,资源，向上提供业务调度中心服务，实时监控平台的各种资源，并将这些资源通过,API,开放给,SaaS,用户。,云计算发展现状,Amazon,研发了弹性计算云,EC2,（,Elastic Computing Cloud,）和简单存储服务,S3,（,Simple Storage Service,）为企业提供计算和存储服务。,诞生两年时间，,Amazon,上的注册开发人员就多达,44,万人，其中包括为数众多的企业级用户。,Google,搜索引擎建立在分布在,30,多个站点、超过,200,万台服务器构成的云计算设施的支撑之上，这些设施的数量正在迅猛增长。,Google,的一系列成功应用，包括,Google,地球、地图、,Gmail,、,Docs,等也同样使用了这些基础设施。目前，,Google,已经允许第三方在,Google,的云计算中通过,Google App Engine,运行大型并行应用程序。,Hadoop,模仿了,Google的实现机制。,云计算发展现状,IBM在2007年11月推出了“改变游戏规则”的“蓝云”计算平台，为客户带来即买即用的云计算平台。,IBM正在与17个欧洲组织合作开展名为RESERVOIR云计算项目，以“无障碍的资源和服务虚拟化”为口号。欧盟提供了亿欧元作为部分资金。,年8月，IBM宣布将 约4亿美元用于其设在北卡罗来纳州和 东京的云计算数据中心改造。IBM在 年在10个国家 3亿美元建13个云计算中心。,云计算实现机制,云计算技术体系结构,云计算（Cloud Computing）是能够提供动态资源池、虚拟化和高可用性的下一代计算模式。如果把一个计算的资源，比如一台服务器，看成一个小水滴，当很多资源汇聚在一起的时候，它就形成了计算的云，正如我们不关心水滴是怎么产生的，用户也不需要关心计算资源位于哪台物理的服务器上。用户关心的是需要什么样的计算能力，需要什么时刻拥有这些计算能力。云计算管理平台可以为用户提供“按需计算”服务。,云计算的主要特点是分布式、虚拟化、动态的可扩展性、灵活性。云计算平台使用的物理节点是分布的。每一个应用部署的环境和物理平台是没有关系的。通过虚拟平台进行管理达到对应用进行扩展、进行迁移、进行备份，种种操作通过虚拟化层次完成。通过动态的扩展虚拟化的层次达到对以上应用进行扩展的目的。可以把各种IT资源虚拟化，放在云计算平台中统一管理。,云计算主要是针对现有的以及即将出现的大规模数据密集型工作负载，它将能够动态地分配资源、调整负载。与传统以PC 为中心的计算不同，云计算把计算资源和数据资源分布在大量的分布式计算机上，这使计算和存储获得很强的可扩展能力，并方便用户通过多种接入方式，例如电脑、等方便地接入网络获得应用和服务。,理解云计算,1.,云计算,概述,2.,什么是大数据,3.,智慧城市建设思路,讲解大纲,不知道,BIG DATA?,你,out,了,!,前瞻来看，随着互联网对网民的理解，网民对网络的反作用，互联网将变得越来越智能。它在满足你需求的同时，也在创造新的需求。前者的代表是Google，后者的典型则是Facebook。,谷歌的盈利在于所有的软件应用都是在线的。用户在免费使用这些产品的同时，把个人的行为、喜好等信息也免费的送给了Google。因此Google的产品线越丰富，他对用户的理解就越深入，他的广告就越精准。广告的价值就越高。,这是正向的循环，谷歌通过好用的、免费的软件产品，换取对用户的理解；然后通过精准的广告，找到生财之道。颠覆了微软卖软件拷贝 的模式。成为互联网的巨擘。,互联网越来越智能,Google,精确掌握用户行为、获取需求,微博为新浪带来巨大价值,马云的判断来自于数据分析,“年初,阿里巴巴平台上整个买家询盘数急剧下滑，欧美对中国采购在下滑。海关是卖了货,出去以后再获得数据;而我们提前半年时间从询盘上推断出世界贸易发生变化了。”,马云对未来的预测，是建立在对用户行为分析的基础上。通常而言，买家在采购商品前，会比较多家供应商的产品，反映到阿里巴巴网站统计数据中，就是查询点击的数量和购买点击的数量会保持一个相对的数值，综合各个维度的数据可建立用户行为模型。因为数据样本巨大，保证用户行为模型的准确性。因此在这个案例中，询盘数据的下降，自然导致买盘的下降。,腾讯在天津 建立亚洲最大的数据中心；百度也在 建立大数据处理中心；新浪推出企业微博产品，提供精准的数据分析服务。,大数据,(big data),，或称巨量资料，指的是所涉及的资料量规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取,XIEQU,、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。,大数据是需要新处理,模式,才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。,大数据需要特殊的技术，以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术，包括大规模,并行处理,（,MPP,）数据库、数据挖掘、,分布式文件系统,、,分布式数据库,、,云计算平台,、互联网和可扩展的,存储系统,。采用,SOA,的体系架构。,大数据当前的主流实现平台,并行数据库,(,分布式数据库,),、,MapReduce,及基于两者的混合架构,.,MapReduce,是一种编程模型，用于大规模数据集（大于,1TB,）的并行运算。概念,Map,（映射）,和,Reduce,（化简）,，和他们的主要思想，都是从函数式编程语言里借来的，还有从矢量编程语言里借来的特性。,我们可以把,MapReduce,理解为，把一堆杂乱无章的数据按照某种特征归纳起来，然后处理并得到最后的结果。,什么是大数据,什么是大数据,何为大？数据度量,1Byte,=,8,Bit,1KB,=,1,024,Bytes,1MB,=,1,024,KB,=,1,048,576,Bytes,1GB,=,1,024,MB,=,1,048,576,KB,=,1,073,741,824,Bytes,1TB,=,1,024,GB,=,1,048,576,MB,=,1,099,511,627,776,Bytes,1PB,=,1,024,TB,=,1,048,576,GB,=1,125,899,906,842,624,Bytes,1EB,=,1,024,PB,=,1,048,576,TB,=,1,152,921,504,606,846,976,Bytes,1ZB,=,1,024,EB,=,1,180,591,620,717,411,303,424,Bytes,1YB,=,1,024,ZB,=,1,208,925,819,614,629,174,706,176,Bytes,大数据的4V特性,体量,Volume,多样性,Variety,价值密度,Value,速度,Velocity,非结构化数据,的超大规模和增长,总数据量的,8090%,比结构化数据增长快,10,倍到,50,倍,是传统数据仓库的,10,倍到,50,倍,大数据的异构和多样性,很多不同形式（文本、图像、视频、机器数据）,无模式或者模式不明显,不连贯的语法或句义,大量的不相关信息,对未来趋势与模式的可预测分析,深度复杂分析（机器学习、人工智能,Vs,传统商务智能,(,咨询、报告等）,实时分析,而非批量式分析,数据输入、处理与丢弃,立竿见影而非事后见效,大数据与云计算,大数据与云计算,云计算的模式是业务模式，本质是数据处理技术。（肉体+灵魂）,数据是资产，云为数据资产提供存储、访问和计算。,盘活资产，使其为国家治理、企业决策、个人生活服务，是大数据核心议题，也是云计算的最终方向,。,大数据不仅仅是“大”,多大？,PB,级,比,大,更重要的是,数据的复杂性,，有时甚至大数据中的小数据如一条微博就具有颠覆性的价值,软件是大数据的引擎,和数据中心（,Data Center,）,一样，软件是大数据的驱动力,.,软件改变世界,!,设备提供商提供智慧城市建设的硬件环境,如何利用运营商的资源优势，整合分散的智慧应用？,转换为结构化存储,因此在这个案例中，询盘数据的下降，自然导致买盘的下降。,Hadoop模仿了Google的实现机制。,云计算是一种商业计算模型。,IBM正在与17个欧洲组织合作开展名为RESERVOIR云计算项目，以“无障碍的资源和服务虚拟化”为口号。,云计算平台使用的物理节点是分布的。,流计算（twitter的storm和yahoo！,数据采集：ETL工具(数据提取、转换和加载),运营商责任：承担智慧城市建设运营工作,云计算大数据与智慧城市建设,云计算（Cloud Computing）是能够提供动态资源池、虚拟化和高可用性的下一代计算模式。,承担信息化项目的统一建设及统一运营,麦肯锡评估报告中指出大数据在政府公共服务、医疗服务、零售业、,大数据生态,:,软件是引擎,大数据的应用不仅仅是精准营销,通过用户行为分析实现精准营销是大数据的典型应用，但是大数据在各行各业特别是公共服务领域具有广阔的应用前景,消费行业,金融服务,食品安全,医疗卫生,军事,交通环保,电子商务,气象,管理大数据“易”,理解大数据“难”,目前大数据管理多从架构和并行等方面考虑，解决高并发数据存取的性能要求及数据存储的横向扩展，但对非结构化数据的内容理解仍缺乏实质性的突破和进展，这是实现大数据资源化、知识化、普适化的核心,.,非结构化海量信息的智能化处理：自然语言理解、多媒体内容理解、机器学习等,.,大数据相关技术,数据处理：自然语言处理技术,统计和分析：A/B,test;,top,N排行榜；地域占比；文本情感分析,数据挖掘：关联规则分析；分类；聚类,模型预测：预测模型；机器学习；建模仿真,分析技术,大数据技术,数据采集：ETL工具(,数据提取、转换和加载,),数据存取：关系数据库；NoSQL(,非关系型数据库,),；SQL等,基础架构支持：云存储；分布式文件系统,（,Distributed File System,）,等,计算结果展现：云计算；标签云；关系图等,大数据相关技术,存储,结构化数据：,海量数据的查询、统计、更新等操作效率低,非结构化数据,图片、视频、word、pdf、ppt等文件存储,不利于检索、查询和存储,半结构化数据,转换为结构化存储,按照非结构化存储,存储问题解决方案,在CAP理论指导下数据库技术适当“退化”,NoSQL技术：,HDFS,HBASE,OceanBase,MongoDB等,大数据相关技术,计算,解决方案,因结构变化为导致计算模式变更,需求模式变化带来的计算碰到瓶颈,Hadoop（MapReduce技术）,流计算（twitter的storm和yahoo！的S4）,麦肯锡评估报告中指出大数据在政府公共服务、医疗服务、零售业、,大数据带来的影响,3/13/,22,制造业、以及涉及个人位置服务等领域都将带来可观的价值,40%,GDP,来源于麦肯锡全球研究院,政府等公共职能管理,大数据带来的影响,o,o,o,o,o,重视应用大数据技术，盘活各地云计算中心资产：把原来大规模 产业,园、物联网产业园从政绩工程改造成智慧工程,在安防领域，应用大数据技术，提高应急处置能力和安全防范能力,在民生领域，应用大数据技术，提升服务能力和运作效率，以及个性化的,服务，比如医疗、卫生、教育等部门,解决在金融，电信领域等中数据分析的问题：一直得到得极大的重视，但,受困于存储能力和计算能力的限制，只局限在交易数型数据的统计分析,政府投入将形成示范效应，大大推动大数据的发展,3/13/,24,大数据赋予我们洞察未来的能力,大数据带来的机遇,o,o,o,马云成功预测 年经济危机,“年初,阿里巴巴平台上整个买家询盘数急剧下滑,欧美对中国 采购在下,滑。海关是卖了货,出去以后再获得数据;而我们提前半年时间 从询盘上推断,出世界贸易发生变化了。”,通常而言,买家在采购商品前,会比较多家供应商的产品,反映到阿里巴巴网站,统计数据中,就是查询点击的数量和购买点击的数量会保持一个相对的数值,综合各个维度的数据可建立用户行为模型。因为数据样本巨大,保证用户行为,模型的准确性。因此在这个案例中,询盘数据的下降,自然导致买盘的下降。,3/13/,25,大数据带来的影响刀刃的另一面,更多的隐私、安全性问题,o,o,o,o,多少密码和账号是因为“社交网络”流出去的？,年4月索尼的系统漏洞导致7700万用户资料失窃,年4月，iOS被发现会按照时间顺序记录用户的位置坐标信息,年CSDN密码泄露事件,3/13/,26,1.,云计算,概述,2.,什么是大数据,3.,智慧城市建设思路,讲解大纲,智慧城市、信息消费,如何利用运营商的资源优势，整合分散的智慧应用？,根据政府推进信息消费的 指引，如何建立由运营商 建设，由政府指导各类社会单元购买服务的运营模式？,哪里来？渐进式？,面对机遇如何应对和准备？,城市公共信息、市民服务信息、个人社会信息转化为数字化计算资源,智慧城市,是基于,泛在化,的信息,网络,、智能的,感知,技术和信息安全基础设施，透明、充分的获取城市管理、行业、公众用户,海量数据,，为公众提供,共享信息,，打造智能生活、智能产业、智能管理的城市信息化应用。,网络化,-,信息共享,智能化,-,智慧应用,数字化,-,数字信息,通过,网络,实现城市信息共享,在区域内将分散的信息互联为集成数据,通过,云计算、物联网、大数据,等技术整理、加工、分析资源，协同工作，智慧互动,城市发展更科学,城市管理更高效,城市生活更美好,概念,目标,什么是智慧城市？,构建“智慧城市”领域应用,智慧城市,利用移动互联网、物联网、云计算、大数据等现代通信信息技术，充分开发和利用企业内部或外部可能得到和利用的的各种信息，及时把握机会，做出决策，增进运行效率。,智慧政府,智慧企业,智慧生活,利用物联网、云计算、移动互联网、人工智能、数据挖掘、知识管理等技术，提高政府办公、监管、服务、决策的智能化水平，形成高效、敏捷、便民的新型政府。,以宽带互联网、物联网、移动互联网等信息化应用为核心，为城市居民提供的涵盖餐饮购物、医疗健康、旅游出行、消费娱乐、智能家居等各方面的网络化、智能化、便捷高效的生活体验。,三大领域应用包括：智慧政府、智慧企业、智慧生活,电信运营商推动“智慧城市”的落地建设,应用,提供商,运营商,政 府,内容,提供商,设备,制造商,政府主导,：统一规划，统筹实施，积极扶持、引导和协调产业各方参与力量，形成智慧城市建设合力,运营商优势,：网络基础资源、运营保障能力、专业技术人才、产业链整合能力,运营商责任：,承担智慧城市建设运营工作,作为信息通信网络（有线、无线）的提供者,聚合产业资源，研发丰富的信息应用,承担信息化项目的统一建设及统一运营,智慧城市建设是一个复杂的系统工程，“政府,+,运营商,+,通信,/IT,企业,+,行业应用及内容提供者”的产业链模式逐渐被认同。不同的角色承担不同的责任，已经形成了“政府主导,+,企业推进,+,行业并举”的发展模式。,其他角色积极参与：,应用及内容提供商提供本地化、行业化内容信息和定制化应用,设备提供商提供智慧城市建设的硬件环境,“智慧城市”方案设计,总体架构,智慧城市技术架构,“智慧城市”方案,云平台部分,政府云平台,政府各部门、各行业都在推进信息化，但不能连接起来发挥综合效应。打造覆盖省市两级的政府云计算中心，以政府私有云的方式，实现各类政府单位信息化系统的主机托管、数据共享、安全保障，并建设统一的政府移动化应用平台，实现各类政府应用的移动化和随身化，最大限度地降低成本，发挥效能。,企业云平台,将建设全省公有云服务平台，覆盖省、市、县三家，为各类中小企业提供“接入,+,服务,+,内容,+,应用”的一揽子解决方案，为企业生产、管理、运营各个环节提供移动信息化应用，打造良好的企业信息化环境，有效提升企业效率。,服务运营云平台,服务云平台作为智慧城市的运营管理平台，提供无线传感网络与互联网之间重要的本地化中央信息处理中心，集成产业链的上下游系统，为“感知青海”的各类终端客户提供一站式电信级运营服务。,谢谢观看！,