《大数据导论》课件 第2章 大数据的架构.pdf
《《大数据导论》课件 第2章 大数据的架构.pdf》由会员分享,可在线阅读,更多相关《《大数据导论》课件 第2章 大数据的架构.pdf(40页珍藏版)》请在咨信网上搜索。
1、大数据导论第二章大数据的架构大数据应用人才培养系列教材2.1云计算2.2 大数据架构介绍2.3 Hadopp体系架构2.4 上机与项目实训习题2.1云计算第二章大数据的架构大数据与云计算大数据和云计算密不可分,由于大数据处理和应用需求急剧增长,学术界和工业界 不断推出新的或改进的计算模式和系统工具平台。云计算具有一体化的信息平台和运营平台,云计算以这种全新交 付模式对IT界产生着重大影响,尤其对传统的IT产业部门来说,将颠覆IT产业界,带来一场地震级的震撼。_J大数据可通过各种方式来存储、获取、处理和分析数据。每个 Z 数据来源都有不同的特征,包括数据的频率、量、速度、类型 2 和真实性。2.
2、1云计算第二章大数据的架构云计算的概念云是网络、互联网的一种比喻说法,通常在图中往往用云来表示电信网,后来也用云来表 示互联网和底层基础设施的抽象。云计算并不是对某一项独立技术的称呼,而是对实现云 计算模式所需要的所有技术的总称。,21云计算第二章大数据的架构维基百科NIST国务院政府云计算是一种基于 互联网的服务方式,提供动态可伸缩的 虚拟化的资源的计 算模式。通过这种 方式,共享的软硬 件资源和信息可以 按需求提供给计算 机和其他设备,他 就像我们日常生活 中用水和用电一样,按需付费,无需关 心水电是从哪里来 的。云计算是一种按使 用量付费的模式,这种模式提供可用 的、便捷的、按需 的网络
3、访问,进入 可配置的计算资源 共享池,这些资源 能够被快速提供,只需投入很少的管 理工作,或与服务 住应商进行很少的 基于互联网的相关 服务的增加、使用 和交付模式,通常 涉及通过互联网来 提供、动态易扩展 且经常是虚拟化的 资源。云计算是传 统计算机和网络技 术发展融合的产物,他意味着计算能力 也可作为一种商品 通过互联网进行流 通。,21云计算第二章大数据的架构云计算的特点I资源池弹性可扩张2需求服务自助化 3虚拟化 以网络为中心高可靠性和安全性2.1云计算第二章大数据的架构云计算的服务方式基础设施级服务,消费者通过Internet可以从完善的计算机基础。设施获得服务。laaS是把数据中心
4、、基础设施等硬件资源通过 laaS Web分配给用户的商业模式。平台级服务。PaaS实际上是指将软件研发的平台作为一种服一 务,以SaaS的模式提交给用户。因此,PaaS也是SaaS模式的 PaaS 一种应用。软件级服务。它是一种通过Internet提供软件的模式,用户无 需购买软件,而是向提供商租用基于Web的软件,来管理企 SaaS 业经营活动。2.1云计算第二章大数据的架构云平台架构图软件及服务 SaaS平台及服务PaaS础&施及服务 was云架构平台,21云计算第二章大数据的架构第二章大数据的架构大数据应用人才培养系列教材2.1云计算2.2 大数据架构介绍2.3 Hado op体系架构
5、2.4 上机与项目实训 习题大瞬架构 即幺?2.2大数据架构介绍第二章大数据的架构大数据架构大数据架构是一种结构化和基于模式的方法来简化定义完整的大数据架构的任务。而;同可.可Hadoop 是由 Apache 软 件基金会研发的一种开 源、高可靠、伸缩性强 的分布式计算系统,主 要用于处理大于1TB的 海量数据。其核心包括 系统HDFS和 MapReduce,这一结 构的实现十分有利于面 向数据的系统架构,因 此已经成为大数据技术 领域的事实标准。2.2大数据架构介绍第二章大数据的架构1.大数据的分类数据类型划分处理过程划分L传统企业数据(Traditionalenterprisedata):
6、包括MIS系统的数据,传统的 E R P数据库存数据以及财务账目 数据等。2、瀛和传感器数据(Machine-generated/sensordata):包括 呼叫记录(CallDetailRecords),智能仪表,工业设备传感器,设 备日志,交易数据等。3、社交数据(Socialdata):包括 用户行为记录,反馈数据等。如 Twitter,Facebook这样的社交 媒体平台。海量型数据。大数据计算中的数 据挖掘是通过挖掘海量的数据推 动科学知识的界限,数据集越大,结论越精确。响应型数据。响应型的数据集很 大,但它的价值围绕着很具价值 的分析结果影随型数据。影随型数据是一种 你拥有,但并
7、不容易拿到的数据。过程型数据。又称为操作数据。这是从生产设备、工业机械和其 他在商业建筑和工业厂房里找到 的信息。未宛逸攵据。未知型数据包括现 在可以能够拿到的、希望拿到的、第二章大数据的架构.大数据的分类工、少量企业应用产生 的数据,比如关系型数 据库中的数据和数据仓 库中的数据等。2、大量人产生的数据,比如微信、移动通信数 据、电子商务在线交易 日志数据、企业应用的 相关评论数据等。3、巨量机器产生的数 据,比如应用服务器日 志、图像和视频监控数 据、二维码和条形码扫 描数据等。、分析类型。判断进行数据分析时,无 还是批量分析。2、处理方法。用来处理数据的技术类型(如预测、分析、临时查询和
8、报告)。3、磬据频率和大小。预计有多少数据和数据到选白 1=1 夕同。4、数据类型。要处理数据的类型,如交易、历史、主数据 等。5、内容格式(传入数据的格式)结构化(例如RDMBS)、非结构化(例如音频、视频和图像)或半结构化。6、数据源即数据的来源(生成数据的地方),如Web和 社交媒体、机器生成、人类生成等。7、数据使用者。处理数据的所有可能使用者的情况列表。8、硬件。用来实现大数据解决方案的硬件类型,包括商用 硬件或最先进的硬件。2.2大数据架构介绍第二章大数据的架构1.大数据分类图may to on montHiy 3ee*l*y.hourly,(crminwte or per sec
9、orxSContent forma*Structured|maesjT*MtLJnstructor jViSeoScmi-s.tructurecf|Oocwmts text.vid*o audiocd Socunts on te of vp Structurfla ue,Liyturoci Aurrtr!generate|c,y dsouyT Biometricr das dataVid data provldors5。149t0 ora|t orInrdwnroComrvxxlitv St of rtKrcfwrKey catr(coxis for!*inintc ti K cimtn c
10、1 nsjs i Fic2.2大数据架构介绍第二章大数据的架构D 移动互联网,每天产生了大量的点击数据,这些数据被某些公司所有拥有,形 成用户大量行为数据2电子地图,它代表着一种行为、一种习惯,这些流数据经频率分析后会产生巨 大的商业价值3社交网络,它的出现,大量的互联网用户创造出海量的社交行为数据D 电子商务,它的崛起带来了大量的网上交易数据,这些数据的产生为大数据的 研究带来了很大的契机,其中隐藏了更大的商业价值。5传统的互联网入口转向搜索引擎之后,用户的搜索行为和提问行为聚集了海量 数据。单位存储价格的下降也为存储这些数据提供了经济上的可能性。2.2大数据架构介绍第二章大数据的架构分析大
11、数据时,四种参考数据类型2.2大数据架构介绍第二章大数据的架构2.数据类型采用大数据方案解决问题时,应熟悉项目的实际状况,熟悉项目的建设流程,弄清大数据 分析技术的原理,架构,设计理念,以及掌握大数据的关键技术,才可以从容不迫的对待 建设项目进行调研实施。2.2大数据架构介绍第二章大数据的架构2.架构概述架构,又称软件架构,是有关软件整体结构与组件的抽象描述,用于指导大型软件系统各个方面的设 计。软件系统的架构有两个要素:首先他是一个软件系统从整体到部分的最高层的的划分,再则一个 系统通常是由元件组成,而这些元件如何形成、相互之间怎样发生作用,就是这个系统本身结构的问 题了。所以说软件架构是平
12、衡的艺术。2.2大数据架构介绍第二章大数据的架构2.架构四大注意要素分解合并务用据 业应数 联动的业务高藕合的数据持续发展插件式扩展能力翡藕合易于剥离局部可优化调整可测试z稳定性高可用性负载均衡线性扩展可被监控,2.2大数据架构介绍第二章大数据的架构与Oracle性能关系最大的SGASGA包含三个部分:G 数据缓冲区,是SGA的一个高速缓存区 域,可避免重复读取常用的数据日志缓冲区,提升了数据增删改的速度,减少磁盘的读写而加快速度共享池,使相同的SQL语句不再编译,提升了 SQL的执行速度,共享池的大小(以字节为单位)由 init.ora 文件参数 SHARED_POOL_SIZE 决定。2.
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 大数据导论 大数据导论课件 第2章 大数据的架构 数据 导论 课件 架构
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【曲****】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【曲****】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。