《大数据系统运维》课件 第8章 升级管理.pdf

大数据系统运维大数据应用人才培养系列教材第八章升级管理8.1 Hadoop升级管理8.2 Sp aj k升级管理8.3 Hive SQL升级管理8.4。Keeper升级习题 8.1 Hadoop升级管理第八章升级管理Hadoop升级风险Hadoop升级最主要是HDFS的升级,HDFS的升级是否成功,才是升级的关键,如果 升级出现数据丢失，则其他升级就变的毫无意义。8.1 Hadoop升级管理第八章升级管理HDFS的数据和元数据升级 HDFS是一种分布式文件系统层，可对集群节点间的存储和复制进行协调。HDFS确 保了无法避免的节点故障发生后数据依然可用，可将其用作数据来源，可用于存储 中间态的处理结果，并可存储计算的最终结果。升级HDFS花费的时间不长，就是和启动集群的时间要多2-3倍的时间,升级丢失数 据的风险几乎没有。8.1 Hadoop升级管理第八章升级管理YARN升级配置 YARN是Yet Another Resource Negotiator（另一个资源管理器）的缩写，可充当 Hadoop堆栈的集群协调组件。该组件负责协调并管理底层资源和调度作业的运行 o通过充当集群资源的接口,YARN使得用户能在Hadoop集群中使用比以往的迭代 方式运行更多类型的工作负载。由于任务计算都是使用Hive,所以YARN的升级很简单，只是启动yarn就行了。唯 一要注意的是，从MapReduce升级至（JYARN,资源分配方式变化了，所以要根据自 己的生产环境修改相关的资源配置。大数据应用人才培养系列教材第八章升级管理811 Hadoop升级管理8.2 Spark升级管理8.3 Hive SQL升级管理&4 ZooJeeper升级管理习题 8.2 Spark升级管理第八章升级管理Spark特性 支持比Map和Reduce更多的函数。优化任意操作算子图(operator graphs)o 可以帮助优化整体数据处理流程的大数据查询的延迟计算。提供简明、一致的Scala,Java和Python API。提供交互式Scala和Python Shello目前暂不支持Java。8.2 Spark升级管理 第八章升级管理Spark生态系统Spark MLlibSpark GraphX0304大数据应用人才培养系列教材第八章升级管理8.1 Hadoop升级管理 8Jark号管理8.3 Hive SQL升级管理&4 ZooJeeper升级管理习题 8.3 Hive SQL升级管理第八章升级管理Hive SQL体系结构用户接口用户接口主要有三个：CLI,Client和WUL3元数据存储Hive将元数据存储在数据库中，如mysql、derbyo Hive中的元数 据包括表的名字，表的列和分区及其属性，表的属性（是否为外部表 等），表的数据所在目录等。解释器、编译器、优化器、执行器解释器、编译器、优化器完成HQL查询语句从词法分析、语法分析、编译、优化以及查询计划的生成。生成的查询计划存储在HDFS中,并在随后由M叩Reduce调用执行。HadoopHive的数据存储在HDFS中，大部分的查询由MapReduce完成（包含*的查询，比如select*from tbl不会生成MapReduce任务）o 8.3 Hive SQL升级管理第八章升级管理安装配置01编译Hive编码安装需要的环境03安装打包好的Hive04运行Hive02大数据应用人才培养系列教材第八章升级管理8.1 Hadoop升级管理8.2 Sp ar k.管8.3 Hive SQL升级管理8.4 Zoo Keep er升级管理习题 8.4 ZooKeeper升级管理第八章升级管理ZooKeeper 的 基本运转流程选举 Leader。同步数据。选举标准一致。Leader具有最局执行权限。集群中大多数机器得到相应并选出 Leadero 8.4 ZooKeeper升级管理第八章升级管理Zoo Kee per升级方式O单机递走_单机安装非常简单，只要获取到Zookeeper的压缩包并 解压到某个目录，进行简单配置即可完成。O 2Zookeeper的集群模式的安装和配置也不是很复杂，所 要做的就是增加几个配置项。大数据应用人才培养系列教材第八章升级管理8.1 Hadoop升级管理8.2 Sp aj k升级管理8.3 Hive SQL升级管理8.4。Keeper升级习题习题:L请简要描述Hadoop的主要特点？2,请简要描述Spark的主要特点并说明Spark的生态系统。3,请简要描述Hive Sql的体系结构。感谢聆听