关系型数据库与HBASE间的数据迁移介绍.pptx
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 关系 数据库 HBASE 数据 迁移 介绍
- 资源描述:
-
单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,2014/4/17,#,数据迁移,HBase,数据库迁移工具的设计与,实现,同济大学,杨寒冰,2013,Kettle,工具,Apache sqoop,背景,互联网应用,朝着数据海量化,用户访问高并行化的方向,发展,,应用,分布式数据库可以,解决这一问题,。其中,HBase,已经成为,目前最热门的,NoSQL,数据库,。,如何将,原先存储,在关系型,数据库中的数据迁移,到,HBase,中成为当前非常热门的问题。,1.,数据库,迁移,技术研究,现状,是否支持,SQL Server-,关系数据库,SQL Server-Hbase,表模式,数据类型,事务,存储过程,常用软件,SQL server migration assistant,等第三方软件,Sqoop,,,Kettle,等,由于各类关系型数据库之间的高度相似性,,使得,在这类数据库之间迁移变得相对简单。从,SQL Server,向其他例如,Oracle,、,MySQL,等关系型数据库,迁移,时,已经有丰富的自动化或者半自动化的工具,来帮助,开发人员完成整个迁移,工作。,从关系型数据库向,HBase,迁移,,目前必须由开发人员手工地完成从表结构,迁移直到,数据内容迁移这一系列复杂的工作。,Hbase,数据迁移工具,Sqoop,Kettle,来源,Apache,项目(,2009,),开源,ETL,(,extract,,,transform and load,),主要作用,在结构化数据存储与,Hadoop/HBase,之间进行数据交换,优点,支持多种关系数据库的迁移,图形化界面迁移,缺点,只能复制数据,不能迁移表模式,1.,需要手动指定表与表之间以及数据类型的对应关系。,2.,只是将原有的表模式复制,在数据查询时会带来性能上的下降。,可以看出,,HBase,中的,表结构,具有稀疏的特性,其结构同传统的关系型,数据库,有着很大的差异,因此在为应用程序设计,数据库中,所有表的结构和关系时也有许多不同之处,,开发人员,需要手工地重新设计,HBase,数据库中的表,模式,。,2.,迁移,工具,的,设计,HBase,数据库特点,:,单元格,是有,版本,的,(time-stamp),;,数据行是,有序,的,(,表中的行通过行关键字按字典序排序,),;,只要,列族存在,列便可以由,客户端,随时添加,。,除此之外,,HBase,的表和,RDBMS,的表类似。,在,HBase,中查询,数据:,全,表,扫描:,对,整张表,进行扫描,所以花费的时间最长,效率也最差,;,行,键,扫描:根据所给,的键值取得一张表中行键对应的,单条数据,,是,所有,查询,方法中最快的查询方式,;,区间,扫描,:介于,两者之间。,主要流程,解析器(,SchemaParser,):解析由外部工具从传统,RDBMS,数据库,导出的表模式定义文档,。,表模式转换器(,Convertor,):把传统,RDBMS,的,表,模式,定义,转换成,HBase,的,表,模式。,表模式适配器(,Adapter,):保存、读取已经由表模式转换器,所转换,过的表模式定义到指定的文件中,并为其他,模块,查找新的表模式定义提供接口,。,数据表管理器(,TableManager,):把,存储在传统,RDBMS,数据库,中的,数据迁移到,HBase,数据库中对应新定义的表中。,2.1,表模式预处理,即,是,把,表模式从关系型数据库迁移到,HBase,数据库,(根据原有关系型数据库表模式在,HBase,中重新设计表模式),的过程。,一般步骤:,依照传统关系型,数据库,的设计方法对所有表进行,初步设计;,对表模式进行,BCNF,分解(减少,表间数据冗余,和,依赖关系);,定义,BCNF,范式,:若,关系模式,R,是,第三范式,,且每个属性都不传递依赖于,R,的候选键。这种关系模式就是,BCNF,模式,。,即,在第三范式的基础上,数据库表中如果不存在任何字段对任一候选关键字段的,传递函数依赖。,算法,1,(,BCNF,分解)若,R,不属于,BCNF,,则按,如下,算法将,R,分解成一组,BCNF,模式。,通过范式分解,,能够消去,非主属性对键的,部分函数依赖,,,非主属性对键的传递函数依赖,和,主,属性对,键的传递函数依赖,。,2.2,表模式,变换方法,基本变换,内嵌,变换,分割,变换,内联,变换,2.2.1,基本变换,(,1,)适用场景,以,传统关系数据库中表设计模式,定义的,表变换成,HBase,中的表,。,(,2,)变换方法,Goods,表为表,1,,把表,1,的表名作,为,HBase,中对应的,表名,表,1,也添加到这个,表的,列族中,。,之后,把,表,1,的主键,作为对应表的,行,键,。,最后把,表,1,中定义的,所有属性,添加到对应表的,列族,1,中。,(,3,)有效性,在,空间效率和查询效率上,都相同。,2.2.2,内嵌变换,查询,表,1,中的某一行时就能够得到同这,一行所,关联的所有表,2,中的数据,这样就可以避免表,1,和表,2,的,连接查询,。,Goods,表为表,1,、,Color,表为表,2,,表,1,的表名作为,HBase,中对应的,表,名;,把,表,1,和表,2,添加到列,族中,。表,1,的主键作为对应表的行键,,,随后,把表,1,中定义,的所有,属性添加到对应表的列族,1,中,把表,2,中所有,同表,1,这一行有关的所有行属性都放入到列族,2,中,。根据,情况删除表,2,。,在变换中,对子表进行,了冗余,存储,会消耗稍多的存储空间,,但提高,了由,主表,到子表的连接查询的效率。,2.2.3,分割变换,当从表,3,与其余表都存在,1,对,1,、,1,对多,或多对多的关系,时,可分割表,按照映射关系把,表,3,中,的每一行内嵌到对应的表中。当查询表,1,或,2,中的,某行时,就,能得到,同这,一行,所关联的所有表,3,的,数据,,避免,表,3,同,其余与之有联系的所有表之间的连接查询。,表,1,表,2,表,3,对应,表名,把表,1,和表,2,分别添加到对应表的列族中,,表,1,和表,2,的主键分别作为对应表的行,键。,把表,3,中所有同表,1,或表,2,这一行有关的所有行属性都分别放入到对应表的列族,2,中。,由于在变换过程中对子表进行,了冗余,存储,,消耗,稍多的存储空间,,但提高了由,任意主表到子表的连接查询的效率。,2.2.4,内联变换,从表,1,到表,2,存在,1,对,1,、,1,对,多或多对,多关系,且表,2,到表,3,也,存在这些关系,时,,把,表,3,作为表,1,的内联表,。当,查询表,1,中的某一行,时,得到同这,一行通过表,2,所间接关联的所有表,3,中的数据,,这样,就可以避免表,1,、表,2,和表,3,这三张表之间的,连接查询。,表,1:Goods,(,主表,),、,表,2:Model,、,表,3:GoodsRelated,。,把,表,3,中所有同表,1,这一行通过表,2,有,间接关联,的所有行属性都放入到列族,2,中。,在变换中对子表进行了冗余存储,会消耗稍多的存储空间,但提高,了由,间接主表到子表的连接查询的效率,选择变换类型,令,在关系型数据库,中原有,的表集合为,A,,迁移后的在,HBase,数据库中的,表集合,为,B,,总的迁移过程采用的决策图如,图所,示。,Kettle,转换工具,特殊目标数据源支持,把数据写入到,Cube,把数据写入,XML,支持多种查询,调用数据库存储过程,基本的数据库查询,判断表以及列、操作系统文件是否存在,从,URL,接收查询,使用,Web,服务查询信息,使用数据流中的值作为参数来执行一个数据库查询,流查询:从转换中其他流里查询值,转换功能,值映射、分组、去重、拆分字段、行列转换,复制行,Kettle,是一款开源的、元数据驱动的,ETL,工具,集。,展开阅读全文

咨信网声明:本文档由用户上传并分享,仅供学习交流、研究之用,未经授权,严禁复制、发行、汇编、翻译或网络传播等,侵权必究。
咨信网小贴示:
1、浏览或下载可查看了解,请点击【咨信网告知】。
2、下载文件中如有侵权或不适当内容,将立即纠正。
3、如果因为网速或其他原因下载失败请重新下载,重复下载[60天内]不扣币。
4、开具发票登录电脑端申请,请点击【索取发票】。
咨信网客服组:【微信客服】
1、浏览或下载可查看了解,请点击【咨信网告知】。
2、下载文件中如有侵权或不适当内容,将立即纠正。
3、如果因为网速或其他原因下载失败请重新下载,重复下载[60天内]不扣币。
4、开具发票登录电脑端申请,请点击【索取发票】。
咨信网客服组:【微信客服】


关系型数据库与HBASE间的数据迁移介绍.pptx
















自信AI助手














微信客服
客服QQ
发送邮件
意见反馈



链接地址:https://www.zixin.com.cn/doc/14772498.html