DB37∕T 4529—2022 海洋大数据分级存储技术规范(山东省).pdf
《DB37∕T 4529—2022 海洋大数据分级存储技术规范(山东省).pdf》由会员分享,可在线阅读,更多相关《DB37∕T 4529—2022 海洋大数据分级存储技术规范(山东省).pdf(9页珍藏版)》请在咨信网上搜索。
1、 ICS 35.240.99 CCS L 67 37 山东省地方标准 DB37/T 45292022 海洋大数据分级存储技术规范 Technical specification for hierarchical storage of ocean big data 2022-07-25 发布 2022-08-25 实施 山东省市场监督管理局 发 布 DB37/T 45292022 I 目次 前言 . II 1 范围 . 1 2 规范性引用文件 . 1 3 术语和定义 . 1 4 缩略语 . 1 5 数据分级 . 2 5.1 分级要素 . 2 5.2 定级规则 . 2 5.3 分级等级及存储要求
2、. 2 6 分级存储技术要求 . 3 6.1 基本要求 . 3 6.2 分级存储实现 . 3 6.3 数据迁移 . 3 7 分级存储管理要求 . 4 7.1 设备管理 . 4 7.2 资源管理 . 5 7.3 策略管理 . 5 7.4 监控运维 . 5 参考文献 . 6 DB37/T 45292022 II 前言 本文件按照GB/T 1.12020标准化工作导则 第1部分:标准化文件的结构和起草规则的规定起草。 请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。 本文件由山东省海洋局提出并组织实施。 本文件由山东省海洋标准化技术委员会归口。 DB37/T 4529202
3、2 1 海洋大数据分级存储技术规范 1 范围 本文件规定了海洋大数据的数据分级以及分级存储的技术要求和管理要求。 本文件适用于10 PB级以上海洋大数据的分级存储与管理。 2 规范性引用文件 下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。 其中, 注日期的引用文件,仅该日期对应的版本适用于本文件;不注日期的引用文件,其最新版本(包括所有的修改单)适用于本文件。 GB/T 352952017 信息技术 大数据 术语 3 术语和定义 GB/T 352952017界定的以及下列术语和定义适用于本文件。 3.1 大数据 big data 具有数据巨大、种类多样、流动速度快、特征多变等
4、特性,并且难以用传统数据体系结构和数据处理技术进行有效组织、存储、计算、分析和管理的数据集。 来源:GB/T 379732019,3.1 3.2 海洋大数据 ocean big data 具有大数据特征的海洋领域数据集。 3.3 数据分级 data classification 按照存储效能的分级规则对大数据进行定级。 3.4 分级存储 hierarchical storage 采用相应等级的存储要求对大数据进行存储。 3.5 迁移策略 migration strategy 根据大数据的分级等级及数据访问量要求所建立的分级存储实施策略。 注: 包括迁移触发条件、源存储设备、目标存储设备等。 4
5、 缩略语 下列缩略语适用于本文件。 CPU:中央处理单元(Central Processing Unit) ETL:数据提取、转换和加载(Extract-Transform-Load) DB37/T 45292022 2 IOPS:每秒读写次数(Input Output Operations Per Second) ORC:列式存储(Optimized Row Columnar) PB:拍字节,1PB=2的50次方字节(Petabyte) RCFile:列存储文件(Record Columnar File) SQL:结构化查询语言(Structured Query Language) 5 数据
6、分级 5.1 分级要素 海洋大数据分级定级主要考虑的要素为海洋大数据的访问频率, 即根据海洋大数据访问量从高到低来判断,可分为高频率访问的海洋大数据、一般频率访问的海洋大数据、低频率访问的海洋大数据。 5.2 定级规则 海洋大数据分级等级分为三级、二级、一级,应按照表1进行海洋大数据的定级。 表1 海洋大数据等级条件及判定规则 5.3 分级等级及存储要求 相应等级的海洋大数据的存储应符合表2的规定。 表2 海洋大数据分级等级及存储要求 数据分级等级 分级存储要求 三级 三级海洋大数据的存储应符合以下要求: 1) 应实现数据实时访问,访问延迟应小于5 ms; 2) 可扩展性:应采用可扩展的存储架
7、构,当存储资源不足时应具备在线扩展能力,且不影响原存储系统的正常运行; 3) 可靠性:多种手段保护数据,确保数据100 %不丢失,保证业务99.999 99 %高可用。 二级 二级海洋大数据的存储应符合以下基本要求: 1) 可实现数据实时访问,访问延迟应小于100 ms; 2) 可扩展性:具备一定的在线存储容量扩充能力,且不影响原存储系统的正常运行; 3) 可靠性:多种手段保护数据,确保数据100 %不丢失,保证业务99.999 9 %高可用。 等级条件 判定规则 判定等级 三级等级条件: 高频率访问的海洋大数据。 数据访问频次从高到低,排序前10 %部分数据。 三级 二级等级条件: 一般频率
8、访问的海洋大数据。 数据访问频次从高到低, 排序前10 %30 %部分数据。 二级 一级等级条件: 访问频率较低,或不经常被访问的海洋大数据,或归档的历史海洋大数据。 数据访问频次从高到低,排序30 %100 %部分数据。 一级 注: 根据对海洋大数据访问周期的统计结果,结合本机构的实际情况,对三级、二级、一级等级的存储空间比例进行适当调整。 DB37/T 45292022 3 表 2 海洋大数据分级等级及存储要求 数据分级等级 分级存储要求 一级 一级海洋大数据的存储应符合以下基本要求: 1) 可实现数据延迟访问,访问延迟不高于5 min; 2) 可扩展性:应支持离线扩展能力,且不影响原存储
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- DB37T 45292022 海洋大数据分级存储技术规范山东省 DB37 4529 2022 海洋 数据 分级 存储 技术规范 山东省
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【曲****】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【曲****】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。