职业编码: 2-02-10-11 大数据工程技术人员 (2021年版).pdf
《职业编码: 2-02-10-11 大数据工程技术人员 (2021年版).pdf》由会员分享,可在线阅读,更多相关《职业编码: 2-02-10-11 大数据工程技术人员 (2021年版).pdf(24页珍藏版)》请在咨信网上搜索。
1、国家职业技术技能标准职业编码:2-02-10-11大数据工程技术人员(2021 年版)制定中华人民共和国人力资源和社会保障部中 华 人 民 共 和 国 工 业 和 信 息 化 部职业编码:2-02-10-11I说说明明为贯彻落实关于深化人才发展体制机制改革的意见,推动实施人才强国战略,促进专业技术人员提升职业素养、补充新知识新技能,实现人力资源深度开发,推动经济社会全面发展,根据中华人民共和国劳动法有关规定,人力资源社会保障部联合工业和信息化部组织有关专家,制定了大数据工程技术人员国家职业技术技能标准(以下简称标准)。一、本标准以人力资源社会保障部办公厅 市场监管总局办公厅 统计局办公室关于发
2、布人工智能工程技术人员等职业信息的通知 (人社厅发 201948 号)为依据,按照国家职业技术技能标准编制技术规程有关要求,坚持“以职业活动为导向、以专业能力为核心”的指导思想,在充分考虑科技进步、社会经济发展和产业结构变化对大数据工程技术人员专业要求的基础上, 以客观反映大数据技术发展水平及其对从业人员的专业能力要求为目标, 对大数据工程技术从业人员的专业活动内容进行规范细致描述, 明确了各等级专业技术人员的工作领域、工作内容以及知识水平、专业能力和实践要求。二、本标准为首次制定,依据有关规定将本职业分为初级、中级、高级三个等级, 包括职业概况、 基本要求、 工作要求、 权重表和附录等五个方
3、面内容。三、本标准的编制工作在人力资源社会保障部专业技术人员管理司、工业和信息化部人事教育司、中国就业培训技术指导中心的指导下,由工业和信息化部教育与考试中心具体组织实施。四、本标准主要起草单位有:工业和信息化部教育与考试中心、新大陆科技集团技术研究院、北京大学、中国电子技术标准化研究院、西安电子科技大学、杭州数梦工场科技有限公司、腾讯科技(深圳)有限责任公司、新华三技术有限公司。主要起草人有:谭志彬、陈钟、张正球、鲍亮、邓立、吴子颖、吴东亚、陈海、龚玉涵、姚明、张耀华、李冰、念灿华、陈旭、胡国华、张融、刘朝晖、罗盛、肖李晨。五、本标准主要审定人员有:朱小燕、虞文明、穆勇、朱敏、张群。六、本标
4、准的开发得到了左仁贵、邵昕、刘鹏、张良均、张淑平、宋胜利、李祥林的支持和帮助,在此表示感谢。职业编码:2-02-10-11II七、本标准经人力资源社会保障部、工业和信息化部批准,自颁布之日起施行。职业编码:2-02-10-111大数据工程技术人员国家职业技术技能标准(2021 年版)1职业概况1.1职业名称大数据工程技术人员1.2职业编码2-02-10-111.3职业定义从事大数据采集、清洗、分析、治理、挖掘等技术研究,并加以利用、管理、维护和服务的工程技术人员。1.4专业技术等级本职业共设三个等级,分别为初级、中级、高级。初级、中级分为三个职业方向:大数据处理、大数据分析、大数据管理。高级不
5、分职业方向。1.5职业环境条件室内,常温。1.6职业能力特征具有较强的学习能力、计算能力、表达能力及分析、推理和判断能力。1.7普通受教育程度大学专科学历(或高等职业学校毕业)。1.8 职业培训要求1.8.1培训期限大数据工程技术人员需按照本标准的职业要求参加有关课程培训,完成规定学时,取得学时证明。初级 128 标准学时,中级 128 标准学时,高级 160标准学时。1.8.2培训教师职业编码:2-02-10-112承担初级、中级理论知识或专业能力培训任务的人员,应具有相关职业中级及以上专业技术等级或相关专业中级及以上职称。承担高级理论知识或专业能力培训任务的人员, 应具有相关职业高级专业技
6、术等级或相关专业高级职称。1.8.3 培训场所设备理论知识培训在标准教室或线上平台进行; 专业能力培训在具有相应软、 硬件条件的培训场所进行。1.9专业技术考核要求1.9.1申报条件取得初级培训学时证明,并具备以下条件之一者,可申报初级专业技术等级:(1)取得技术员职称。(2)具备相关专业大学本科及以上学历(含在读的应届毕业生)。(3)具备相关专业大学专科学历,从事本职业技术工作满 1 年。(4)技工院校毕业生按国家有关规定申报。取得中级培训学时证明,并具备以下条件之一者,可申报中级专业技术等级:(1)取得助理工程师职称后,从事本职业技术工作满 2 年。(2)具备大学本科学历,或学士学位,或大
7、学专科学历,取得初级专业技术等级后,从事本职业技术工作满 3 年。(3)具备硕士学位或第二学士学位,取得初级专业技术等级后,从事本职业技术工作满 1 年。(4)具备相关专业博士学位。(5)技工院校毕业生按国家有关规定申报。取得高级培训学时证明,并具备以下条件之一者,可申报高级专业技术等级:(1)取得工程师职称后,从事本职业技术工作满 3 年。(2)具备硕士学位,或第二学士学位,或大学本科学历,或学士学位,取得中级专业技术等级后,从事本职业技术工作满 4 年。职业编码:2-02-10-113(3)具备博士学位,取得中级专业技术等级后,从事本职业技术工作满 1年。(4)技工院校毕业生按国家有关规定
8、申报。1.9.2考核方式分为理论知识考试以及专业能力考核。 理论知识考试、 专业能力考核均实行百分制,成绩皆达 60 分(含)以上者为合格,考核合格者获得相应专业技术等级证书。理论知识考试以闭卷笔试、 机考等方式为主, 主要考核从业人员从事本职业应掌握的基本要求和相关知识要求;专业能力考核以开卷实操考试、上机实践等方式为主,主要考核从业人员从事本职业应具备的技术水平。1.9.3监考人员、考评人员与考生配比理论知识考试中的监考人员与考生配比不低于 1:15,且每个考场不少于 2名监考人员;专业能力考核中的考评人员与考生配比不低于 1:5,且考评人员为3 人(含)以上单数。1.9.4考核时间理论知
9、识考试时间不少于 90min,专业能力考核时间不少于 150min。1.9.5考核场所设备理论知识考试在标准教室进行; 专业能力考核在具有相应软、 硬件条件的考核场所进行。职业编码:2-02-10-1142基本要求2.1职业道德2.1.1职业道德基本知识2.1.2职业守则(1)遵纪守法,爱岗敬业。(2)精益求精,勇于创新。(3)爱护设备,安全操作。(4)遵守规程,执行工艺。(5)认真严谨,忠于职守。2.2基础知识2.2.1基础理论知识(1)操作系统知识(2)计算机网络知识(3)编程基础知识(4)数据结构与算法知识(5)数据库知识(6)软件工程知识(7)云计算知识(8)大数据知识2.2.2技术基
10、础知识(1)大数据系统环境安装、配置和调试知识(2)大数据平台架构知识(3)软件应用开发知识(4)接口开发与功能模块设计知识(5)数据采集与数据预处理知识(6)数据计算与数据指标知识(7)常用数据分析与挖掘方法(8)常用数据报表与可视化技术方法(9)数据管理知识(10)数据运营及技术指导知识职业编码:2-02-10-1152.2.3安全知识(1)大数据应用、设备与外部服务组件安全管理知识(2)大数据服务用户身份鉴别与访问控制管理相关知识(3)大数据服务数据活动安全管理知识(4)大数据服务基础设施安全管理知识(5)大数据系统应急响应管理知识2.2.4其他相关知识(1)环境保护知识(2)文明生产知
11、识(3)劳动保护知识(4)资料保管保密知识2.2.5相关法律、法规知识(1)中华人民共和国劳动法相关知识(2)中华人民共和国安全生产法相关知识(3)中华人民共和国网络安全法相关知识(4)关于加强网络信息保护的决定相关知识(5)关键信息基础设施安全保护条例相关知识(6)网络安全等级保护条例相关知识(7)数据安全管理办法相关知识(8)电信和互联网用户个人信息保护规定相关知识职业编码:2-02-10-1163工作要求本标准对初级、中级、高级的专业能力要求和相关知识要求依次递进,高级别涵盖低级别的要求。3.1初级大数据处理方向的职业功能包括大数据系统搭建、大数据平台管理与运维、大数据技术服务、大数据处
12、理与应用,大数据分析方向的职业功能包括大数据系统搭建、大数据平台管理与运维、大数据技术服务、大数据分析与挖掘,大数据管理方向的职业功能包括大数据平台管理与运维、 大数据技术服务、 大数据管理。职业功能职业功能工作内容工作内容专业能力要求专业能力要求相关知识要求相关知识要求1.大数据系统搭建1.1 硬件系统搭建1.1.1 能根据施工方案,进行需求沟通并确认设备参数1.1.2 能参照施工方案,对大数据机架及大型设备进行机房空间规划并部署服务器1.1.3 能根据组网规划方案,对各服务器或需联通网络设备进行组网布置1.1.4 能根据现场设施及电力系统,对设备进行上电测试及点亮测试1.1.1 硬件设备功
13、能知识1.1.2 服务器组网知识1.1.3 服务器配置知识1.2 软件系统部署1.2.1 能根据系统部署方案,安装集群环境、硬件环境、虚拟化环境所需的各类系统1.2.2 能根据软件部署方案使用脚本部署产品或用原生方法安装各类大数据功能组件1.2.3 能根据节点连接信息配置大数据集群1.2.4 能根据集群功能对组件进行启动调试1.2.1 操作系统安装及操作知识1.2.2 云计算及虚拟化部署知识1.2.3 大数据组件安装知识1.2.4 大数据集群配置知识1.2.5 大数据组件基础操作知识2.大数据平台管理与运维2.1 平台管理2.1.1 能对现有大数据集群的各类组件进行应用变更或版本更迭2.1.2
14、 能根据上线计划,按时完成功能上线2.1.3 能对提交代码的版本进行管理2.1.1 应用变更管理知识2.1.2 代码仓库托管知识2.1.3 功能持续集成知识2.1.4 代码版本控制知识职业编码:2-02-10-1172.2 系统运维2.2.1 能使用工具对集群的软硬件运行状态进行监控管理2.2.2 能使用工具对大数据集群的各类组件、服务的运行状态进行监控管理2.2.3 能使用工具对作业运行情况和资源占用情况进行监控管理2.2.4 能根据故障报告,参与故障排查,处理故障问题2.2.5 能根据容灾计划,定期备份和迁移关键数据2.2.1 管理平台操作知识2.2.2 系统环境监控知识2.2.3 常见故
15、障排查知识2.2.4 容灾备份知识2.3 安全维护2.3.1 能根据权限规范,使用工具配置和管理用户权限2.3.2 能针对各类突发的外部攻击或异常事件进行应急处理2.3.3 能对安全系统进行升级和维护2.3.1 权限管理知识2.3.2 常见异常处理知识2.3.3 网络攻防知识3.大数据技术服务3.1 技术咨询3.1.1 能根据团队既定计划,收集市场目标信息3.1.2 能配合销售团队制作宣讲材料及解决方案展示材料3.1.3 能配合工程师解决客户技术咨询问题并提供参考信息3.1.1 大数据行业应用知识3.1.2 大数据技术体系知识3.2 解决方案设计3.2.1 能根据已有的产品解决方案调整输出具体
16、的项目解决方案3.2.2 能进行产品演示和讲解产品特性3.2.3 能根据客户沟通反馈整理需求文档3.2.4 能根据客户需求提供产品咨询及软件架构3.2.1 大数据基础理论知识3.2.2 大数据行业发展知识3.2.3 大数据软件架构知识4. 大数据处理与应用4.1 数据采集4.1.1 能根据业务需求进行在线、离线数据采集4.1.2 能根据调度策略使用框架设置调度作业4.1.3 能根据存储策略进行数据存储4.1.1 网络爬虫知识4.1.2 离线数据采集知识4.1.3 实时数据采集知识4.1.4 作业调度知识4.1.5 文件系统数据存储知识4.1.6 关系型数据库知识4.1.7 非关系型数据库知识职
17、业编码:2-02-10-1184.2 数据预处理4.2.1 能根据业务需求对遗漏数据、噪音数据、不一致数据等进行清洗4.2.2 能根据业务需求对多源数据进行整合4.2.3 能根据业务规则对数据格式进行转换4.2.4 能根据数据归一性原则对数据进行单位、数值规约4.2.1 数据清洗知识4.2.2 数据 ETL 知识4.2.3 数据库基础操作知识4.2.4 SQL 函数知识4.2.5 结构化、半结构化与非结构化知识4.3 数据计算4.3.1 能根据业务需求编写批量、实时数据计算作业4.3.2 能根据数据特征计算数据标签并进行汇总4.3.3 能根据数据指标规则计算关键业务指标4.3.1 分布式计算知
18、识4.3.2 内存计算知识4.3.3 数据结构封装知识4.3.4 关键业务指标知识4.4 数据查询4.4.1 能根据数据平台构建联机事务分析系统并进行即席查询4.4.2 能根据检索引擎创建索引库并进行数据检索4.4.3 能使用交互式查询工具创建数据接口并提供对外服务接口4.4.4 能使用交互式查询平台制作报表及展示图表4.4.1 OLAP 系统应用知识4.4.2 数据检索知识4.4.3 交互式计算知识4.4.4 报表制作知识5.大数据分析与挖掘5.1 数据预处理5.1.1 能根据业务需求对遗漏数据、噪音数据、不一致数据等进行清洗5.1.2 能根据业务需求对多源数据进行整合5.1.3 能根据业务
19、规则对数据格式进行转换5.1.4 能根据数据归一性原则对数据进行单位、数值规约5.1.5 能根据数据特征及规律, 选择合适方法对数据进行采样5.1.1 数据清洗知识5.1.2 数据 ETL 知识5.1.3 数据库基础操作知识5.1.4 SQL 函数知识5.1.5 结构化、 半结构化与非结构化知识5.2 数据分析5.2.1 能结合业务场景使用工具对数据集进行概要、描述性统计分析5.2.2 能在描述结果基础上,对数据进行特征和规律的分析与推测5.2.3 能结合业务场景编写数据统计报告5.2.1 描述性统计知识5.2.2 统计工具使用知识5.2.3 线性相关及回归相关知识5.3 数据挖掘5.3.1
20、能评估挖掘需求并使用工具对数据进行特征工程处理5.3.2 能调用常规模型进行模型训练5.3.1 特征工程知识5.3.2 机器学习基础知识5.3.3 数据挖掘类库应职业编码:2-02-10-1195.3.3 能根据合适评价指标对模型进行验证和调参5.3.4 能根据合适评价指标对模型进行测试并输出最终模型的性能评估分数用知识5.4 数据可视化5.4.1 能选择关键指标抽取数据并进行图表展示5.4.2 能使用可视化组件库进行可视化页面开发并配置交互模式5.4.3 能根据产品反馈对可视化页面及图表进行调整和美化5.4.1 BI 工具使用知识5.4.2 前端页面开发知识5.4.3 可视化平台配置及使用知
21、识6.大数据管理6.1 数据管理6.1.1 能对大数据全生命周期进行监控,定义、管理元数据,并提供访问元数据接口服务6.1.2 能对数据质量进行评估及有效管控,校正异常数据和缺失数据6.1.3 能根据安全审计要求,对数据活动的主题、操作及对象等数据相关属性进行审核,确保数据活动过程和相关操作符合安全要求6.1.1 数据标准知识6.1.2 数据血缘知识6.1.3 数据质量知识6.1.4 数据审计知识6.2 数据管理评估6.2.1 能够编写或者受理评估申请6.2.2 能依据 DCMM 规则和组织需求确定评估范围6.2.3 能协助企业实施 DCMM成熟度自评6.2.1 数据管理能力成熟度评估模型知识
22、职业编码:2-02-10-11103.2 中级大数据处理方向的职业功能包括大数据应用开发、 大数据系统搭建、 大数据平台管理与运维、大数据技术服务、大数据处理与应用,大数据分析方向的职业功能包括大数据应用开发、大数据系统搭建、大数据平台管理与运维、大数据技术服务、大数据分析与挖掘,大数据管理方向的职业功能包括大数据平台管理与运维、大数据技术服务、大数据管理。职业功能职业功能工作内容工作内容专业能力要求专业能力要求相关知识要求相关知识要求1.大数据应用开发1.1 应用服务开发1.1.1 能根据系统所使用的组件接口,开发相应的数据访问层业务代码1.1.2 能根据大数据存储系统结构,设计对接业务库表
23、结构1.1.3 能根据产品业务需求,开发相应数据或计算接口1.1.4 能根据流程图梳理代码逻辑,优化接口及功能模块1.1.1 大数据组件应用程序接口知识1.1.2 模型层接口开发知识1.1.3 服务层接口开发知识1.2 系统测试1.2.1 能根据测试用例,对系统进行接口、功能、压力等黑盒测试并输出缺陷、测试报告1.2.2 能根据测试用例,对代码进行逻辑、分支等白盒测试并输出缺陷、测试报告1.2.3 能根据相应测试需求,开发自动化测试脚本1.2.1 测试技术知识1.2.2 测试用例设计知识1.2.3 测试脚本开发知识2.大数据系统搭建2.1 硬件系统搭建2.1.1 能根据配置需求,规划及选型硬件
24、配置设施2.1.2 能根据机房环境和配置清单,制定工程实施方案2.1.3 能根据物理硬件特性,制定组网规划方案2.1.4 能根据硬件设备条件,进行底层及驱动配置2.1.5 能根据现场施工情况进行故障处理指导2.1.1 网络架构和规划知识2.1.2 服务器底层配置知识2.2 软件系统部署2.2.1 能根据应用需求,规划系统部署方案2.2.2 能根据性能需求,对各运行系统进行配置和调优2.2.3 能根据软件部署方案,编写自动化部署脚本,并完成部署2.2.4 能根据集群组件进行高可用及容灾配置2.2.5 能根据集群功能对各组件进2.2.1 自动化脚本开发知识2.2.2 集群配置知识2.2.3 集群高
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 职业编码: 2-02-10-11 大数据工程技术人员 2021年版 职业 编码 02 10 11 数据 工程技术人员 2021 年版
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【yi****ou】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【yi****ou】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。