• 13366321931

微信扫码


《大数据工程技术人员》培训课程大纲

分享到:
点击次数:227 更新时间:2021年03月30日11:13:49 打印此页 关闭

1 职业概况

1.1 职业名称

大数据工程技术人员

1.2 职业编码

2-02-10-11

1.3 职业定义

从事大数据采集、清洗、分析、治理、挖掘等技术研究,并加以利用、管理、维护和服务的工程技术人员。

1.4 专业技术等级

本职业共设三个等级,分别为初级、中级、高级。

初级、中级分为三个职业方向:大数据处理、大数据分析、大数据管理。

高级不分职业方向。

1.5 职业环境条件

室内,常温。

1.6 职业能力特征

具有较强的学习能力、计算能力、表达能力及分析、推理和判断能力。

1.7 普通受教育程度

大学专科学历(或高等职业学校毕业)。

1.8 职业培训要求

1.8.1 培训期限

大数据工程技术人员需按照本《标准》的职业要求参加有关课程培训,完成规定学时,取得学时证明。初级 128 标准学时,中级 128 标准学时,高级 160标准学时。

1.8.2 培训教师

承担初级、中级理论知识或专业能力培训任务的人员,应具有相关职业中级及以上专业技术等级或相关专业中级及以上职称。

承担高级理论知识或专业能力培训任务的人员,应具有相关职业高级专业技术等级或相关专业高级职称。

1.8.3 培训场所设备

理论知识培训在标准教室或线上平台进行;专业能力培训在具有相应软、硬件条件的培训场所进行。

1.9 专业技术考核要求

1.9.1 申报条件

——取得初级培训学时证明,并具备以下条件之一者,可申报初级专业技术等级:

1)取得技术员职称。

2)具备相关专业大学本科及以上学历(含在读的应届毕业生)。

3)具备相关专业大学专科学历,从事本职业技术工作满 1 年。

4)技工院校毕业生按国家有关规定申报。

——取得中级培训学时证明,并具备以下条件之一者,可申报中级专业技术等级:

1)取得助理工程师职称后,从事本职业技术工作满 2 年。

2)具备大学本科学历,或学士学位,或大学专科学历,取得初级专业技

术等级后,从事本职业技术工作满 3 年。

3)具备硕士学位或第二学士学位,取得初级专业技术等级后,从事本职业技术工作满 1 年。

4)具备相关专业博士学位。

5)技工院校毕业生按国家有关规定申报。

——取得高级培训学时证明,并具备以下条件之一者,可申报高级专业技术等级:

1)取得工程师职称后,从事本职业技术工作满 3 年。

2)具备硕士学位,或第二学士学位,或大学本科学历,或学士学位,取得中级专业技术等级后,从事本职业技术工作满 4 年。

3)具备博士学位,取得中级专业技术等级后,从事本职业技术工作满 1年。

4)技工院校毕业生按国家有关规定申报。

1.9.2 考核方式

分为理论知识考试以及专业能力考核。理论知识考试、专业能力考核均实行百分制,成绩皆达 60 分(含)以上者为合格,考核合格者获得相应专业技术等级证书。

理论知识考试以闭卷笔试、机考等方式为主,主要考核从业人员从事本职业应掌握的基本要求和相关知识要求;专业能力考核以开卷实操考试、上机实践等方式为主,主要考核从业人员从事本职业应具备的技术水平。

1.9.3 监考人员、考评人员与考生配比

理论知识考试中的监考人员与考生配比不低于 1:15,且每个考场不少于 2名监考人员;专业能力考核中的考评人员与考生配比不低于 1:5,且考评人员为3 人(含)以上单数。

1.9.4 考核时间

理论知识考试时间不少于 90min,专业能力考核时间不少于 150min。

1.9.5 考核场所设备

理论知识考试在标准教室进行;专业能力考核在具有相应软、硬件条件的考核场所进行。

2 培训课程教案

 

职业功能

工作内容

专业能力要求

相关知识要求

1.大数据

应用开发

1.1 大数据组件技术研发

1.1.1 能根据相关论文、材料实现存储、计算功能的分布式并行算法

1.1.2 能根据算法构造存储、读写或处理工具的海量数据计算引擎

1.1.3 能根据应用需求开发基于计算引擎的算子、函数或方法

1.1.4 能根据算子、函数或方法,构造队列或流程,实现计算作业功能

1.1.1 分布式算法

1.1.2 计算引擎开发知识

1.2 应用服务开发

1.2.1 能根据系统架构,规划各项组件接口规范

1.2.2 能根据业务功能,设计接口权限及参数规范

1.2.3 能对整体系统进行数据打通方案设计

1.2.4 能对整体系统进行库表结构设计及优化

1.2.5 能对整体系统的数据传输、缓存、推送设计方案

1.2.1 软件应用接口开发知识

1.2.2 数据通信知识

1.2.3 数据缓存知识

1.2.4 消息中间件知识

1.3 系统测试

1.3.1 能根据产品说明文档,规划系统测试计划

1.3.2 能根据测试计划,协调人力、设备等测试资源

1.3.3 能根据测试需求,编制测试脚本

1.3.4 能根据性能需求,进行系统深度性能优化测试

1.3.1 自动化测试脚本技术

1.3.2 测试工具开发方法

2.大数据

系统搭建

2.1 硬件系统搭建

2.1.1 能根据安全施工规范,整体规划硬件设施安全方案

2.1.2 能根据应用需求,规划网络配置实施方案

2.1.3 能根据产品特性,制定统一施工标准

2.1.4 能根据系统部署方案,与产品开发部门整体规划硬件承载、配置及扩展方案

2.1.5 能根据不同硬件设施,制定故障处理规范及流程

2.1.1 安全施工规范

2.1.2 硬件产品知识

2.1.3 故障管理知识

2.2 软件系统部署

2.2.1 能根据权限安全规范,制定软件权限安全方案

2.2.2 能根据系统组件关系,配置组件使用权限

2.2.3 能根据产品特性,制定部署及升级策略

2.2.4 能根据集群组件特性,制定高可用及容灾策略

2.2.5 能根据调试结果,制定部署优化方案

2.2.1 权限安全规范

2.2.2 软件产品交付知识

2.2.3 联邦集群知识

2.2.4 异地多活知识

3.大数据

平台管理

与运维

3.1 平台管理

3.1.1 能评估应用变更风险,发布应用变更计划,管控变更流程,总结变更报告

3.1.2 能根据软件部署方式,制定各类组件应用变更或版本更迭方案

3.1.3 能制定代码管理规范并配置代码仓库管理系统

3.1.4 能制定各部门平台功能使用权限规范

3.1.1 风险管理知识

3.1.2 应用变更知识

3.1.3 代码管理知识

3.1.4 权限管理知识

3.2 系统运维

3.2.1 能规划监控指标,制定监控管理规范

3.2.2 能开发监控脚本

3.2.3 能对系统性能进行调优

3.2.4 能使用数据挖掘方法挖掘潜在故障

3.2.5 能对故障事故进行复盘,编写故障预防规范

3.2.6 能定期组织容灾备份演练

3.2.1 性能指标知识

3.2.2 负载均衡知识

3.2.3 故障分析方法

3.2.4 容灾备份知识

3.3 安全维护

3.3.1 能根据安全规范制定风险预警等级

3.3.2 能明确安全需求,审核并制定权限管理规范和数据分类分级

3.3.3 能制定应急管理策略并定期组织安全演练

3.3.4 能根据漏洞测试报告和突发事件应对策略,评估系统潜在风险

3.3.5 能构建系统安全机制并完成对安全系统的开发工作

3.3.1 安全规范知识

3.3.2 应急管理知识

4.大数据

技术服务

4.1 技术咨询

4.1.1 能建立目标市场分析模型,分析行业需求

4.1.2 能整体输出产品解决方案

4.1.3 能独立解决客户技术咨询难题,并提供技术解决方案

4.1.4 能参与项目架构设计与产品设计,并提出建设性意见

4.1.1 大数据架构分析知识

4.1.2 大数据产品设计知识

4.2 解决方案设计

4.2.1 能根据产品功能设计和技术架构,输出产品的配套文档,并根据项目需求针对性设计项目解决方案

4.2.2 能与业务部门合作引导和挖掘客户需求,并输出解决方案

4.2.3 能挖掘行业普遍需求,提炼产品价值特征,整理竞品分析报告

4.2.4 能主动分析与挖掘市场情况,对市场策略制定提出建议

4.2.1 项目管理方法

4.2.2 需求分析技术

4.3 指导与培训

4.3.1 能结合技术发展方向,调研大数据先进技术并进行技术团队建设

4.3.2 能分析现有大数据产品技术体系及可优化方向,并向技术团队培训

4.3.3 能整理大数据产品操作手册,并指导技术或非技术人员产品使用方法

4.3.1 技术调研方法

4.3.2 团队组建知识

4.3.3 产品操作手册制作方法

4.4 流程优化与管理

4.4.1 能建立业务需求收集业务指标数据,并根据实际数据建立业务分析模型

4.4.2 能根据数据分析情况指导业务开展及流程优化

4.4.3 能管理不同业务部门的开发生产活动

4.4.1 流程优化知识

4.4.2 运营管理知识

5.大数据

处理与应

5.1 数据采集

5.1.1 能根据业务场景制定数据采集策略并监控采集情况

5.1.2 能根据业务场景制定数据迁移策略并监测迁移情况

5.1.3 能根据业务及性能需求设计消息传输及推送方案

5.1.4 能根据业务需求及依赖关系设计调度方案

5.1.5 能根据业务需求及存储应用设计存储策略

5.1.1 数据采集与迁移策略

5.1.2 依赖调度原理知识

5.1.3 存储架构知识

5.2 数据建模

5.2.1 能制定数据建模流程规范

5.2.2 能根据业务需求,对模型进行优化

5.2.3 能跨团队部门协作,系统性分析并解决各类数据平台相关的运行或数据问题

5.2.4 能根据设计方法,构建面向服务或数据的数据建模体系架构

5.2.1 数据平台设计知识

5.2.2 数据建模知识

5.2.3 SOA/DOA 体系结构知识

 

5.3 数据预处理

5.3.1 能根据质量要求,制定数据清洗流程规范

5.3.2 能根据数据处理需求,制定统一数据预处理方案

5.3.3 能根据作业存在风险,制定预处理异常处理机制

5.3.4 能根据系统特性,优化预处理系统性能指标

5.3.1 数据清洗流程规范

5.3.2 语法树解析知识

5.4 数据计算

5.4.1 能根据业务需求设计离线或实时数据计算算法

5.4.2 能制定数据标签库管理及规范

5.4.3 能制定数据计算开发流程及规范

5.4.4 能根据业务规则对关系对象进行图计算

5.4.1 数据算法设计方法

5.4.2 数据分区及缓存知识

5.4.3 外部程序管道知识

5.4.4 图计算知识

5.5 数据查询

5.5.1 能制定数据查询操作流程及规范

5.5.2 能深入计算引擎对底层代码进行优化以提升查询性能

5.5.3 能制定对外数据接口规范及权限

5.5.1 计算引擎优化知识

5.5.2 索引优化识

5.5.3 驱动器与执行器知识

6.大数据

分析与挖

6.1 数据分析

6.1.1 能结合理论和业务实际,进行大数据分析相关算法研究

6.1.2 能针对研究结果设计分析算法并指导算法模型实现

6.1.3 能针对现有算法提出新的改进和优化方法,建立新的分析体系

6.1.1 大数据分析算法

6.1.2 综合评价方法知识

6.2 数据挖掘

6.2.1 能根据理论研究及数学原理,构建并行挖掘算法

6.2.2 能根据挖掘性能及业务特征,优化挖掘算法

6.2.3 能根据业务特性,制定合适的挖掘模型评价指标

6.2.4 能对挖掘模型使用的多源异构数据源进行适配

6.2.1 大数据挖掘算法

6.2.2 机器学习知识

6.2.3 语义分析知识

6.3 数据可视化

6.3.1 能根据业务分析需求及分析结果,指导数据展示方案制定

6.3.2 能研发并设计前端图表展示功能代码

6.3.3 能完成可视化组件开发、封装及优化

6.3.4 能对数据可视化结果进行业务分析并输出分析报告

6.3.1 前端展示需求分析方法

6.3.2 前端优化技术

7.大数据

管理

7.1 数据规划

7.1.1 能结合企业发展目标制定数据战略

7.1.2 能根据主流的企业架构框架设计大数据框架

7.1.3 能定制企业级数据管理解决方案,制定技术路线和标准规范

7.1.4 能推动企业实施数据管理

7.1.5 能定制定元模型标准

7.1.6 能制定数据资产管理规则,注册入库数据资产信息,并进行数据资产维护

7.1.1 整体规划知识

7.1.2 经营管理知识

7.1.3 产品优化知识

7.1.4 系统架构知识

7.1.5 数据资产管理知识

7.2 数据管理评估

7.2.1 能编写、分析 DCMM 评估报告

7.2.2 能解读 DCMM 模型并组织现场评估

7.2.3 能建立企业数据管理组织和制度

7.2.4 能指导企业实施 DCMM 改进

7.2.1 DCMM 评估报告的结构和内容

7.2.2 企业业务流程优化和再造知识

7.2.3 成熟度模型改进知识

上一条:让技能人才更有劲头更有奔头 下一条:宁夏:全面推进职业技能等级认定工作