300字范文,内容丰富有趣,生活中的好帮手!
300字范文 > 从业大数据方向 需要掌握哪些技能 具体系统学习路线是什么?

从业大数据方向 需要掌握哪些技能 具体系统学习路线是什么?

时间:2018-09-06 19:45:39

相关推荐

从业大数据方向 需要掌握哪些技能 具体系统学习路线是什么?

一、大数据相关工作介绍

大数据方向的工作目前主要分为三个主要方向:

1. 大数据工程师

2. 数据分析师

3. 大数据科学家

4. 其他(数据挖掘等)

二、大数据工程师的技能要求

附上大数据工程师技能图:

总体而言,我们大数据人才划分为三个大类:

一、 大数据开发工程师:

围绕大数据系平台系统级的研发人员, 熟练Hadoop、Spark、Storm等主流大数据平台的核心框架。深入掌握如何编写MapReduce的作业及作业流的管理完成对数据的计算,并能够使用Hadoop提供的通用算法, 熟练掌握Hadoop整个生态系统的组件如: Yarn,HBase、Hive、Pig等重要组件,能够实现对平台监控、辅助运维系统的开发。

通过学习一系列面向开发者的Hadoop、Spark等大数据平台开发技术,掌握设计开发大数据系统或平台的工具和技能,能够从事分布式计算框架如Hadoop、Spark群集环境的部署、开发和管理工作,如性能改进、功能扩展、故障分析等。

二、 大数据运维工程师:

了解Hadoop、Spark、Storm等主流大数据平台的核心框架,熟悉Hadoop的核心组件:HDFS、MapReduce、Yarn;具备大数据集群环境的资源配置&

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。