认识达内从这里开始

我们在前文中给大家简单介绍了关于大数据运维师的一些基本技能需求的内容。下面我们就一起来了解一下，在学习大数据的时候不同学习阶段都需要了解哪些知识。

数据存储阶段：SQL，oracle，IBM等等都有相关的课程，根据公司的不同，学习好这些企业的开发工具，基本可以胜任此阶段的职位。

数据挖掘清洗筛选：大数据工程师，要学习JAVA，Linux，SQL，Hadoop，数据序列化系统Avro，数据仓库Hive，分布式数据库HBase，数据仓库Hive，Flume分布式日志框架，Kafka分布式队列系统课程，Sqoop数据迁移，pig开发，Storm实时数据处理。学会以上基本可以入门大数据工程师，如果想有一个更好的起点，建议前期学习scala编程，Spark，R语言等基本现在企业里面更专业的技能。

数据分析：一方面是搭建数据分析框架，比如确定分析思路需要营销、管理等理论知识;还有针对数据分析结论提出有指导意义的分析建议。

产品调整：经过分析后的数据交由老板和PM经过协商后进行产品的更新，然后交由程序员进行修改(快消类进行商品的上下架调整)。

接着再来了解大数据需要掌握那些技术

Hadoop核心

(1)分布式存储基石：HDFS

HDFS简介入门演示构成及工作原理解析：数据块，NameNode,DataNode、数据写入与读取过程、数据复制、HA方案、文件类型、HDFS常用设置JavaAPI代码演示

(2)分布式计算基础：MapReduce

MapReduce简介、编程模型、JavaAPI介绍、编程案例介绍、MapReduce调优

(3)Hadoop集群资源管家：YARN

YARN基本架构资源调度过程调度算法YARN上的计算框架

离线计算

(1)离线日志收集利器：Flume

Flume简介核心组件介绍Flume实例：日志收集、适宜场景、常见问题。

(2)离线批处理必备工具：Hive

Hive在大数据平台里的定位、总体架构、使用场景之AccessLog分析HiveDDL&DML介绍视图函数(内置，窗口，自定义函数)表的分区、分桶和抽样优化。

(3)速度更快的Hive：Impala

Impala在大数据架构中的角色架构数据处理过程一般使用步骤：创建表，分区表，查询等常用查询演示：统计，连接等、Impala与Hive的比较常用配置与佳使用建议(查错，调优等)。

(4)更快更强更好用的MR：Spark

Scala&Spark简介基础Spark编程(计算模型RDD、算子Transformation和Actions的使用、使用Spark制作倒排索引)SparkSQL和DataFrame实例：使用SparkSQL统计页面PV和UV。

实时计算

(1)流数据集成神器：Kafka

Kafka简介构成及工作原理解析4组核心API生态圈代码演示：生产并消费行为日志。

(2)实时计算引擎：SparkStreaming

SparkStreaming简介工作原理解剖编写Streaming程序的一般过程如何部署Streaming程序?如何监控Streaming程序?性能调优。

(3)海量数据高速存取数据库：HBase

HBase简介架构及基本组件HBaseTable设计HBase基本操作访问HBase的几种方式。

大数据ETL

(1)ETL神器：Sqoop，Kettle

数据同步ETL介绍Kettle常用组件介绍、抽取Mysql数据到Hive实战Sqoop介绍、抽取Hive数据到Mysql实战。

(2)任务调度双星：Oozie，Azkaban

ETL与计算任务的统一管理和调度简介Crontab调度的方案自研调度系统的方案开源系统Oozie和Azkaban方案总结与经验分享。

大数据应用与数据挖掘

(1)大数据全文检索引擎：Elasticsearch

全文检索基础知识，ES安装及初级介绍，ES深入理解，使用经验介绍。

(2)数据仓库搭建

为什么要构建大数据平台大数据平台的的架构深入剖析“五横一纵”的架构实践知名互联网公司大数据平台架构简介。

(3)数据可视化

什么是数据可视化，数据可视化常用工具与必备技能介，Tableau和ECharts实操讲解ECharts介绍，知名互金公司可视化经验介绍。

(4)算法介绍

介绍数据挖掘，机器学习，深度学习的区别，R语言和python的介绍，逻辑回归算法的介绍与应用，以及主要的推荐算法介绍。

【免责声明】本文系本网编辑部分转载，转载目的在于传递更多信息，并不代表本网赞同其观点和对其真实性负责。如涉及作品内容、版权和其它问题，请在30日内与管理员联系，我们会予以更改或删除相关文章，以保证您的权益!