大數據開發工程師,首先妳得熟悉關系數據庫,比如Oracle或者MySQL,有利於數據倉庫的開發;我再壹次熟悉了Hadoop,這是大數據領域使用最多的技術。它的HDFS可以實現分布式存儲,Yarn是壹個優秀的資源調度框架。
2.大數據所需的技能
必須掌握的技能:
高級Java(虛擬機、並發)、基本Linux操作、Hadoop(HDFS+MapReduce+Yarn)、HBase(JavaAPI操作+Phoenix)、Hive(Hql基本操作及原理理解)、Kafka、Storm/JStorm、Scala、Python、Spark(核心+Spark SQL+Spark流)、輔助小工具(SQOOP/Flueme/OOZIE/Hue)等。)