當前位置:股票大全官網 - 私募基金 - 學習hadoop有哪些基礎?

學習hadoop有哪些基礎?

平臺方面,hadoop環境需要搭建在linux服務器上。首先,我們需要了解Linux的基礎知識和命令。

在開發方面,hadoop首先是壹個提供大數據存儲的平臺,所以我們需要使用它的存儲功能,所以需要掌握它的數據操作api(scala api或者Java API);其次,hadoop是大數據分析的數據源,熟悉大數據的分析/使用方法(spark/map-reduce技術,都有scala和java APIs)。

所以學習hadoop必須掌握壹門scala或者java的開發語言,然後學習hadoop數據操作命令,api,spark/map-reduce分析技術。

此外,還可以學習基於hdfs的結構化大數據存儲技術hbase,以及flume大數據采集技術。