1、Java編程技術(shù)
Java編程技術(shù)是大數據學(xué)習的基礎,主流的大數據開(kāi)源框架,其編程都離不開(kāi)Java。
2、Linux命令
大數據開(kāi)發(fā)通常是在Linux環(huán)境下進(jìn)行的,Linux基礎操作命令以及Shell編程,也是大數據學(xué)習的重要組成部分。
3、大數據相關(guān)框架和組件
常用的大數據開(kāi)發(fā)框架有:Hadoop、Spark、Storm、Flink等,開(kāi)發(fā)框架搭建應用架構前需要先弄明白其原理和應用場(chǎng)景,這是基本的要求。
Hadoop,已幾乎與大數據劃上了等號,超過(guò)20個(gè)生態(tài)圈組件,共同完成面向高度擴展的分布式計算。
Spark,作為MapReduce之外的一種選擇,后來(lái)居上,成為MapReduce的替代者,受到行業(yè)主流的歡迎。
Storm,提供了實(shí)時(shí)處理大數據的功能(不像Hadoop只提供批任務(wù)處理)。其用戶(hù)包括推特、WebMD、阿里巴巴、Yelp、雅虎日本、Spotify等頭部企業(yè)。
Flink,流式處理系統,新興熱門(mén)框架,尤其受到阿里青睞,近幾年在國內的發(fā)展很好。