大數據目前這個(gè)詞很火,作為編程人員是必須學(xué)習的基礎知識之一,對于其它行業(yè)的同時(shí),了解一下大數據也是非常有必要的,也許你們公司將來(lái)有一天就會(huì )使用大數據技術(shù)來(lái)分析你們公司的發(fā)展方向,畢竟這是一個(gè)大數據時(shí)代。以下是小編為你整理的大數據要學(xué)哪些東西 ?
首先簡(jiǎn)介一下大數據能夠干什么:首先舉個(gè)例子,大家都喜歡上淘寶買(mǎi)東西,淘寶網(wǎng)站會(huì )記錄每個(gè)人在它網(wǎng)站上都買(mǎi)了什么,瀏覽了什么。。。等等一系列信息。然后分析什么產(chǎn)品賣(mài)的火爆,哪個(gè)客戶(hù)喜歡買(mǎi)什么,那個(gè)商家盈利高等等,挖掘一系列有潛在價(jià)值 ?
其次分析一下大數據的含義,大數據既然含有數據這個(gè)詞匯,就表明他是和數據相關(guān)的,而數據無(wú)非就是如何存儲數據和如何使用存儲的數據這兩個(gè)問(wèn)題
首先說(shuō)一下如何存儲:傳統的數據都是保存在關(guān)系型數據庫,比如oracle和mysql等,這些數據庫存儲空間是有限的,并且數據庫的東西多了之后,查詢(xún)存取的速度會(huì )變得很慢,根本做數據分析等。此外傳統數據都安裝在一臺服務(wù)器上,一旦服務(wù)器宕機了,數據庫的內容就全部銷(xiāo)毀了,無(wú)法恢復 ?
大數據的含義就是說(shuō)數據量很大,數據量達到pb級別,大公司也許需要幾千臺服務(wù)器才能存儲,用的是分布式存儲技術(shù)。所謂的分布式存儲技術(shù)是指,同樣一份文件,分別存儲在3臺不同的服務(wù)器上,假設其中服務(wù)器掛機了,還有另外兩臺服務(wù)器工作,并且迅速備份一份文件,始終保證相同文件有3臺服務(wù)器提供工作 ?
大數據的使用主要是指根據公司需求,對現有的數據進(jìn)行挖掘分析。而挖掘分析做的最多的就是查詢(xún)數據,大數據的查詢(xún)速度是非??斓?,因為底層用的是類(lèi)似于lucene技術(shù)。但是大數據不適合修改存儲的文件。因為大數據存儲數據是以文件的形式存儲的,如果想修改數據,它會(huì )把原先的文件刪掉,然后重新寫(xiě)入。 ?
*什么人適合學(xué)習大數據:一般做數據的公司通常都會(huì )要求你會(huì )大數據,其次互聯(lián)網(wǎng)行業(yè)也用到了大數據相關(guān)的部分技術(shù),比如:zookeeper,但是你要想找到一份好的工作,大數據知識是必須有所了解。 ?
大數據處理需要什么語(yǔ)言 ?
R語(yǔ)言:它的有點(diǎn)在于簡(jiǎn)單易上手,通過(guò)R語(yǔ)言,你可以從復雜的數據集中篩選你想要的數據,從負責的模型函數中操作數據,建立有序的圖表呈現數字,只需要幾行代碼就可以了,比如說(shuō),像是好動(dòng)版本的Excel表格。 ?
Pythom語(yǔ)言:Python結合了R語(yǔ)言的快速,處理復雜數據的能力以及更務(wù)實(shí)的語(yǔ)言特質(zhì),迅速地成為主流,也更簡(jiǎn)單和直觀(guān)了,尤其是近幾年的成長(cháng)很快。在數據處理范疇內,通常在規模與復雜之間要有個(gè)取舍,Python以折中的姿態(tài)出現,是相當好的數據處理工具。 ?
java語(yǔ)言:java沒(méi)有和Python和R語(yǔ)言一樣好的可視化功能,也不是統計建模的*工具,但是如果你需要建立一個(gè)龐大的系統,使用過(guò)去的原型,java是最基本的選擇了。 ?
Hadoop pand Hive:為了迎合大量數據處理的需求,以java為基礎的大數據開(kāi)始了。Hadoop為一批數據處理,發(fā)展以java為基礎的架構關(guān)鍵,相對于其他處理工具,Hadoop慢許多,但是無(wú)比的準確可被后端數據庫分析廣泛使用,和Hive搭配的很好。 ?
Scala:另一個(gè)以java為基礎的語(yǔ)言,和java很像,對任何想要進(jìn)行大規模的機械學(xué)習或是建立高階的算法,Scala是逐漸興起的工具,善于呈現且擁有建立可靠系統的能力, ?
Kafkaand Storm:是一個(gè)特別快速的查詢(xún)信息系統,缺點(diǎn)是太快了,因此在實(shí)施操作時(shí)會(huì )犯錯,有時(shí)候會(huì )漏掉東西。使用Scala寫(xiě)出來(lái)的架構,大幅增加他在串流處理的受歡迎程度, ?
HTML ?
HTML標簽名和屬性都是不區分大小寫(xiě)的,例如、或都是定義相同的標記,但推薦全部使用小寫(xiě)字母書(shū)寫(xiě)。 ?
HTML屬性一般都出現在HTML標簽中, 是HTML標簽的一部分。 ?
標簽可以有屬性,它包含了額外的信息.屬性的值一定要在雙引號中。 ?
標簽可以擁有多個(gè)屬性。 ?
屬性由屬性名和值成對出現。 ?
大多數的瀏覽器都支持顏色名集合,顏色值是一個(gè)關(guān)鍵字或一個(gè)RGB格式的數字,在網(wǎng)頁(yè)中用得很多。 ?
BASE(分布式列存數據庫)
?
源自Google的Bigtable論文,發(fā)表于2006年11月,HBase是Google Bigtable克隆版 ?
HBase是一個(gè)建立在HDFS之上,面向列的針對結構化數據的可伸縮、高可靠、高性能、分布式和面向列的動(dòng)態(tài)模式數據庫。 ?
HBase采用了BigTable的數據模型:增強的稀疏排序映射表(Key/Value),其中,鍵由行關(guān)鍵字、列關(guān)鍵字和時(shí)間戳構成。 ?
HBase提供了對大規模數據的隨機、實(shí)時(shí)讀寫(xiě)訪(fǎng)問(wèn),同時(shí),HBase中保存的數據可以使用MapReduce來(lái)處理,它將數據存儲和并行計算完美地結合在一起。 ?
Zookeeper(分布式協(xié)作服務(wù)) ?
源自Google的Chubby論文,發(fā)表于2006年11月,Zookeeper是Chubby克隆版 ?
解決分布式環(huán)境下的數據管理問(wèn)題:統一命名,狀態(tài)同步,集群管理,配置同步等。 ?
Hadoop的許多組件依賴(lài)于Zookeeper,它運行在計算機集群上面,用于管理Hadoop操作。 ?