想要成為一名合格的全棧大數據開(kāi)發(fā)工程師，需要知道大數據的整個(gè)生態(tài)圈，需要知道每一個(gè)組件的使用場(chǎng)景及使用方法，同時(shí)還需要對每一個(gè)組件有更深入的理解。以下是小編為你整理的大數據要學(xué)什么 ?

HDFS(Hadoop分布式文件系統) ?

源自于Google的GFS論文，發(fā)表于2003年10月，HDFS是GFS克隆版。 ?

HDFS是Hadoop體系中數據存儲管理的基礎。它是一個(gè)高度容錯的系統，能檢測和應對硬件故障，用于在低成本的通用硬件上運行。

HDFS簡(jiǎn)化了文件的一致性模型，通過(guò)流式數據訪(fǎng)問(wèn)，提供高吞吐量應用程序數據訪(fǎng)問(wèn)功能，適合帶有大型數據集的應用程序。 ?

它提供了一次寫(xiě)入多次讀取的機制，數據以塊的形式，同時(shí)分布在集群不同物理機器上。 ?

Mapreduce(分布式計算框架) ?

源自于google的MapReduce論文，發(fā)表于2004年12月，Hadoop MapReduce是google MapReduce 克隆版。 ?

MapReduce是一種分布式計算模型，用以進(jìn)行大數據量的計算。它屏蔽了分布式計算框架細節，將計算抽象成map和reduce兩部分， ?

其中Map對數據集上的獨立元素進(jìn)行指定的操作，生成鍵-值對形式中間結果。Reduce則對中間結果中相同“鍵”的所有“值”進(jìn)行規約，以得到最終結果。 ?

MapReduce非常適合在大量計算機組成的分布式并行環(huán)境里進(jìn)行數據處理。 ?

什么是數據挖掘 ?

是知識發(fā)現、商業(yè)智能、預測分析還是預測建模。其實(shí)都可以歸為一類(lèi)：數據挖掘是一項探測大量數據以發(fā)現有意義的模式(pattern)和規則(rule)的業(yè)務(wù)流程。 ?

數據挖掘成功的關(guān)鍵是把其結合到業(yè)務(wù)流程中，并能夠促進(jìn)數據挖掘人員和使用結果的業(yè)務(wù)用戶(hù)之間的通信。首先，必須明確，找到合適的業(yè)務(wù)需求，很多的人員，沒(méi)有在意這一點(diǎn)，導致解決的是對業(yè)務(wù)沒(méi)有幫助的問(wèn)題。 ?

模型集中的每個(gè)變量都有一個(gè)與它相關(guān)的時(shí)間幀，它描述了該變量產(chǎn)生作用的時(shí)間段?？梢岳斫鉃閷υ谶^(guò)去一段時(shí)間的數據的整合，超過(guò)這個(gè)時(shí)間的數據就作廢。 ?

很多數據挖掘問(wèn)題都可以概括為預測問(wèn)題：基于過(guò)去的響應，基于過(guò)去的相應，誰(shuí)將會(huì )有相應?基于過(guò)去的注銷(xiāo)記錄，誰(shuí)有一個(gè)不良風(fēng)險?解決問(wèn)題*的辦法是限定輸入變量嚴格產(chǎn)生于目標變臉之前。 ?

剖析，從字面上的理解是，基于人口統計變量，例如：地理位置、性別和年齡等。剖析模型能發(fā)現同一條件下的關(guān)系，但他們不能指出原因和影響。出于這個(gè)原因，剖析模型經(jīng)常使用客戶(hù)的人口統計信息作為輸入，而把客戶(hù)行為作為目標，在這種情況下，確定原因和影響更直觀(guān)。 ?

數據的收集方式有很多方法 ?

可以根據人們上網(wǎng)主要瀏覽的網(wǎng)頁(yè)，或者主要搜索的關(guān)鍵字，看出來(lái)到底人們對什么東西感興趣，也可以根據人們在社交軟件上面的聊天記錄來(lái)收集有用的信息，還可以通過(guò)讓別人做網(wǎng)頁(yè)上面的答卷來(lái)收集信息，知道人們對于一種東西的看法和態(tài)度。 ?

這些收集起來(lái)的數據就會(huì )全部都儲藏在一起，然后有用的時(shí)候就會(huì )用特殊的軟件來(lái)分析處理這些數據，*有*的數據，很多的公司也有自己的數據庫，一個(gè)公司的數據庫越大就代表了這個(gè)公司的實(shí)力越強，未來(lái)發(fā)展的可能性也就越大越好。

?

當然這些數據最主要的并不是大，而是有用的信息比較多，這樣分析出來(lái)的結果也就越準確，這些數據可以準確的反映現在社會(huì )上面發(fā)生的事情和現在人們的心理狀態(tài)，可以預測到很多事情的未來(lái)的發(fā)展方向，有的公司可以根據這些數據發(fā)現自己的不足和管理漏洞，及時(shí)的改變和處理，延長(cháng)企業(yè)的壽命，增加企業(yè)的資產(chǎn)和競爭能力。 ?

通過(guò)數據，也可以知道現在社會(huì )上面主流的東西是什么，只有抓住主流的社會(huì )，才能跟上時(shí)代的步伐，順應歷史的潮流，抓住機遇，發(fā)展自己的公司和事業(yè)。 ?

大數據就是一個(gè)公司的軟實(shí)力，就好像是一個(gè)無(wú)形的資產(chǎn)，蘊含著(zhù)很多的機會(huì )和信息，但是這些數據一定要好好的利用，不要用這些數據去做一些違背道德和違背法律的事情，否則一定要承擔法律的責任。 ?

大數據需要特殊的技術(shù) ?

以有效地處理大量的容忍經(jīng)過(guò)時(shí)間內的數據。適用于大數據的技術(shù)，包括大規模并行處理(MPP)數據庫、數據挖掘電網(wǎng)、分布式文件系統、分布式數據庫、云計算平臺、互聯(lián)網(wǎng)和可擴展的存儲系統。 ?

大數據的特點(diǎn)。數據量大、數據種類(lèi)多、 要求實(shí)時(shí)性強、數據所蘊藏的價(jià)值大。在各行各業(yè)均存在大數據，但是眾多的信息和咨詢(xún)是紛繁復雜的，我們需要搜索、處理、分析、歸納、總結其深層次的規律。 ?

雖然大數據的擁護者看到了使用大數據的巨大潛力，但也有隱私倡導者擔心，因為越來(lái)越多的人開(kāi)始收集相關(guān)數據，無(wú)論是他們是否會(huì )故意透露這些數據或通過(guò)社交媒體張貼，甚至他們在不知不覺(jué)中通過(guò)分享自己的生活而公布了一些具體的數字細節。 ?

分析這些巨大的數據集會(huì )使我們的預測能力產(chǎn)生虛假的信息，將導致作出許多重大和有害的錯誤決定。此外，數據被強大的人或機構濫用，自私的操縱議程達到他們想要的結果。 ?