大數據是一個(gè)含義廣泛的術(shù)語(yǔ)，是指數據集，如此龐大而復雜的，他們需要專(zhuān)門(mén)設計的硬件和軟件工具進(jìn)行處理。該數據集通常是萬(wàn)億或EB的大小。以下是小編為你整理的大數據該怎么學(xué)習 ?

HADOOPP 是一個(gè)能夠對大量數據進(jìn)行分布式處理的軟件框架。但是HADOOPP 是以一種可靠、高效、可伸縮的方式進(jìn)行處理的。HADOOPP 是可靠的，因為它假設計算元素和存儲會(huì )失敗，因此它維護多個(gè)工作數據副本，確保能夠針對失敗的節點(diǎn)重新分布處理。 ?

HPCC高性能計算與 通信”的報告。開(kāi)發(fā)可擴展的計算系統及相關(guān)軟件，以支持太位級網(wǎng)絡(luò )傳輸性能，開(kāi)發(fā)千兆 比特網(wǎng)絡(luò )技術(shù)，擴展研究和教育機構及網(wǎng)絡(luò )連接能力。

Storm是自由的開(kāi)源軟件，一個(gè)分布式的、容錯的實(shí)時(shí)計算系統。Storm可以非?？煽康奶幚睚嫶蟮臄祿?，用于處理HADOOPP的批量數據。 ?

為了幫助企業(yè)用戶(hù)尋找更為有效、加快HADOOPP數據查詢(xún)的方法，Apache發(fā)起了一項名為“Drill”的開(kāi)源項目。 ?

Pentaho BI 平臺不同于傳統的BI 產(chǎn)品，它是一個(gè)以流程為中心的，面向解決方案(Solution)的框架。其目的在于將一系列企業(yè)級BI產(chǎn)品、開(kāi)源軟件、API等等組件集成起來(lái)，方便商務(wù)智能應用的開(kāi)發(fā)。 ?

RapidMiner是*的數據挖掘解決方案，在一個(gè)非常大的程度上有著(zhù)先進(jìn)技術(shù)。它數據挖掘任務(wù)涉及范圍廣泛，包括各種數據藝術(shù)，能簡(jiǎn)化數據挖掘過(guò)程的設計和評價(jià)。 ?

學(xué)大數據的必備知識 ?

Java基礎** ?

數據類(lèi)型 ?

運算符、循環(huán) ?

順序結構程序設計 ?

程序結構 ?

數組及多維數組 ?

面向對象** ?

構造方法、控制符、封裝 ?

繼承** ?

多態(tài)** ?

抽象類(lèi)、接口** ?

常用類(lèi)、集合Collection、list** ?

HashSet、TreeSet、Collection ?

集合類(lèi)Map** ?

異常 ?

File ?

文件/流** ?

數據流和對象流 ?

線(xiàn)程(理解即可) ?

網(wǎng)絡(luò )通信(理解即可) ?

如果如果你已經(jīng)是脫離小白生涯，你理大數據不遠了，需要學(xué)習一些額外的小知識(數據結構、關(guān)系型數據庫、linux系統操作)第二階段以夯實(shí)基礎，之后就可以進(jìn)入大數據學(xué)習了; ?

大數據需要學(xué)什么 ?

分類(lèi)。分類(lèi)是找出數據庫中一組數據對象的共同特點(diǎn)并按照分類(lèi)模式將其劃分為不同的類(lèi)，其目的是通過(guò)分類(lèi)模型，將數據庫中的數據項映射到某個(gè)給定的類(lèi)別。 ?

回歸分析?；貧w分析方法反映的是事務(wù)數據庫中屬性值在時(shí)間上的特征，產(chǎn)生一個(gè)將數據項映射到一個(gè)實(shí)值預測變量的函數，發(fā)現變量或屬性間的依賴(lài)關(guān)系，其主要研究問(wèn)題包括數據序列的趨勢特征、數據序列的預測以及數據間的相關(guān)關(guān)系等。

?

聚類(lèi)。聚類(lèi)分析是把一組數據按照相似性和差異性分為幾個(gè)類(lèi)別，其目的是使得屬于同一類(lèi)別的數據間的相似性盡可能大，不同類(lèi)別中的數據間的相似性盡可能小。 ?

關(guān)聯(lián)規則。關(guān)聯(lián)規則是描述數據庫中數據項之間所存在的關(guān)系的規則，即根據一個(gè)事務(wù)中某些項的出現可導出另一些項在同一事務(wù)中也出現，即隱藏在數據間的關(guān)聯(lián)或相互關(guān)系。 ?

Mahout(數據挖掘算法庫) ?

Mahout起源于2008年，最初是Apache Lucent的子項目，它在極短的時(shí)間內取得了長(cháng)足的發(fā)展，現在是Apache的頂級項目。 ?

Mahout的主要目標是創(chuàng )建一些可擴展的機器學(xué)習領(lǐng)域經(jīng)典算法的實(shí)現，旨在幫助開(kāi)發(fā)人員更加方便快捷地創(chuàng )建智能應用程序。 ?

Mahout現在已經(jīng)包含了聚類(lèi)、分類(lèi)、推薦引擎(協(xié)同過(guò)濾)和頻繁集挖掘等廣泛使用的數據挖掘方法。 ?

除了算法，Mahout還包含數據的輸入/輸出工具、與其他存儲系統(如數據庫、MongoDB 或Cassandra)集成等數據挖掘支持架構。 ?

10、Oozie(工作流調度器) ?

Oozie是一個(gè)可擴展的工作體系，集成于Hadoop的堆棧，用于協(xié)調多個(gè)MapReduce作業(yè)的執行。它能夠管理一個(gè)復雜的系統，基于外部事件來(lái)執行，外部事件包括數據的定時(shí)和數據的出現。 ?

Oozie工作流是放置在控制依賴(lài)DAG(有向無(wú)環(huán)圖 Direct Acyclic Graph)中的一組動(dòng)作(例如，Hadoop的Map/Reduce作業(yè)、Pig作業(yè)等)，其中指定了動(dòng)作執行的順序。 ?

Oozie使用hPDL(一種XML流程定義語(yǔ)言)來(lái)描述這個(gè)圖。 ?

11、 Yarn(分布式資源管理器) ?

YARN是下一代MapReduce，即MRv2，是在*代MapReduce基礎上演變而來(lái)的，主要是為了解決原始Hadoop擴展性較差，不支持多計算框架而提出的。 ?

Yarn是下一代 Hadoop 計算平臺，yarn是一個(gè)通用的運行時(shí)框架，用戶(hù)可以編寫(xiě)自己的計算框架，在該運行環(huán)境中運行。 ?

用于自己編寫(xiě)的框架作為客戶(hù)端的一個(gè)lib，在運用提交作業(yè)時(shí)打包即可。該框架為提供了以下幾個(gè)組件： ?

- 資源管理：包括應用程序管理和機器資源管理 ?

- 資源雙層調度 ?

- 容錯性：各個(gè)組件均有考慮容錯性 ?

- 擴展性：可擴展到上萬(wàn)個(gè)節點(diǎn) ?