據已經(jīng)成為現代化企業(yè)中重要的寶貴資源。一切決策、策略或者方法都需要依托于對數據的分析方可實(shí)現。隨著(zhù)“大數據分析”逐步替代其上代版本，即“商務(wù)智能”，企業(yè)正面臨著(zhù)一個(gè)更加復雜、且商業(yè)情報規模更為龐大的新時(shí)代。以下是小編為你整理的大數據分析要學(xué)哪些 ?

OpenRefine ?

這是一款高人氣數據分析工具，適用于各類(lèi)與分析相關(guān)的任務(wù)。這意味著(zhù)即使大家擁有多川不同數據類(lèi)型及名稱(chēng)，這款工具亦能夠利用其強大的聚類(lèi)算法完成條目分組。在聚類(lèi)完成后，分析即可開(kāi)始。 ?

2Hadoop ?

大數據與Hadoop可謂密不可分。這套軟件庫兼框架能夠利用簡(jiǎn)單的編程模型將大規模數據集分發(fā)于計算機集群當中。其尤為擅長(cháng)處理大規模數據并使其可用于本地設備當中。作為Hadoop的開(kāi)發(fā)方，Apache亦在不斷強化這款工具以提升其實(shí)際效果。部分知識來(lái)自《Linux就該這么學(xué)》感興趣的可以去看下

Storm ?

同樣來(lái)自Apache的Storm是另一款偉大的實(shí)時(shí)計算系統，能夠極大強化無(wú)限數據流的處理效果。其亦可用于執行多種其它與大數據相關(guān)的任務(wù)，具體包括分布式RPC、持續處理、在線(xiàn)機器學(xué)習以及實(shí)時(shí)分析等等。使用Storm的另一大優(yōu)勢在于，其整合了大量其它技術(shù)，從而進(jìn)一步降低大數據處理的復雜性。 ?

提高醫療和研發(fā) ?

大數據剖析應用的計算能力可以讓我們能夠在幾分鐘內就可以解碼整個(gè)DNA。而且讓我們可以制訂出*的治療方案。同時(shí)可以更好的去理解和預測疾病。就好像人們戴上智能手表等可以形成的數據一樣，大數據同樣可以幫助病人對于病情進(jìn)行更好的治療。大數據技術(shù)現在已經(jīng)在醫院應用監視早產(chǎn)嬰兒和患病嬰兒的情況，通過(guò)記錄和剖析嬰兒的心跳，醫生針對嬰兒的身體可能會(huì )出現不適癥狀做出預測。這樣可以幫助醫生更好的救助嬰兒。 ?

大數據可分成大數據技術(shù)、大數據工程、大數據科學(xué)和大數據應用等領(lǐng)域。目前人們談?wù)撟疃嗟氖谴髷祿夹g(shù)和大數據應用。工程和科學(xué)問(wèn)題尚未被重視。大數據工程指大數據的規劃建設運營(yíng)管理的系統工程;大數據科學(xué)關(guān)注大數據網(wǎng)絡(luò )發(fā)展和運營(yíng)過(guò)程中發(fā)現和驗證大數據的規律及其與自然和社會(huì )活動(dòng)之間的關(guān)系。 ?

物聯(lián)網(wǎng)、云計算、移動(dòng)互聯(lián)網(wǎng)、車(chē)聯(lián)網(wǎng)、手機、平板電腦、PC以及遍布地球各個(gè)角落的各種各樣的傳感器，無(wú)一不是數據來(lái)源或者承載的方式。 ?

有些例子包括網(wǎng)絡(luò )日志，RFID，傳感器網(wǎng)絡(luò )，社會(huì )網(wǎng)絡(luò )，社會(huì )數據(由于數據革命的社會(huì ))，互聯(lián)網(wǎng)文本和文件;互聯(lián)網(wǎng)搜索索引;呼叫詳細記錄，天文學(xué)，大氣科學(xué)，基因組學(xué)，生物地球化學(xué)，生物，和其他復雜和/或跨*的科研，軍事偵察，醫療記錄;攝影檔案館視頻檔案;和大規模的電子商務(wù) 。 ?

大數據的一些弊端 ?

雖然大數據的擁護者看到了使用大數據的巨大潛力，但也有隱私倡導者擔心，因為越來(lái)越多的人開(kāi)始收集相關(guān)數據，無(wú)論是他們是否會(huì )故意透露這些數據或通過(guò)社交媒體張貼，甚至他們在不知不覺(jué)中通過(guò)分享自己的生活而公布了一些具體的數字細節。 ?

分析這些巨大的數據集會(huì )使我們的預測能力產(chǎn)生虛假的信息，將導致作出許多重大和有害的錯誤決定。此外，數據被強大的人或機構濫用，自私的操縱議程達到他們想要的結果。 ?

各行業(yè)數據源 ?

財經(jīng)數據 ?

1.經(jīng)濟數據庫：CEIC、國泰安、銳思、資訊行 ?

2.監管*：證監會(huì )、上交所、深交所(巨潮)、股轉系統、大商所、鄭商所網(wǎng)站 ?

3.金融市場(chǎng)網(wǎng)站：*貨幣網(wǎng)、*債券信息網(wǎng)、上海期貨/黃金交易所 ?

4.財經(jīng)終端：不少免費版的財經(jīng)/股票終端都可以導出數據，屬優(yōu)質(zhì)數據源 ?

5.門(mén)戶(hù)網(wǎng)站：如新浪財經(jīng)可以下載大量的證券數據

?

6.通聯(lián)：類(lèi)似quandl提供不少財經(jīng)api接口 ?

7.量化交易平臺：近幾年新興的技術(shù)產(chǎn)品，可以在這類(lèi)平臺上獲取大量歷史數據 ?

8.投融資：IT桔子、清科數據庫 ?

9.國外資源：WITS,WORLD BANK,IMF,YAHOO,Quandl(大量財經(jīng)api接口，可導出各種格式)等 ?

貿易數據 ?

1.海關(guān)總署、海關(guān)統計資訊網(wǎng)、海關(guān)信息網(wǎng)有不少數據，部分免費 ?

(商務(wù)部網(wǎng)站中有大量數據，但目前不能下載或調用) ?

2.綜合性網(wǎng)站：慧聰、卓創(chuàng )資訊，但可惜大部分數據只能瀏覽 ?

3.數據商：可以在百度和上面提到的數據平臺上找到不少這類(lèi)的數據撮合商(一般高質(zhì)量的數據需要付費獲取) ?

4.國外數據：WTO,UN COMTRADE有大量高質(zhì)量的數據 ?

*第二產(chǎn)業(yè) ?

1.農業(yè)數據：目前以統計數據為主，行業(yè)門(mén)戶(hù)網(wǎng)站和細分領(lǐng)域網(wǎng)站(如*糧網(wǎng))的數據通常無(wú)法直接調用，只能在線(xiàn)瀏覽，但不妨保持對這些網(wǎng)站的關(guān)注 ?

2.農業(yè)數據提供商：如艾格農業(yè)、布瑞克，但目前數據的總體質(zhì)量達不到預期 ?

3.工業(yè)數據：和農業(yè)數據的情況類(lèi)似，也只有少數數據商，如鋼聯(lián)、煤炭資源網(wǎng)等 ?

(傳統領(lǐng)域的數據，隨著(zhù)物聯(lián)網(wǎng)技術(shù)的發(fā)展，獲取難度會(huì )降低、應用價(jià)值將提高，預計在未來(lái)會(huì )有不錯的上升空間) ?

大數據的學(xué)習階段

*階段：大數據前沿知識及hadoop入門(mén)，大數據前言知識的介紹，課程的介紹，Linux和unbuntu系統基礎，hadoop的單機和偽分布模式的安裝配置。 ?

第二階段：hadoop部署進(jìn)階。Hadoop集群模式搭建，hadoop分布式文件系統HDFS深入剖析。使用HDFS提供的api進(jìn)行HDFS文件操作。Mapreduce概念及思想。 ?

第三階段：大數據導入與存儲。mysql數據庫基礎知識，hive的基本語(yǔ)法。hive的架構及設計原理。hive部署安裝與案例。sqoop安裝及使用。sqoop組件導入到hive。 ?

第四階段：Hbase理論與實(shí)戰。Hbase簡(jiǎn)介。安裝與配置。hbase的數據存儲。項目實(shí)戰。 ?

第五階段：Spaer配置及使用場(chǎng)景。scala基本語(yǔ)法。spark介紹及發(fā)展歷史，spark stant a lone模式部署。sparkRDD詳解。 ?

第六階段：spark大數據分析原理。spark內核，基本定義，spark任務(wù)調度。sparkstreaming實(shí)時(shí)流計算。sparkmllib機器學(xué)習。sparksql查詢(xún)。