數據被譽(yù)為新時(shí)代的石油，隨著(zhù)大數據市場(chǎng)的發(fā)展，數據開(kāi)始流通，越來(lái)越多人也開(kāi)始挖掘數據的價(jià)值。本文盡可能全面地介紹國內的數據源、搜索數據的方法以及數據交易的平臺，幫助數據工作者們快速全面地找數據。文中涉及的數據交易方式包括API數據接口、數據包下載、數據定制等，涵蓋免費的公開(kāi)源數據以及付費數據。以下是小編為你整理的大數據新手學(xué)習教程 ?

統計數據 ?

*統計局/*數據 ?

最正統、最官方的數據，數據范圍涵蓋各行各業(yè)，時(shí)間跨度也較大，可下載為各種常見(jiàn)格式 ?

*網(wǎng)站通常有統計數據，但不同*數據量有多有少，目前為止數據并不算深入，但隨著(zhù)數據開(kāi)放政策的深入，相信*網(wǎng)站會(huì )成為很好的數據源 ?

*列表可以在**網(wǎng)找，下文中的各行業(yè)數據都可以在相關(guān)的*網(wǎng)站找到數據，就不一一列舉了

數據需要申請或購買(mǎi)，公開(kāi)的并不多，但不失為一個(gè)選擇 ?

咨詢(xún)、金融、市場(chǎng)調研公司，尤其是業(yè)內頂尖的，通常有自己的數據，但同樣并不免費公開(kāi)，部分數據可購買(mǎi) ?

大部分主要行業(yè)都有自己的年鑒，數據比較寶貴，只是給機器用之前還需要處理;價(jià)值高的年鑒通常需要付費獲取;這里推薦一下人大經(jīng)濟論壇，氛圍較好 ?

如何統計數據 ?

公開(kāi)信息及整理比如統計局的數據、公司自己發(fā)布的年報、其他市場(chǎng)機構的研究報告、或者根據公開(kāi)的零散信息整理; ?

購買(mǎi)的數據庫市場(chǎng)上有很多產(chǎn)品化的數據庫，比如Bloomberg、OneSource、Wind等等，這個(gè)一般是以公司的名義買(mǎi)入口，不光咨詢(xún)公司還有很多高等院校及研究機構也買(mǎi)了; ?

自己的數據庫自己維護的數據庫有，但是比較少，一是專(zhuān)業(yè)的數據公司差不多能想到的都做了，二是自己做數據庫其實(shí)是一件很麻煩的事情。在有些數據是外界無(wú)法得到的情況下有可能自己維護一個(gè)小型的數據庫; ?

咨詢(xún)行業(yè)專(zhuān)家當然是有償的，這個(gè)在項目中應該蠻常見(jiàn)的。有些行業(yè)專(zhuān)家會(huì )專(zhuān)門(mén)收集和銷(xiāo)售數據，想要的基本能買(mǎi)到。 ?

發(fā)問(wèn)卷有時(shí)候為了單獨的項目也會(huì )收集很特別的數據，如果外界實(shí)在沒(méi)有但是項目上沒(méi)有不行就只有自己做了，比如自己發(fā)發(fā)問(wèn)卷之類(lèi)的，但是這類(lèi)數據需求要控制工作量，因為除非數據本身是交付內容之一，要不然不能為了個(gè)中間件花費太多時(shí)間和精力; ?

客戶(hù)有些數據就是來(lái)源于客戶(hù)，甚至是咨詢(xún)公司的產(chǎn)品。舉個(gè)例子，比如HR咨詢(xún)公司的行業(yè)工資數據、四大的一些數據庫等等，這些數據的采集需要比較強的專(zhuān)業(yè)性或者時(shí)間積累，很大一部分是通過(guò)調查客戶(hù)的HR收集來(lái)的數據進(jìn)行統計的。 ?

HBase集群及其管理 ?

1、集群的搭建過(guò)程 2、集群的監控 3、集群的管理 ?

Pig基礎知識 ?

Pig是進(jìn)行Hadoop計算的另一種框架，是一個(gè)高級過(guò)程語(yǔ)言，適合于使用 Hadoop 和 MapReduce 平臺來(lái)查詢(xún)大型半結構化數據集。通過(guò)允許對分布式數據集進(jìn)行類(lèi)似 SQL 的查詢(xún)，Pig 可以簡(jiǎn)化 Hadoop 的使用。 ?

1、Pig概述 2、安裝Pig 3、使用Pig完成手機流量統計業(yè)務(wù)

?

Hive ?

hive是基于Hadoop的一個(gè)數據倉庫工具，可以將結構化的數據文件映射為一張數據庫表，并提供簡(jiǎn)單的sql查詢(xún)功能，可以將sql語(yǔ)句轉換為MapReduce任務(wù)進(jìn)行運行。 其優(yōu)點(diǎn)是學(xué)習成本低，可以通過(guò)類(lèi)SQL語(yǔ)句快速實(shí)現簡(jiǎn)單的MapReduce統計，不必開(kāi)發(fā)專(zhuān)門(mén)的MapReduce應用。 ?

1、數據倉庫基礎知識 2、Hive定義 3、Hive體系結構簡(jiǎn)介 4、Hive集群 5、客戶(hù)端簡(jiǎn)介 6、HiveQL定義 7、HiveQL與SQL的比較 8、數據類(lèi)型 9、表與表分區概念 10、表的操作與CLI客戶(hù)端 11、數據導入與CLI客戶(hù)端 12、查詢(xún)數據與CLI客戶(hù)端 13、數據的連接與CLI客戶(hù)端 14、用戶(hù)自定義函數(UDF) ?

Scala ?

Scala是另一種基于Java的語(yǔ)言，并且和Java相同的是，它正日益成為大規模機器學(xué)習，或構建高層次算法的工具。它富有表現力，并且還能夠構建健壯的系統。 ?

“Java就像是建造時(shí)的鋼鐵，而Scala則像黏土，因為你之后可以將之放入窯內轉變成鋼鐵，”Driscoll說(shuō)。 ?

Cetas項目關(guān)注點(diǎn)

及時(shí)乃至實(shí)時(shí)的決策提供了投資的成功可能性!隨著(zhù)各式各樣應用產(chǎn)生不規則的數據產(chǎn)生，這些數據到底想告訴你我什么呢?我們相信大數據將提供一個(gè)遠見(jiàn)，一個(gè)對客戶(hù)的洞察。那就沒(méi)有理由去懷疑，基于用戶(hù)的產(chǎn)品和服務(wù)會(huì )成功!Cetas提供了一個(gè)易于管理，自助服務(wù)的虛擬環(huán)境，支持企業(yè)自定義創(chuàng )建多種應用。這里提供了多維度的行為分析和大量高級的分析算法。 ?

除了提供在線(xiàn)應用實(shí)時(shí)的高級分析之外，還能分析IT運營(yíng)管理，提供企業(yè)的管理運營(yíng)能力。這為企業(yè)提供了對企業(yè)IT運營(yíng)效果的面面觀(guān)。 ?

為企業(yè)或個(gè)人提供可擴展，高性能的Hadoop自助分析平臺，也提供了可視化的數據發(fā)現功能，并且嵌入了大量先進(jìn)的機器學(xué)習算法，這些都促進(jìn)研究和深度挖掘大數據所隱藏的內容。甚至如果你有建模的需要，這個(gè)平臺也能滿(mǎn)足你!! ?

從虛擬化的基礎上創(chuàng )建起的這三項服務(wù)，分別面向私人，公共，甚至是公私混合。從而Cetas使得大數據分析更加輕量化，這也是VMware公司收購Cetas之后加大投入的方向。 ?

如今Cetas加入VMware的大家族，未來(lái)將被賦予更重要的角色和作用。這方面也讓我們拭目以待VMware這架虛擬化馬車(chē)駛出的大數據分析之路。