相信大家經(jīng)常聽(tīng)到“大數據”這個(gè)詞，仿佛帶了一個(gè)“大”字我們就難以理解其中的含義。都說(shuō)當今世界是大數據的時(shí)代，只有掌控大數據才能贏(yíng)得這場(chǎng)各行各業(yè)之間的戰爭。其實(shí)簡(jiǎn)單而言，我們現在所知的電商，諸如淘寶、京東等無(wú)不靠著(zhù)大數據支撐，具體而言，大數據是什么意思?以下是小編為你整理的現在學(xué)習大數據怎么樣學(xué) ?
大數據(bigdata,megadata)或稱(chēng)巨量資料，指的是需要新處理模式才能具有更強的決策力、洞察力和流程優(yōu)化能力的海量、高增長(cháng)率和多樣化的信息資產(chǎn)。在維克托·邁爾-舍恩伯格及肯尼斯·庫克耶編寫(xiě)的《大數據時(shí)代》中大數據指不用隨機分析法(抽樣調查)這樣的捷徑，而采用所有數據進(jìn)行分析處理。大數據的5V特點(diǎn):Volume(大量)、Velocity(高速)、Variety(多樣)、Value(價(jià)值密度)、Veracity(真實(shí)性)。 ?
大數據的4個(gè)“V”，或者說(shuō)特點(diǎn)有四層面：*，數據體量巨大，從TB級別，躍升到PB級別。第二，數據類(lèi)型繁多，前文提到的網(wǎng)絡(luò )日志、視頻、圖片、地理位置信息等等。 ?
第三，價(jià)值密度低，以視頻為例，連續不間斷監控過(guò)程中，可能有用的數據僅僅有一兩秒。
第四，處理速度快，1秒定律。*這一點(diǎn)也是和傳統的數據挖掘技術(shù)有著(zhù)本質(zhì)的不同。業(yè)界將其歸納為4個(gè)“V”——Volume，Variety，Value，Velocity。 ?
大數據的價(jià)值體現在以下幾個(gè)方面：1、對大量消費者提供產(chǎn)品或服務(wù)的企業(yè)可以利用大數據進(jìn)行精準營(yíng)銷(xiāo)。2、做小而美模式的中長(cháng)尾企業(yè)可以利用大數據做服務(wù)轉型。3、面臨互聯(lián)網(wǎng)壓力之下必須轉型的傳統企業(yè)需要與時(shí)俱進(jìn)充分利用大數據的價(jià)值。 ?
大數據的學(xué)習階段 ?
*階段：大數據前沿知識及hadoop入門(mén)，大數據前言知識的介紹，課程的介紹，Linux和unbuntu系統基礎，hadoop的單機和偽分布模式的安裝配置。 ?
第二階段：hadoop部署進(jìn)階。Hadoop集群模式搭建，hadoop分布式文件系統HDFS深入剖析。使用HDFS提供的api進(jìn)行HDFS文件操作。Mapreduce概念及思想。 ?
第三階段：大數據導入與存儲。mysql數據庫基礎知識，hive的基本語(yǔ)法。hive的架構及設計原理。hive部署安裝與案例。sqoop安裝及使用。sqoop組件導入到hive。
?
第四階段：Hbase理論與實(shí)戰。Hbase簡(jiǎn)介。安裝與配置。hbase的數據存儲。項目實(shí)戰。 ?
第五階段：Spaer配置及使用場(chǎng)景。scala基本語(yǔ)法。spark介紹及發(fā)展歷史，spark stant a lone模式部署。sparkRDD詳解。 ?
第六階段：spark大數據分析原理。spark內核，基本定義，spark任務(wù)調度。sparkstreaming實(shí)時(shí)流計算。sparkmllib機器學(xué)習。sparksql查詢(xún)。 ?
Spark(內存DAG計算模型) ?
Spark是一個(gè)Apache項目，它被標榜為“快如閃電的集群計算”。它擁有一個(gè)繁榮的開(kāi)源社區，并且是目前最活躍的Apache項目。 ?
最早Spark是UC Berkeley AMP lab所開(kāi)源的類(lèi)Hadoop MapReduce的通用的并行計算框架。 ?
Spark提供了一個(gè)更快、更通用的數據處理平臺。和Hadoop相比，Spark可以讓你的程序在內存中運行時(shí)速度提升100倍，或者在磁盤(pán)上運行時(shí)速度提升10倍 ?
Giraph(圖計算模型) ?
Apache Giraph是一個(gè)可伸縮的分布式迭代圖處理系統， 基于Hadoop平臺，靈感來(lái)自 BSP (bulk synchronous parallel) 和 Google 的 Pregel。 ?
最早出自雅虎。雅虎在開(kāi)發(fā)Giraph時(shí)采用了Google工程師2010年發(fā)表的論文《Pregel：大規模圖表處理系統》中的原理。后來(lái)，雅虎將Giraph捐贈給Apache軟件基金會(huì )。 ?
目前所有人都可以下載Giraph，它已經(jīng)成為Apache軟件基金會(huì )的開(kāi)源項目，并得到Facebook的支持，獲得多方面的改進(jìn)。 ?
GraphX(圖計算模型) ?
Spark GraphX*是伯克利AMPLAB的一個(gè)分布式圖計算框架項目，目前整合在spark運行框架中，為其提供BSP大規模并行圖計算能力。 ?
MLib(機器學(xué)習庫) ?
Spark MLlib是一個(gè)機器學(xué)習庫，它提供了各種各樣的算法，這些算法用來(lái)在集群上針對分類(lèi)、回歸、聚類(lèi)、協(xié)同過(guò)濾等。 ?
