世界包含的多得難以想象的數字化信息變得更多更快……從商業(yè)到科學(xué)，從*到藝術(shù)，這種影響無(wú)處不在?？茖W(xué)家和計算機工程師們給這種現象創(chuàng )造了一個(gè)新名詞：“大數據”。大數據時(shí)代什么意思?大數據概念什么意思?大數據分析什么意思?所謂大數據，他的來(lái)源在哪里，講了那么多，那么數據挖掘是什么呢?以下是小編為你整理的大數據該如何學(xué)習

大數據下的數據挖掘 ?

數據挖掘：在大型數據庫中，通過(guò)分析發(fā)現有用信息的過(guò)程。在前篇文章中說(shuō)到大數據的存儲等問(wèn)題，面臨新的數據集帶來(lái)的問(wèn)題時(shí)，傳統的數據分析技術(shù)往往會(huì )遇到很多實(shí)際困難。下面我們來(lái)說(shuō)一下具體的問(wèn)題。 ?

可伸縮：如果數據挖掘算法要處理海量數據集，則算法必須是可伸縮的(scalable)許多的數據挖掘算法使用特殊的搜索策略處理指數級搜索問(wèn)題。為實(shí)現可伸縮可能還需要實(shí)現新的數據結構，才能有效的訪(fǎng)問(wèn)每個(gè)記錄。 ?

高維性：現在，常常遇到具有成敗上千屬性的數據集，而不是幾十年前的只具備少量屬性的數據集。

異種數據和復雜數據：通常情況下，傳統的數據分析方法只處理包含相同類(lèi)型屬性的數據集，或者是連續的，或者是分類(lèi)的。 隨著(zhù)數據挖掘在商務(wù)、科學(xué)、醫學(xué)和其他領(lǐng)域的作用越來(lái)越大，越來(lái)越需要處理異種屬性的技術(shù)。近年來(lái)，已經(jīng)出現了更復雜的數據對象。這些非傳統的數據類(lèi)型的 例子有：含有半結構話(huà)文本和超鏈接的Web葉面集、具有序列和三維結構的DNA數據、包含地球表面不同位置上的時(shí)間序列測量值的氣象數據等等。 ?

數據的所有權與分布：有時(shí)，需要分析的數據并非存放在一個(gè)站點(diǎn)，或者歸屬一個(gè)機構，而是地理上分布在屬于多個(gè)機構的資 源中。這就需要開(kāi)發(fā)分布式數據挖掘技術(shù)。分布式數據挖掘算法面臨的主要挑戰包括：(1)如何降低執行分布式計算的通信量?(2)如何有效的同意從多個(gè)資源 得到的數據挖掘結果?(3)如何處理數據安全性問(wèn)題? ?

非傳統的分析：傳統的統計方法基于一種假設——檢驗模式，即提出一種假設，設計實(shí)驗來(lái)收集數據，然后針對假設來(lái)進(jìn)行分析數據。但是，這一過(guò)程勞力費神。當前的數據分析人物常常需要產(chǎn)生和評估數千鐘假設，因此需要自動(dòng)地產(chǎn)生和評估假設，這促使人們開(kāi)發(fā)了一些數據挖掘技術(shù)。 ?

大數據遭受異常流量攻擊 ?

大數據所存儲的數據非常巨大，往往采用分布式的方式進(jìn)行存儲，而正是由于這種存儲方式，存儲的路徑視圖相對清晰，而數據量過(guò)大，導致數據保護，相對簡(jiǎn)單，黑客較為輕易利用相關(guān)漏洞，實(shí)施不法操作，造成安全問(wèn)題。由于大數據環(huán)境下終端用戶(hù)非常多，且受眾類(lèi)型較多，對客戶(hù)身份的認證環(huán)節需要耗費大量處理能力?！　∮捎贏(yíng)PT攻擊具有很強的針對性，且攻擊時(shí)間長(cháng)，一旦攻擊成功，大數據分析平臺輸出的最終數據均會(huì )被獲取，容易造成的較大的信息安全隱患。 ?

在對大數據進(jìn)行數據采集和信息挖掘的時(shí)候，要注重用戶(hù)隱私數據的安全問(wèn)題，在不泄露用戶(hù)隱私數據的前提下進(jìn)行數據挖掘。需要考慮的是在分布計算的信息傳輸和數據交換時(shí)保證各個(gè)存儲點(diǎn)內的用戶(hù)隱私數據不被非法泄露和使用是當前大數據背景下信息安全的主要問(wèn)題。同時(shí)，當前的大數據數據量并不是固定的，而是在應用過(guò)程中動(dòng)態(tài)增加的，但是，傳統的數據隱私保護技術(shù)大多是針對靜態(tài)數據的，所以，如何有效地應對大數據動(dòng)態(tài)數據屬性和表現形式的數據隱私保護也是要注重的安全問(wèn)題。*，大數據的數據遠比傳統數據復雜，現有的敏感數據的隱私保護是否能夠滿(mǎn)足大數據復雜的數據信息也是應該考慮的安全問(wèn)題。 ?

大數據的數據類(lèi)型和數據結構是傳統數據不能比擬的，在大數據的存儲平臺上，數據量是非線(xiàn)性甚至是指數級的速度增長(cháng)的，各種類(lèi)型和各種結構的數據進(jìn)行數據存儲，勢必會(huì )引發(fā)多種應用進(jìn)程的并發(fā)且頻繁無(wú)序的運行，極易造成數據存儲錯位和數據管理混亂，為大數據存儲和后期的處理帶來(lái)安全隱患。當前的數據存儲管理系統，能否滿(mǎn)足大數據背景下的海量數據的數據存儲需求，還有待考驗。不過(guò)，如果數據管理系統沒(méi)有相應的安全機制升級，出現問(wèn)題后則為時(shí)已晚。 ?

DBA在大數據時(shí)代的發(fā)展前景 ?

成為一個(gè)DBA表面上“僅”需要SQL語(yǔ)言和數據庫基礎管理的知識，所以造成了從業(yè)者良莠不齊，舉一個(gè)極端的例子，我有一個(gè)留級兩年的同學(xué)勉強拿到畢業(yè)證后就從事了DBA。然而理論跟實(shí)際相差甚遠，模擬的環(huán)境根本達不到線(xiàn)上要求的多用戶(hù)、高并發(fā)等壓力，僅在課堂上和自學(xué)是不能成為一個(gè)合格的DBA的，合格的DBA必須在企業(yè)中的實(shí)戰中走出來(lái)。一個(gè)合格的DBA必須掌握Linux基本命令和操作、數據庫備份和恢復、SQL優(yōu)化、數據庫性能優(yōu)化和至少一門(mén)腳本語(yǔ)言(如Python)。

?

移動(dòng)互聯(lián)網(wǎng)時(shí)代雨后春筍般誕生的創(chuàng )業(yè)公司給人一種DBA的角色性變弱的錯覺(jué)，其實(shí)任何IT公司做大后都離不開(kāi)DBA這個(gè)崗位。DBA的發(fā)展前景一直很不錯，尤其在大數據的時(shí)代里，原本就一直存在的性能問(wèn)題和安全問(wèn)題會(huì )更加突出，這意味著(zhù)企業(yè)對DBA人才的需求會(huì )越來(lái)越旺盛，同時(shí)這也意味著(zhù)DBA會(huì )面臨比以往更多樣化的困難和更嚴峻的挑戰。加上近年來(lái)的大規模集群和自動(dòng)化運維，很多以前手工維護的工作現在都可以通過(guò)一系列自動(dòng)工具來(lái)完成，盡管讓只 會(huì )增刪改查的DBA看到了自己的可替代性，但也給對技術(shù)精益求精的DBA節約出了鉆研新技術(shù)和新知識的時(shí)間，使他們更加專(zhuān)注于解決所前所未有的困難。 ?

大數據時(shí)代是一個(gè)以數據驅動(dòng)決策的時(shí)代，數據就是企業(yè)的生命，掌握公司命脈的DBA的崗位越來(lái)越重要，作用也越來(lái)越顯著(zhù)，待遇也越來(lái)越豐厚，發(fā)展前景也越來(lái)越明朗。 ?

精通Spark平臺本身提供給開(kāi)發(fā)者API ?

1、精通Spark提供給開(kāi)發(fā)者API系列課程1：動(dòng)手構建Spark集群 ?

1.1 動(dòng)手構建Hadoop集群 ?

1.2 動(dòng)手構建Spark集群 ?

1.3 測試Spark集群 ?

2、精通Spark提供給開(kāi)發(fā)者API系列課程2：編寫(xiě)Spark程序 ?

2.1 程序數據的來(lái)源：File、HDFS、HBase、S3等 ?

2.2 IDE環(huán)境構建 ?

2.3 Maven ?

2.4 sbt. ?

2.5 編寫(xiě)并部署Spark程序的實(shí)例 ?

3、精通Spark提供給開(kāi)發(fā)者API系列課程3：SparkContext解析 ?

3.1 源碼剖析SparkContext ?

3.2 Scala、Java、Python使用SparkContext ?

3.3 加載數據成為RDD ?

3.4 把數據物化 ?

4、精通Spark提供給開(kāi)發(fā)者API系列課程4：深入實(shí)戰RDD ?

4.1 DAG ?

4.2 深入實(shí)戰各種Scala RDD Function ?

4.3 Spark Java RDD Function ?

4.4 RDD的優(yōu)化問(wèn)題 ?

5、精通Spark提供給開(kāi)發(fā)者API系列課程5：Spark程序的測試 ?

5.1 編寫(xiě)可測試的Spark程序 ?

5.2 Spark測試框架解析 ?

5.3 Spark測試代碼實(shí)戰 ?

6、精通Spark提供給開(kāi)發(fā)者API系列課程6：Spark程序的優(yōu)化 ?

6.1 Logs ?

6.2 并發(fā) ?

6.3 內存 ?

6.4 垃圾回收 ?

6.5 序列化 ?

6.6 安全 ?