在維基百科中對數據挖掘的解釋是：數據挖掘(英語(yǔ)：data mining)是一個(gè)跨*的計算機科學(xué)分支 它是用人工智能、機器學(xué)習、統計學(xué)和數據庫的交叉方法在相對較大型的數據集中發(fā)現模式的計算過(guò)程。數據挖掘過(guò)程的總體目標是從一個(gè)數據集中提取信息，并將其轉換成可理解的結構，以進(jìn)一步使用。以下是小編為你整理的大數據都學(xué)習什么 ?

分類(lèi)。分類(lèi)是找出數據庫中一組數據對象的共同特點(diǎn)并按照分類(lèi)模式將其劃分為不同的類(lèi)，其目的是通過(guò)分類(lèi)模型，將數據庫中的數據項映射到某個(gè)給定的類(lèi)別。 ?

回歸分析?；貧w分析方法反映的是事務(wù)數據庫中屬性值在時(shí)間上的特征，產(chǎn)生一個(gè)將數據項映射到一個(gè)實(shí)值預測變量的函數，發(fā)現變量或屬性間的依賴(lài)關(guān)系，其主要研究問(wèn)題包括數據序列的趨勢特征、數據序列的預測以及數據間的相關(guān)關(guān)系等。

聚類(lèi)。聚類(lèi)分析是把一組數據按照相似性和差異性分為幾個(gè)類(lèi)別，其目的是使得屬于同一類(lèi)別的數據間的相似性盡可能大，不同類(lèi)別中的數據間的相似性盡可能小。 ?

關(guān)聯(lián)規則。關(guān)聯(lián)規則是描述數據庫中數據項之間所存在的關(guān)系的規則，即根據一個(gè)事務(wù)中某些項的出現可導出另一些項在同一事務(wù)中也出現，即隱藏在數據間的關(guān)聯(lián)或相互關(guān)系。 ?

導入/預處理 ?

雖然采集端本身會(huì )有很多數據庫，但是如果要對這些海量數據進(jìn)行有效的分析，還是應該將這些來(lái)自前端的數據導入到一個(gè)集中的大型分布式數據庫，或者分布式存儲集群，并且可以在導入基礎上做一些簡(jiǎn)單的清洗和預處理工作。也有一些用戶(hù)會(huì )在導入時(shí)使用來(lái)自Twitter的Storm來(lái)對數據進(jìn)行流式計算，來(lái)滿(mǎn)足部分業(yè)務(wù)的實(shí)時(shí)計算需求。導入與預處理過(guò)程的特點(diǎn)和挑戰主要是導入的數據量大，每秒鐘的導入量經(jīng)常會(huì )達到百兆，甚至千兆級別。 ?

挖掘 ?

與前面統計和分析過(guò)程不同的是，數據挖掘一般沒(méi)有什么預先設定好的主題，主要是在現有數據上面進(jìn)行基于各種算法的計算，從而起到預測的效果，從而實(shí)現一些高級別數據分析的需求。比較典型算法有用于聚類(lèi)的K-Means、用于統計學(xué)習的SVM和用于分類(lèi)的Naive Bayes，主要使用的工具有HadoopMahout等。該過(guò)程的特點(diǎn)和挑戰主要是用于挖掘的算法很復雜，并且計算涉及的數據量和計算量都很大，還有，常用數據挖掘算法都以單線(xiàn)程為主。 ?

Hadoop和Hive ?

一群基于Java的工具被開(kāi)發(fā)出來(lái)以滿(mǎn)足數據處理的巨大需求。Hadoop作為*的基于Java的框架用于批處理數據已經(jīng)點(diǎn)燃了大家的熱情。Hadoop比其他一些處理工具慢，但它出奇的準確，因此被廣泛用于后端分析。它和Hive——一個(gè)基于查詢(xún)并且運行在頂部的框架可以很好地結對工作。 ?

Scala ?

Scala是另一種基于Java的語(yǔ)言，并且和Java相同的是，它正日益成為大規模機器學(xué)習，或構建高層次算法的工具。它富有表現力，并且還能夠構建健壯的系統。 ?

“Java就像是建造時(shí)的鋼鐵，而Scala則像黏土，因為你之后可以將之放入窯內轉變成鋼鐵，”Driscoll說(shuō)。

?

Kafka和Storm ?

那么，當你需要快速實(shí)時(shí)的分析時(shí)又該怎么辦呢?Kafka會(huì )成為你的好朋友。它大概5年前就已經(jīng)出現了，但是直到最近才成為流處理的流行框架。 ?

Kafka，誕生于LinkedIn內部，是一個(gè)超快速的查詢(xún)消息系統。Kafka的缺點(diǎn)?好吧，它太快了。在實(shí)時(shí)操作時(shí)會(huì )導致自身出錯，并且偶爾地會(huì )遺漏東西。 ?

“有精度和速度之間有一個(gè)權衡，”Driscoll說(shuō)， “因此，硅谷所有的大型高科技公司都會(huì )使用兩條管道：Kafka或Storm用于實(shí)時(shí)處理，然后Hadoop用于批處理系統，此時(shí)雖然是緩慢的但超級準確?！? ?

Storm是用Scala編寫(xiě)的另一個(gè)框架，它在硅谷中因為流處理而受到了大量的青睞。它被Twitter納入其中，勿庸置疑的，這樣一來(lái)，Twitter就能在快速事件處理中得到巨大的裨益。 ?

大數據該如何去學(xué)

要想聽(tīng)懂寬客在說(shuō)什么，*記得*統計學(xué)的基本內容，否則需要去補補回歸分析、統計推斷和實(shí)驗設計的課，或者報考項目數據分析師進(jìn)行學(xué)習。你應該理解推出結論的過(guò)程，并適時(shí)質(zhì)疑模型假設是否站得住腳。 ?

卡爾·肯普夫(KarlKempf)是英特爾工程決策團隊的負責人之一，人稱(chēng)“超級寬客”。他常常說(shuō)，高質(zhì)量的定量決策“無(wú)關(guān)數學(xué)”，而全在于“關(guān)系”。分析師和決策者需要深層次的相互信任，能夠自由地交換信息，溝通想法。 ?

不過(guò)眾所周知，溝通往往不是技術(shù)人員的強項。有人曾打趣說(shuō)，“你跟寬客說(shuō)話(huà)的時(shí)候，十個(gè)有九個(gè)盯著(zhù)自己的鞋，剩下那一個(gè)盯著(zhù)你的鞋”。話(huà)雖如此，能正常溝通的分析師大有人在：寬客不都是數學(xué)狂人，也愿意在商界大顯身手。 ?

正確提出問(wèn)題是大數據決策最重要的一環(huán)，最考驗你的經(jīng)驗和直覺(jué)。但假設終歸只是假設。嚴謹的分析方法能檢驗，你提出的假設是否如實(shí)描述了世界的運轉。 ?

此外，還需關(guān)注大數據管理流程中的*一步：向其他高管呈現分析結果。很多分析師不注重溝通，有時(shí)你必須親自出馬。數據分析實(shí)際就是“用數據講故事”。