現如今大數據的使用頻率不斷增加,各個(gè)領(lǐng)域都有鋪天蓋地的信息,面對成千上萬(wàn)的瀏覽、行為數據,如果使用以前的軟件來(lái)進(jìn)行數據處理是遠遠不能滿(mǎn)足的?,F在大數據的產(chǎn)生也是應運而生。以下是小編為你整理的0基礎學(xué)大數據 ?
javaMR語(yǔ)言 ?
這種語(yǔ)言產(chǎn)生很早了,大家也或多或少的接觸過(guò),但是在大數據中使用已經(jīng)有的原型進(jìn)行構建龐大系統,是一種最基本的選擇。 ?
Scala語(yǔ)言 ?
以java為基礎的語(yǔ)言,和java很像,對任何想要進(jìn)行大規模的機械學(xué)習或是建立高階的算法,Scala是逐漸興起的工具,善于呈現且擁有建立可靠系統的能力。
Hadoop ?
在以java為基礎的大數據處理當中,Hadoop為作一批數據處理,發(fā)展以java為基礎的架構關(guān)鍵。相對于其他處理工具而言,Hadoop慢許多,但是無(wú)比的準確可被后端數據庫分析廣泛使用 ?
Kafka andStorm ?
它是一個(gè)特別快速的查詢(xún)信息系統,但是因為太快了在實(shí)施操作時(shí)會(huì )犯錯,有時(shí)候會(huì )漏掉東西。 ?
Pythom語(yǔ)言 ?
Python擁有R語(yǔ)言處理復雜數據的能力及更務(wù)實(shí)的語(yǔ)言特質(zhì),更簡(jiǎn)單和直觀(guān),在近幾年的成長(cháng)很快。在數據處理范疇內,通常在規模與復雜之間要有個(gè)選擇,Python無(wú)疑當選。 ?
大數據的特征分析 ?
特征分析是從數據庫中的一組數據中提取出關(guān)于這些數據的特征式,這些特征式表達了該數據集的總體特征。如營(yíng)銷(xiāo)人員通過(guò)對客戶(hù)流失因素的特征提取,可以得到導致客戶(hù)流失的一系列原因和主要特征,利用這些特征可以有效地預防客戶(hù)的流失。 ?
變化和偏差分析。偏差包括很大一類(lèi)潛在有趣的知識,如分類(lèi)中的反常實(shí)例,模式的例外,觀(guān)察結果對期望的偏差等,其目的是尋找觀(guān)察結果與參照量之間有意義的差別。在企業(yè)危機管理及其預警中,管理者更感興趣的是那些意外規則。意外規則的挖掘可以應用到各種異常信息的發(fā)現、分析、識別、評價(jià)和預警等方面。 ?
Web頁(yè)挖掘。隨著(zhù)Internet的迅速發(fā)展及Web 的全球普及, 使得Web上的信息量無(wú)比豐富,通過(guò)對Web的挖掘,可以利用Web 的海量數據進(jìn)行分析,收集政治、經(jīng)濟、政策、科技、金融、各種市場(chǎng)、競爭對手、供求信息、客戶(hù)等有關(guān)的信息,集中精力分析和處理那些對企業(yè)有重大或潛在重大影響的外部環(huán)境信息和內部經(jīng)營(yíng)信息,并根據分析結果找出企業(yè)管理過(guò)程中出現的各種問(wèn)題和可能引起危機的先兆,對這些信息進(jìn)行分析和處理,以便識別、分析、評價(jià)和管理危機。 ?
MLib(機器學(xué)習庫) ?
Spark MLlib是一個(gè)機器學(xué)習庫,它提供了各種各樣的算法,這些算法用來(lái)在集群上針對分類(lèi)、回歸、聚類(lèi)、協(xié)同過(guò)濾等。 ?
Streaming(流計算模型) ?
Spark Streaming支持對流數據的實(shí)時(shí)處理,以微批的方式對實(shí)時(shí)數據進(jìn)行計算 ?
?
Kafka(分布式消息隊列) ?
Kafka是Linkedin于2010年12月份開(kāi)源的消息系統,它主要用于處理活躍的流式數據。 ?
活躍的流式數據在web網(wǎng)站應用中非常常見(jiàn),這些數據包括網(wǎng)站的pv、用戶(hù)訪(fǎng)問(wèn)了什么內容,搜索了什么內容等。 ?
這些數據通常以日志的形式記錄下來(lái),然后每隔一段時(shí)間進(jìn)行一次統計處理。 ?
Phoenix(hbase sql接口) ?
Apache Phoenix 是HBase的SQL驅動(dòng),Phoenix 使得Hbase 支持通過(guò)JDBC的方式進(jìn)行訪(fǎng)問(wèn),并將你的SQL查詢(xún)轉換成Hbase的掃描和相應的動(dòng)作。 ?
如何學(xué)好Java ?
萬(wàn)丈高樓平地起,首先要學(xué)好java的基礎部分,重點(diǎn)學(xué)習java SE,尤其要熟練掌握面向對象、集合框架,常用的數據結構、JDBC、異常、IO、線(xiàn)程和網(wǎng)絡(luò )編程,對于每個(gè)知識點(diǎn),*是能學(xué)做結合,開(kāi)發(fā)一些程序,便于深入了解 ?
基礎學(xué)習完畢之后,開(kāi)始進(jìn)入java web部分的學(xué)習,主要是考慮到j(luò )ava web的應用范圍很廣,而且招聘的時(shí)候,基本都要求這些。首先學(xué)習Servlet、JSP的基礎知識,了解httprequest,httpResponse,之后開(kāi)始學(xué)習Struts2、Hibernate和Spring,經(jīng)典的SSH框架 ?
在學(xué)習SSH框架的時(shí)候,平時(shí)要多應用,多開(kāi)發(fā)。同時(shí)需要閱讀一些框架的源代碼程序,了解原理,之后開(kāi)始自己動(dòng)手寫(xiě)一些小的框架 ?
做java web方向的時(shí)候,除了后臺java 代碼需要進(jìn)行學(xué)習之外,還需要學(xué)習前臺的css html jquery 等前臺開(kāi)發(fā)框架,同時(shí)需要學(xué)習后臺數據庫的配置,以及sql語(yǔ)句的書(shū)寫(xiě)和數據庫的調優(yōu) ?
java的大數據方向,尤其是要學(xué)習hadoop,spark這些主流的大數據框架,學(xué)習如何使用這些開(kāi)源工具,在使用的過(guò)程中,了解原理,熟悉源代碼 ?
java的移動(dòng)開(kāi)發(fā)方向,主要就是學(xué)習android手機客戶(hù)端程序的開(kāi)發(fā),學(xué)習anrdoi的體系架構,一些常用的組件開(kāi)發(fā),下拉框,菜單。熟練掌握activity,service的概念 ?