隨著(zhù)互聯(lián)網(wǎng)的發(fā)展，大數據、云計算等名詞也進(jìn)入我們的生活的方方面面，那么什么是大數據?什么又是云計算?下面給大家講解大數據是什么。以下是小編為你整理的怎樣學(xué)習大數據 ?
大數據是什么? ?
就字面意思理解就是大量的數據的意思;深入理解大數據是對信息資源和數據的集合，利用這些數據和信息資源分析出有用的資源，這就是大數據。 ?
容量 ?
大數據作為信息的集合，它包含了很多潛在的信息，以及各個(gè)不同行業(yè)的信息，這些信息就是大數據的容量和價(jià)值。
種類(lèi) ?
大數據的種類(lèi)有很多，因為它是一個(gè)信息的合集，因此它包含多種類(lèi)別的分析。 ?
可變性 ?
大數據不是一成不變的，隨著(zhù)時(shí)間和空間的變化，大數據也會(huì )跟著(zhù)變化。 ?
復雜性 ?
由于大數數量巨大，來(lái)源的渠道有很多，因此它表現出很強的復雜性。 ?
價(jià)值 ?
利用大數據可以分析和反映一個(gè)行業(yè)或者一個(gè)市場(chǎng)的一些規律，抓住這些規律，就可以產(chǎn)生價(jià)值。 ?
? ?
大數據的用途 ?
大數據可分成大數據技術(shù)、大數據工程、大數據科學(xué)和大數據應用等領(lǐng)域。目前人們談?wù)撟疃嗟氖谴髷祿夹g(shù)和大數據應用。工程和科學(xué)問(wèn)題尚未被重視。大數據工程指大數據的規劃建設運營(yíng)管理的系統工程;大數據科學(xué)關(guān)注大數據網(wǎng)絡(luò )發(fā)展和運營(yíng)過(guò)程中發(fā)現和驗證大數據的規律及其與自然和社會(huì )活動(dòng)之間的關(guān)系。 ?
物聯(lián)網(wǎng)、云計算、移動(dòng)互聯(lián)網(wǎng)、車(chē)聯(lián)網(wǎng)、手機、平板電腦、PC以及遍布地球各個(gè)角落的各種各樣的傳感器，無(wú)一不是數據來(lái)源或者承載的方式。 ?
有些例子包括網(wǎng)絡(luò )日志，RFID，傳感器網(wǎng)絡(luò )，社會(huì )網(wǎng)絡(luò )，社會(huì )數據(由于數據革命的社會(huì ))，互聯(lián)網(wǎng)文本和文件;互聯(lián)網(wǎng)搜索索引;呼叫詳細記錄，天文學(xué)，大氣科學(xué)，基因組學(xué)，生物地球化學(xué)，生物，和其他復雜和/或跨*的科研，軍事偵察，醫療記錄;攝影檔案館視頻檔案;和大規模的電子商務(wù) 。 ?
? ?
Hadoop ?
這是現在流行的大數據處理平臺幾乎已經(jīng)成為大數據的代名詞，所以這個(gè)是必學(xué)的。Hadoop里面包括幾個(gè)組件HDFS、MapReduce和YARN，HDFS是存儲數據的地方就像我們電腦的硬盤(pán)一樣文件都存儲在這個(gè)上面，MapReduce是對數據進(jìn)行處理計算的，它有個(gè)特點(diǎn)就是不管多大的數據只要給它時(shí)間它就能把數據跑完，但是時(shí)間可能不是很快所以它叫數據的批處理。
?
YARN是體現Hadoop平臺概念的重要組件有了它大數據生態(tài)體系的其它軟件就能在hadoop上運行了，這樣就能更好的利用HDFS大存儲的優(yōu)勢和節省更多的資源比如我們就不用再單獨建一個(gè)spark的集群了，讓它直接跑在現有的hadoop yarn上面就可以了。其實(shí)把Hadoop的這些組件學(xué)明白你就能做大數據的處理了，只不過(guò)你現在還可能對"大數據"到底有多大還沒(méi)有個(gè)太清楚的概念，聽(tīng)我的別糾結這個(gè)。 ?
等以后你工作了就會(huì )有很多場(chǎng)景遇到幾十T/幾百T大規模的數據，到時(shí)候你就不會(huì )覺(jué)得數據大真好，越大越有你頭疼的。當然別怕處理這么大規模的數據，因為這是你的價(jià)值所在，讓那些個(gè)搞Javaee的php的html5的和DBA的羨慕去吧。 ?
? ?
學(xué)了大數據能做啥 ?
故障率分析 ?
服務(wù)器故障分析對服務(wù)器的各個(gè)部件的故障率都做了分析和監控，包括 ?
生成月度故障率報表; ?
故障率異常的實(shí)時(shí)監控和自動(dòng)告警; ?
分析外部條件與故障率的關(guān)系; ?
與OS的軟件告警信息聯(lián)動(dòng)起來(lái)，及時(shí)發(fā)現服務(wù)器的亞健康狀態(tài)。 ?
服務(wù)器硬件最近幾周的故障率統計信息。按部件給出各個(gè)機型的故障率情況，及時(shí)發(fā)現批次性故障并給出告警 ?
環(huán)境監控 ?
如果能把機房環(huán)境溫度有效的監控起來(lái)，我們就能在發(fā)現異常時(shí)發(fā)出高溫告警，提前采取措施。對服務(wù)器入風(fēng)口溫度進(jìn)行采集和監控是一個(gè)較為有效的方案。 ?
下圖顯示服務(wù)器入風(fēng)口溫度變化的異常情況，經(jīng)過(guò)數據的規整和誤差修正，產(chǎn)生了高溫告警。通過(guò)自動(dòng)化流程，及時(shí)知會(huì )到機房現場(chǎng)負責人。 ?
