需求決定架構，對于運維來(lái)說(shuō)也是一樣;因此，探討一個(gè)運維平臺應該怎么樣構建，要看具體的需求再決定。以下是小編為你整理的為什么學(xué)習大數據 ?
大數據的基礎服務(wù)，包括傳輸系統(Flume和Kafka)，計算調度(Yarn和K8S)以及存儲系統(HDFS和HBASE)。 ?
大數據平臺的配置與運維需求包括：配置管理與資產(chǎn)管理，可監控、可報警;可執行批量作業(yè); 如果還有點(diǎn)期待就是Ai更好。 ?
自動(dòng)化運維的架構，應該足夠簡(jiǎn)單，開(kāi)源可修改;解決非專(zhuān)業(yè)運維團隊的專(zhuān)業(yè)運維問(wèn)題。投入產(chǎn)出比高，架構簡(jiǎn)單，一個(gè)系統迭代容易打造精品。
其中配置管理應該具備多數據中心支持，動(dòng)態(tài)管理的成員關(guān)系，基于gossip協(xié)議的事件傳輸?；谳p量型CMDB系統，解決傳統CMDB無(wú)法動(dòng)態(tài)變更，自動(dòng)發(fā)現，狀態(tài)探測問(wèn)題。 ?
批量作業(yè)平臺，要解決運維中高頻的批處理任務(wù)，確保到達率很穩定，很可靠;盡量引入原生支持的組件，減少開(kāi)發(fā)的工作量。 ?
DNS一直是基礎運維的核心，也是所有業(yè)務(wù)的重中之重。因此，自動(dòng)化運維平臺要將DNS的服務(wù)器及客戶(hù)端納入統一的管理。 ?
智能對象設計 ?
Navicat提供一個(gè)直觀(guān)和設計完善的用戶(hù)界面，用于創(chuàng )建、修改和管理資料庫的所有對象，例如表、視圖、函數或過(guò)程、索引、觸發(fā)器和序列。我們的表設計器幫助用戶(hù)創(chuàng )建和修改數據庫的表，讓設置高級選項，如關(guān)系、限制、觸發(fā)器和更多。 ?
簡(jiǎn)化數據編輯 ?
使用Navicat瀏覽和修改數據，插入、編輯、刪除數據或復制和粘貼記錄到數據表形式的數據編輯器，Navicat將運行相應的命令(例如 INSERT或UPDATE)，免除寫(xiě)復雜的SQL。廣泛的數據編輯工具令編輯工作更為方便，例如外鍵查找、set/enum選擇器和記錄篩選。 ?
簡(jiǎn)易SQL編輯 ?
可以創(chuàng )建、編輯、運行查詢(xún)和檢視結果，自動(dòng)完成代碼功能不僅幫助用戶(hù)完成輸入查詢(xún)，也可以保證快捷地輸入無(wú)錯誤的代碼。查詢(xún)創(chuàng )建工具使用戶(hù)創(chuàng )建和編輯查詢(xún)而不需要有SQL的知識。SQL美化功能旨在提高工作效率，創(chuàng )建格式整齊的查詢(xún)，提高查詢(xún)的可讀性。 ?
?
無(wú)縫數據遷移 ?
Navicat具有廣泛的功能，配備了一套簡(jiǎn)單、易于使用的用戶(hù)界面來(lái)管理和處理數據。數據同步：分析和遷移數據庫或模式之間的數據，這樣可以確保每個(gè)數據庫保存相同的信息。 ?
Plotly ?
這是一款數據可視化工具，可兼容JavaScript、MATLAB、Python以及R等語(yǔ)言。Plotly甚至能夠幫助不具備代碼編寫(xiě)技能或者時(shí)間的用戶(hù)完成動(dòng)態(tài)可視化處理。這款工具常由新一代數據科學(xué)家使用，因為其屬于一款業(yè)務(wù)開(kāi)發(fā)平臺且能夠快速完成大規模數據的理解與分析。 ?
Rapidminer ?
作為另一款大數據處理必要工具，Rapidminer屬于一套開(kāi)源數據科學(xué)平臺，且通過(guò)可視化編程機制發(fā)揮作用。其功能包括對模型進(jìn)行修改、分析與創(chuàng )建，且能夠快速將結果整合至業(yè)務(wù)流程當中。Rapidminer目前備受矚目，且已經(jīng)成為眾多*數據科學(xué)家心目中的可靠工具。 ?
Cassandra ?
Apache Cassandra 是另一款值得關(guān)注的工具，因為其能夠有效且高效地對大規模數據加以管理。它屬于一套可擴展NoSQL數據庫，能夠監控多座數據中心內的數據并已經(jīng)在Netflix及eBay等*企業(yè)當中效力。 ?
Hadoop MapReduce> ?
這是一套軟件框架，允許用戶(hù)利用其編寫(xiě)出以可靠方式并發(fā)處理大規模數據的應用。MapReduce應用主要負責完成兩項任務(wù)，即映射與規約，并由此提供多種數據處理結果。這款工具最初由谷歌公司開(kāi)發(fā)完成。 ?
大數據安全
大數據的安全令人擔憂(yōu)，大數據的保護越來(lái)越重要——大數據的不斷增加，對數據存儲的物理安全性要求會(huì )越來(lái)越高，從而對數據的多副本與容災機制提出更高的要求。進(jìn)入2013年，網(wǎng)絡(luò )和數字化生活使得犯罪分子更容易獲得關(guān)于人的信息，也有了更多不易被追蹤和防范的犯罪手段，可能會(huì )出現更高明的騙局，也就是說(shuō)大數據已經(jīng)把你出賣(mài)。 ?
2014年數據科學(xué)作為一個(gè)與大數據相關(guān)的新興*出現，將有專(zhuān)門(mén)針對數據科學(xué)的專(zhuān)業(yè)形成，有博士、碩士甚至本科生出現。同時(shí)，有大量數據科學(xué)的專(zhuān)著(zhù)出版。 ?
數據共享聯(lián)盟將在2014年逐漸壯*為產(chǎn)業(yè)的核心一環(huán)。數據是基礎，之前在科技部的支持下，已建立了多個(gè)領(lǐng)域的數據共享平臺，包括氣象、地震、林業(yè)、農業(yè)、海洋、人口與健康、地球系統科學(xué)數據共享平臺等。之后，數據共享將擴展到企業(yè)層面。 ?
大數據將在2014年催生一批新的就業(yè)崗位，如數據分析師、數據科學(xué)家等。具有豐富經(jīng)驗的數據分析人才成為稀缺資源，數據驅動(dòng)型工作機會(huì )將呈現出爆炸式的增長(cháng)。大數據領(lǐng)域*秀的科學(xué)家們紛紛轉行股票、期貨、甚至賭博(能比別人多看遠一秒鐘，就是效益)。 ?
現在的大數據，將來(lái)都不夠大。2014年，大數據將獲得更多的關(guān)注、研究、開(kāi)發(fā)和應用，所引起的結果是：體現大數據特征的體量大、速度快、模態(tài)多、價(jià)值密度低等幾個(gè)V的特性將變得更加極致。尤其是大數據的價(jià)值密度會(huì )越來(lái)越低——數據不斷地增長(cháng)，如何去除大數據中的噪聲等垃圾數據，進(jìn)而從中挖掘和提取出有價(jià)值信息的難度也隨之增大。
?
