在 中級數據分析師的基礎上要求掌握 JAVA 語(yǔ)言和 linux 操作系統知識，能夠掌握運用Hadoop、Spark、Storm 等至少一門(mén)專(zhuān)業(yè)大數據分析軟件，從海量數據中提取相關(guān)信息，并能夠結合 R、Python 等軟件，形成嚴密的數據分析報告。就業(yè)方向：通常在*、金融、電信、零售、互聯(lián)網(wǎng)、電商、醫學(xué)等行業(yè)專(zhuān)門(mén)從事數據分析與云端大數據的人員。以下是小編為你整理的學(xué)習大數據先學(xué)什么 ?

java基礎： ?

1. Java 語(yǔ)言的發(fā)展史、java 開(kāi)發(fā)環(huán)境搭建以及環(huán)境變量的配置，java 語(yǔ)言跨平臺的原理，java 程序初次開(kāi)發(fā) ?

2. Java 語(yǔ)法格式，關(guān)鍵字，標識符，注釋?zhuān)Ａ?，數據?lèi)型，數據類(lèi)型轉換，運算符 ?

3. 程序流程控制語(yǔ)句以及其應用場(chǎng)景 ?

4. 數組的應用及其常見(jiàn)操作 ?

5. 類(lèi)和對象的概念、類(lèi)和對象之間的關(guān)系

6. 類(lèi)的組成部分(成員變量，構造方法，成員方法)及其詳細講解 ?

7. 面向對象的三大特性：繼承、封裝 及其特點(diǎn)剖析 ?

8. 接口和抽象類(lèi)及其特點(diǎn)分析 ?

9. java 的異常處理機制 ?

10. jdk API 常用類(lèi)的講解：Math,Random、String,StringBuffer,Date ?

11. Java I/O 體系介紹：File 類(lèi)的介紹和常用操作，字節流 InputStream 和OutputStream，字符流 Reader 和 Writer，以及相應實(shí)現類(lèi)的介紹和使用，緩沖流和序列化流的的詳解，IO 性能分析，字節和字符的轉化流，包裝流的概念，以及常用包裝類(lèi)。 ?

數據來(lái)源 ?

大數據分析的數據來(lái)源有很多種，包括公司或者機構的內部來(lái)源和外部來(lái)源。分為以下幾類(lèi)： ?

1.交易數據。包括POS機數據、信用卡刷卡數據、電子商務(wù)數據、互聯(lián)網(wǎng)點(diǎn)擊數據、“企業(yè)資源規劃”(ERP)系統數據、銷(xiāo)售系統數據、客戶(hù)關(guān)系管理(CRM)系統數據、公司的生產(chǎn)數據、庫存數據、訂單數據、供應鏈數據等。 ?

2.移動(dòng)通信數據。能夠上網(wǎng)的智能手機等移動(dòng)設備越來(lái)越普遍。移動(dòng)通信設備記錄的數據量和數據的立體完整度，常常優(yōu)于各家互聯(lián)網(wǎng)公司掌握的數據。移動(dòng)設備上的軟件能夠追蹤和溝通無(wú)數事件，從運用軟件儲存的交易數據(如搜索產(chǎn)品的記錄事件)到個(gè)人信息資料或狀態(tài)報告事件(如地點(diǎn)變更即報告一個(gè)新的地理編碼)等。 ?

3.人為數據。人為數據包括電子郵件、文檔、圖片、音頻、視頻，以及通過(guò)微信、博客、推特、維基、臉書(shū)、Linkedin等社交媒體產(chǎn)生的數據流。這些數據大多數為非結構性數據，需要用文本分析功能進(jìn)行分析。 ?

4.機器和傳感器數據。來(lái)自感應器、量表和其他設施的數據、定位/GPS系統數據等。這包括功能設備會(huì )創(chuàng )建或生成的數據，例如智能溫度控制器、智能電表、工廠(chǎng)機器和連接互聯(lián)網(wǎng)的家用電器的數據。來(lái)自新興的物聯(lián)網(wǎng)(Io T)的數據是機器和傳感器所產(chǎn)生的數據的例子之一。來(lái)自物聯(lián)網(wǎng)的數據可以用于構建分析模型，連續監測預測性行為(如當傳感器值表示有問(wèn)題時(shí)進(jìn)行識別)，提供規定的指令(如警示技術(shù)人員在真正出問(wèn)題之前檢查設備)等。 ?

利用黑名單和灰名單識別風(fēng)險 ?

互聯(lián)網(wǎng)金融公司面臨的主要風(fēng)險為惡意欺詐，70%左右的信貸損失來(lái)源于申請人的惡意欺詐?？蛻?hù)逾期或者違約貸款中至少有30%左右可以收回，另外的一些可以通過(guò)催收公司進(jìn)行催收，M2逾期的回收率在20%左右。 ?

市場(chǎng)上有近百家的公司從事個(gè)人征信相關(guān)工作，其主要的商業(yè)模式是反欺詐識別，灰名單識別，以及客戶(hù)征信評分。反欺詐識別中，重要的一個(gè)參考就是黑名單，市場(chǎng)上領(lǐng)先的大數據風(fēng)控公司擁有將近1000萬(wàn)左右的黑名單，大部分黑名單是過(guò)去十多年積累下來(lái)的老賴(lài)名單，真正有價(jià)值的黑名單在兩百萬(wàn)左右。

?

黑名單來(lái)源于民間借貸、線(xiàn)上P2P、信用卡公司、小額借貸等公司的歷史違約用戶(hù)，其中很大一部分不再有借貸行為，參考價(jià)值有限。另外一個(gè)主要來(lái)源是催收公司，催收的成功率一般小于于30%(M3以上的)，會(huì )產(chǎn)生很多黑名單。 ?

灰名單是逾期但是還沒(méi)有達到違約的客戶(hù)(逾期少于3個(gè)月的客戶(hù))，灰名單也還意味著(zhù)多頭借貸，申請人在多個(gè)貸款平臺進(jìn)行借貸?？偨杩顢的窟h遠超過(guò)其還款能力。 ?

黑名單和灰名單是很好的風(fēng)控方式，但是各個(gè)征信公司所擁有的名單僅僅是市場(chǎng)總量的一部分，很多互聯(lián)網(wǎng)金融公司不得不接入多個(gè)風(fēng)控公司，來(lái)獲得更多的 黑名單來(lái)提高查得率。央行和上海經(jīng)信委正在聯(lián)合多家互聯(lián)網(wǎng)金融公司建立統一的黑名單平臺，但是很多互聯(lián)網(wǎng)金融公司都不太愿意貢獻自家的黑名單，這些黑名單 是用真金白銀換來(lái)的教訓。另外如果讓外界知道了自家平臺黑名單的數量，會(huì )影響其公司聲譽(yù)，降低公司估值，并令投資者質(zhì)疑其平臺的風(fēng)控水平。 ?

大數據會(huì )帶來(lái)哪些安全隱患 ?

數據收集時(shí)帶來(lái)的風(fēng)險：在大數據環(huán)境中，可以通過(guò)用戶(hù)的網(wǎng)址搜索記錄、手機上網(wǎng)記錄、淘寶購物記錄等信息來(lái)獲取用戶(hù)的信息，如興趣愛(ài)好、日常生活等。但是，這些數據的收集其實(shí)都是在用戶(hù)未知的情況下進(jìn)行的，用戶(hù)是不清楚自己的這些信息是被用于哪些用途，亦或是誰(shuí)用了這些信息，也不清楚這些信息泄露以后是由誰(shuí)來(lái)負責。因此，在這樣的情況下，用戶(hù)的個(gè)人信息隱私安全是非常危險的。 ?

安全漏洞多，數據泄露風(fēng)險大：部分大型公司的安全漏洞比較多，而且這些公司也可能會(huì )存在對用戶(hù)數據的違規使用，其安全協(xié)議過(guò)于寬松。因此，一旦泄露，就非常危險，因為不少公司掌握的用戶(hù)數據不僅僅是一個(gè)號碼一個(gè)地址那么簡(jiǎn)單，而是可能是銀行卡信息。 ?

在數據分析和挖掘的時(shí)候，可能會(huì )分析出用戶(hù)的隱私信息，匿名就再無(wú)作用：在分析與挖掘有價(jià)值的信息時(shí)，很大可能會(huì )分析出用戶(hù)的隱私信息，不但有泄露隱私的風(fēng)險，同時(shí)也可能導致隱私保護的方法失效，例如匿名。 ?

無(wú)意識歧視：其實(shí)這樣的情況目前已經(jīng)非常普遍，當你申請貸款、工作招聘等時(shí)候，決策者非常依賴(lài)大數據來(lái)幫助他們做出決定，因此很可能會(huì )出現無(wú)意識地根據種族、性別或者年齡篩選，出現歧視的情況。 ?

數據相互融合能夠推理出個(gè)人所有的敏感信息：數據的融合使多個(gè)數據融合在一體，從而識別出相應的實(shí)體。通常從一些非常簡(jiǎn)單的數據收集，如用戶(hù)的購物記錄、網(wǎng)上搜索記錄等。殊不知，在數據融合的時(shí)候，非常容易地能夠推測出一個(gè)人所有的敏感信息，甚至能推測出你的性格，預測你的動(dòng)向，給個(gè)人安全帶來(lái)非常大的威脅。 ?