數據是大數據風(fēng)控的核心，大數據要求的不但是數據多，更要求維度豐富;而風(fēng)控則是對市場(chǎng)、信用以及操作層面的風(fēng)險控制。以下是小編為你整理的大數據處理學(xué)習 ?

在大數據風(fēng)控這個(gè)行業(yè)里混，需要了解用戶(hù)，了解場(chǎng)景，而這些往往都可以通過(guò)數據間接反映出來(lái)。 ?

比如，用戶(hù)在某一時(shí)期內在多家機構申請過(guò)貸款，那說(shuō)明該用戶(hù)目前借錢(qián)意愿強烈，即使歷史征信良好，也要用策略攔住他的申請，因為他很可能出現拆東墻補西墻的可能。

因此，用數據說(shuō)話(huà)是一種方法論。不同數據對于風(fēng)險的作用不同，獲取難度也不同，這就決定了并非對每個(gè)用戶(hù)都能獲取到其各個(gè)維度的信息。 ?

同時(shí)，有很多特征只有很少的用戶(hù)才會(huì )有，也因此造就了數據的稀疏性。 ?

如何將稀疏數據用在各種機器學(xué)習模型中，則正是要考察模型人員對于風(fēng)險及產(chǎn)品理解的時(shí)候了。 ?

要做好大數據風(fēng)控，除了數據，模型就是最重要的了。模型有很多，如一般的線(xiàn)性回歸，Logistic回歸以及深度學(xué)習等，在實(shí)際的業(yè)務(wù)場(chǎng)景中，有的可能單一模型就能達到很好的效果，有的則需要幾個(gè)模型的結合，而具體使用哪個(gè)模型用哪些特征，則是要考察模型人員對業(yè)務(wù)和算法的理解了。 ?

再說(shuō)一下大數據風(fēng)控的直觀(guān)感受。傳統風(fēng)控更像是冷兵器時(shí)代的戰爭，雖有協(xié)作但更多的是各作戰單位憑借個(gè)人能力的大混戰;而大數據風(fēng)控則像是現代戰爭中的立體作戰，各個(gè)作戰單位(數據)在統一的指揮中樞(算法)里高度協(xié)同作戰。大數據風(fēng)控能將相似的人更精準的分群，會(huì )讓你看到形形色色更加的人，會(huì )讓你從紛繁的單一的數據中看到其背后的萬(wàn)千世界。 ?

總之，做數據做模型前一定要理解人，做完數據模型后還要能夠解釋人。 ?

初識數據分析 ?

這個(gè)階段是你學(xué)習數據分析的*個(gè)月。核心的三本書(shū)就是：統計學(xué)、R IN ACTION、深入淺出數據分析。*星期：好好的閱讀一下統計學(xué)這本教材。按照每天3個(gè)小時(shí)的時(shí)間，一個(gè)星期你至少能看完8章。踏踏實(shí)實(shí)的看完，課后習題不需要做，重點(diǎn)放在理解公式推導以及專(zhuān)業(yè)名字定義的理解上。第二星期：有了統計學(xué)基礎，R語(yǔ)言學(xué)習起來(lái)就不會(huì )太費勁?！禦 in action》 是公認的R語(yǔ)言經(jīng)典教材。 ?

跟著(zhù)書(shū)上的代碼仔細的敲一筆遍，你不需要全部看完這本書(shū)，只需要學(xué)會(huì )前8章左右就差不多了。 學(xué)完后你會(huì )對統計學(xué)有一個(gè)更深的認識～第三個(gè)星期：《深入淺出數據分析》這本書(shū)很大頭，不是因為它內容多，而是因為它廢話(huà)和插圖多。 ?

很有意思的一本入門(mén)級別的教材，花一個(gè)星期好好的讀一下，能學(xué)多少是多少。第四個(gè)星期：查漏補缺。經(jīng)過(guò)前三個(gè)星期的學(xué)習，你一定有不少的疑惑或者遺忘了某些知識。不要著(zhù)急，這個(gè)星期就是用來(lái)好好回顧一下你本月所學(xué)的東西，不懂的定義再看看，不會(huì )的代碼再敲敲，不懂的知識再google一下～ ?

大數據的經(jīng)典案例 ?

梅西百貨的實(shí)時(shí)定價(jià)機制。根據需求和庫存的情況，該公司基于SAS的系統對多達7300萬(wàn)種貨品進(jìn)行實(shí)時(shí)調價(jià)。 ?

Tipp24 AG針對歐洲博彩業(yè)構建的下注和預測平臺。該公司用KXEN軟件來(lái)分析數十億計的交易以及客戶(hù)的特性，然后通過(guò)預測模型對特定用戶(hù)進(jìn)行動(dòng)態(tài)的營(yíng)銷(xiāo)活動(dòng)。這項舉措減少了90%的預測模型構建時(shí)間。SAP公司正在試圖收購KXEN?！癝AP想通過(guò)這次收購來(lái)扭轉其長(cháng)久以來(lái)在預測分析方面的劣勢?！盠aney分析到。

?

沃爾瑪的搜索。這家零售業(yè)寡頭為其網(wǎng)站W(wǎng)almart.com自行設計了*的搜索引擎Polaris，利用語(yǔ)義數據進(jìn)行文本分析、機器學(xué)習和同義詞挖掘等。根據沃爾瑪的說(shuō)法，語(yǔ)義搜索技術(shù)的運用使得在線(xiàn)購物的完成率提升了10%到15%?！皩ξ譅柆攣?lái)說(shuō)，這就意味著(zhù)數十億美元的金額?！盠aney說(shuō)。 ?

快餐業(yè)的視頻分析(Laney沒(méi)有說(shuō)出這家公司的名字)。該公司通過(guò)視頻分析等候隊列的長(cháng)度，然后自動(dòng)變化電子菜單顯示的內容。如果隊列較長(cháng)，則顯示可以快速供給的食物;如果隊列較短，則顯示那些利潤較高但準備時(shí)間相對長(cháng)的食品。 ?

ranger(安全管理工具) ?

Apache ranger是一個(gè)hadoop集群權限框架，提供操作、監控、管理復雜的數據權限，它提供一個(gè)集中的管理機制，管理基于yarn的hadoop生態(tài)圈的所有數據權限。 ?

knox(hadoop安全網(wǎng)關(guān)) ?

Apache knox是一個(gè)訪(fǎng)問(wèn)hadoop集群的restapi網(wǎng)關(guān)，它為所有rest訪(fǎng)問(wèn)提供了一個(gè)簡(jiǎn)單的訪(fǎng)問(wèn)接口點(diǎn)，能完成3A認證(Authentication，Authorization，Auditing)和SSO(單點(diǎn)登錄)等 ?

falcon(數據生命周期管理工具) ?

Apache Falcon 是一個(gè)面向Hadoop的、新的數據處理和管理平臺，設計用于數據移動(dòng)、數據管道協(xié)調、生命周期管理和數據發(fā)現。它使終端用戶(hù)可以快速地將他們的數據及其相關(guān)的處理和管理任務(wù)“上載(onboard)”到Hadoop集群。 ?

Ambari(安裝部署配置管理工具) ?

Apache Ambari 的作用來(lái)說(shuō)，就是創(chuàng )建、管理、監視 Hadoop 的集群，是為了讓 Hadoop 以及相關(guān)的大數據軟件更容易使用的一個(gè)web工具。 ?