近年來(lái)關(guān)注計算機學(xué)習的相關(guān)算法的用戶(hù)越來(lái)越多，小編整理了關(guān)于左程云：程序員該如何學(xué)習算法？，機器學(xué)習必學(xué)算法??，供您參考

1.左程云：程序員該如何學(xué)習算法？

大家好，我是左程云。我本科就讀于華中科技*、碩士畢業(yè)于在芝加哥*。先后在IBM、百度、GrowingIO和亞馬遜工作，是一個(gè)刷題7年的算法愛(ài)好者，也是?？途W(wǎng)的老師。2014年起專(zhuān)職做程序員算法和數據結構培訓，代碼面試培訓，刷題交流等相關(guān)工作。 我是《程序員代碼面試指南--IT名企算法與數據結構題目*解》的作者 ，書(shū)籍涉及算法與數據結構編程題目240道以上，并且個(gè)人實(shí)現出*解，大部分題目為面試高頻。這篇我想寫(xiě)寫(xiě)算法的重要性、我個(gè)人是如何學(xué)習算法以及一些如何學(xué)習算法的建議。 算法在求職以及工作后的重要性 求職面試必考（校招+社招），且國內工資越高的面試中算法比重就越大。 我分別說(shuō)一下國內和國外的行情?！　ぁ鴥鹊脑?huà)，一般來(lái)講，工資高的公司在面試時(shí)算法和數據結構題目的比重較大，工資一般的公司比重較小。當然同樣公司的不同崗位，要求也會(huì )不同，但總體趨勢就是 國內好公司愛(ài)考算法和數據結構 。這是目前國內互聯(lián)網(wǎng)公司的情況。 國外的互聯(lián)網(wǎng)公司呢，幾乎只考算法和數據結構，很多年前就是這樣了，一直如此。我相信國內會(huì )逐漸變得像國外一樣，并不是崇洋媚外，而是算法和數據結構題目真的能考出東西。先拋開(kāi)算法，我們來(lái)說(shuō)說(shuō)面試以及如何準備。面試中都會(huì )考什么呢？ 面試中會(huì )考察算法，操作系統，數據庫，計算機網(wǎng)絡(luò )，編程語(yǔ)言，項目（校招涉及）/經(jīng)歷（社招中涉及的更多）如何準備？ · 操作系統，數據庫，計算機網(wǎng)絡(luò )，編程語(yǔ)言這些都是平時(shí)學(xué)習，記住了，理解了，不忘記就可以了項目或者經(jīng)歷是平時(shí)準備的，如果馬上面試了再去準備也是很難的，作假在面試中會(huì )直接被面試官看穿，所以這個(gè)平時(shí)就要準備好，如果是校招，那平時(shí)就要做一做有用的項目，如果是社招，平時(shí)在工作中就要用心做。 算法和數據結構，是真的需要好好寫(xiě)代碼才能掌握，不是說(shuō)看了理解了就真正會(huì )的了。算法筆試面試的特點(diǎn)就是沒(méi)有特點(diǎn)，什么樣的題都可能遇到，因為根本沒(méi)有考綱，面試官就是普通的程序員，他們在工作中或者在網(wǎng)絡(luò )上遇到什么題不錯，就可能考，所以?xún)热菡娴奶嗔?，而且也無(wú)窮盡。這不是一個(gè)標準考試，這是能力考試。 所以，我建議大家面試或者筆試前抽出20%的時(shí)間去理解和記憶非算法和數據結構的題目，剩下的時(shí)間就是去刷題。今天學(xué)習算法變得越來(lái)越重要，雖然每個(gè)公司行業(yè)不同、崗位復雜，但算法能力強是分析能力和解決問(wèn)題能力的提現。雖然計算機的處理能力越來(lái)越強，但好算法的代碼執行效率相比起沒(méi)有優(yōu)化的代碼，已經(jīng)不能用快多少倍來(lái)描述了。計算機科學(xué)有自己的衡量標準，也就我們常說(shuō)的復雜度標準。同時(shí)，學(xué)習算法對理解底層實(shí)現是非常重要的，優(yōu)秀的程序員專(zhuān)注細節和底層，具備算法能力是起點(diǎn)更是基礎。包括今天很多的領(lǐng)域，比如機器學(xué)習，深度學(xué)習，還有大熱的AI領(lǐng)域，想要研究透徹，都離不開(kāi)算法好的大腦。還有很重要的，加薪和跳槽，算法都起著(zhù)非常重要的作用。學(xué)習算法可不僅僅是刷題，這一過(guò)程中自己的思維和想法的提升才是學(xué)習算法的*好處。我是如何學(xué)習算法的？ 本科在華中科技*計算機，這一期間能在學(xué)業(yè)上讓自己滿(mǎn)意的可能就是沒(méi)有掛科而已。碩士在芝加哥*，出國之前就了解到想要在國外找工作的話(huà)，面試時(shí)幾乎只考算法和數據結構的題目，于是開(kāi)始了刷題，也就是搜集這方面的題，并且用代碼實(shí)現出來(lái)，不斷看題解和與高手討論。 就這樣從2010年到今天，刷了7年算法和數據結構的面試題。剛開(kāi)始其實(shí)只是為了找工作才開(kāi)始刷題，但是半年之后就變成了興趣。剛開(kāi)始刷題的過(guò)程中很不順利，因為很多算法和數據結構，教材也不會(huì )講。而且去網(wǎng)上搜各種各樣的分析文章也讀不懂，感覺(jué)基礎差的很遠。當時(shí)網(wǎng)上的分析文章，也不會(huì )像今天這么易懂，高手都是把最核心的點(diǎn)說(shuō)出來(lái)，但是我沒(méi)摸到人家想說(shuō)的點(diǎn)之前，就已經(jīng)不會(huì )了。于是就把很多很厚的書(shū)拿來(lái)啃，書(shū)上也看不懂就盡可能的找到高手向人家請教。對書(shū)上的題目實(shí)現了好幾遍，才發(fā)現入了門(mén)，頭腦也開(kāi)始活泛起來(lái)。遇到不會(huì )的就查，發(fā)現一大片知識不知道就練。在網(wǎng)上發(fā)帖被嘲笑的日子，其實(shí)非常的漲見(jiàn)識，我很珍視那段歲月。當時(shí)在國外，學(xué)費也貴，因為錢(qián)的刺激和好勝心，居然沒(méi)有讓我變態(tài)，而是變成了一種斗志，用了大量的時(shí)間好好刷題。剛開(kāi)始代碼實(shí)現算法和數據結構的題目真的非常痛苦，因為這部分的內容相比其他方面的知識絕對算高門(mén)檻，而我最開(kāi)始的基礎也并不好?，F在我經(jīng)常在網(wǎng)上給同學(xué)們講題，看到同學(xué)們表達的抱怨，那簡(jiǎn)直就是當年的我。暗暗發(fā)下心愿，如果有一天講課，絕對做一個(gè)人人都能聽(tīng)懂的好老師。但不管怎么引導，算法學(xué)習都是一個(gè)脫皮換骨的痛苦過(guò)程，但好在會(huì )迅速上癮，堅持半年之后就能一直堅持下去了。算法和數據結構問(wèn)題的技術(shù)累積需要長(cháng)時(shí)間的投入，因為內容又多又雜又難，很多算法是那種你很懷疑自己再來(lái)一輩子也可能想不到的解法。當時(shí)作為一個(gè)小白，一個(gè)算法的意思看懂了，實(shí)現起來(lái)是如此的難，測試用例總能指出我的幼稚；寫(xiě)了很多代碼終于過(guò)了這一題，看到高手寫(xiě)的實(shí)現，自己又幻滅了，高手寫(xiě)的好棒，自己寫(xiě)的……然后收拾起碎裂一地的三觀(guān)，重新出發(fā)。解了很多題目之后，類(lèi)似的題目出現，自己還是會(huì )想很久。這讓我意識到，自己缺乏總結，于是開(kāi)始了總結的過(guò)程，也萌生了寫(xiě)書(shū)的沖動(dòng)。刷完一道題其實(shí)是一件很難的事情，因為普通解法很容易，但是*解真得去耐著(zhù)性子研究好久，去查資料，去做優(yōu)化，這個(gè)過(guò)程很漫長(cháng)但是足夠迷人。到底應該怎樣學(xué)習算法，作為過(guò)來(lái)人，給大家的建議 先跟大家聊聊算法吧。在網(wǎng)絡(luò )上流行一句話(huà)：算法分三種，競賽的算法、面試的算法、算法。雖然我覺(jué)得這么分非常讓人無(wú)語(yǔ)，但其實(shí)可以去這么理解，因為競賽、面試和純理論的要求和限制是不同的，所以算法在不同的要求中展現了不同的樣子。對于競賽來(lái)說(shuō)，每道題對輸入參數和樣本量的要求都是非常明確的，同時(shí)規定的非常明確的還有空間的限制和運行時(shí)間的限制。每一個(gè)競賽選手都非常熟練怎么根據這些提前給好的限制，反推出自己需要實(shí)現一個(gè)什么樣復雜度的解法才能通過(guò)。每一行代碼包含著(zhù)前輩和自己思考過(guò)的優(yōu)化。而對于面試來(lái)說(shuō)，限制往往并不明確，造成這個(gè)現象的原因也很好理解。競賽中當然是分數最重要。在面試的過(guò)程中，與面試官的交流和體現自己想事情的方式、體現自己邏輯的嚴密更重要。所以同一道題，在競賽中必須寫(xiě)清楚限制，而在面試中一道題剛開(kāi)始的限制沒(méi)那么多，目的就是縮短你理解題目的時(shí)間，讓面試者先寫(xiě)出一點(diǎn)什么，然后和面試官展開(kāi)討論，隨著(zhù)討論的深入，再逐漸的把限制聊清楚?？傊诿嬖嚨膱?chǎng)合就是想看看你想問(wèn)題的習慣、軌跡以及表達能力是否符合要求。當然，不管是什么要求下的算法，經(jīng)常練習算法和數據結構題目對一個(gè)人在邏輯上的提升都是顯而易見(jiàn)的，在學(xué)校參加ACM并取得很好成績(jì)的同學(xué)，如果不是表達能力特別差的話(huà)，是一定會(huì )收獲很多offer的，因為思維被鍛煉的很好。對于算法，我給大家的建議： 先找到線(xiàn)團，然后進(jìn)入線(xiàn)團里學(xué)著(zhù)怎么玩。為了進(jìn)入線(xiàn)團，需要先把基礎知識掌握好?！端惴ê蛿祿Y構》（教材），你一定要看完+理解。這里面講的都是不能再基礎的東西了，覺(jué)得講得不好，自己搜維基百科。沒(méi)辦法，如果堅持不下來(lái)，你后面就受罪去吧。然后有一些很經(jīng)典的書(shū)可以迅速讓你進(jìn)入狀態(tài)，比如我這本《程序員代碼面試指南》，還有《劍指offer》，配合在線(xiàn)練習： 對于很龐大的算法，我個(gè)人的習慣是找例子來(lái)引導自己的思路，一點(diǎn)一點(diǎn)的接近算法的核心。*需要注意的是，一定要寫(xiě)代碼，光看沒(méi)有用的。對于經(jīng)典算法的學(xué)習，大體上分成幾個(gè)階段：*階段：對于某一個(gè)具體的算法，首先要搞清楚這個(gè)算法解決的問(wèn)題是什么，可能是實(shí)現一個(gè)具體的功能，也可能是在某些方面，比如時(shí)間復雜度或者空間復雜度方面很卓越，總之搞清楚這個(gè)算法被研究出來(lái)的目的是什么。 第二階段：然后就要弄清楚這個(gè)算法的生存環(huán)境了，也就是看看你此時(shí)研究的東西是不是對別的知識有依賴(lài)，應該先把底層依賴(lài)的知識理解并掌握。這些問(wèn)題都解決之后，就進(jìn)入到算法本身的學(xué)習，理解一個(gè)算法是一件辛苦的事情，剛開(kāi)始看必然會(huì )產(chǎn)生很多的困惑，比如經(jīng)常會(huì )懷疑作者講述的內容的重要性？這些內容和這個(gè)算法有什么聯(lián)系呢？經(jīng)常會(huì )有這種摸不著(zhù)頭腦的感覺(jué)，其實(shí)作者做的鋪墊都是為了建立起描述算法主要內容的基礎，只有接受和理解這些基礎，才能逐漸觸碰到算法的精髓，所以耐心是很重要的。 第三階段：算法的主要過(guò)程看完之后，往往還是會(huì )感到困惑，主要是不知道這個(gè)過(guò)程好在哪，這就進(jìn)入了下一個(gè)階段，理解作者對這個(gè)過(guò)程在功能性或者效率卓越這件事上的解釋和證明。這才真正觸碰到算法最精髓的部分，也就是深度的理解算法的主要過(guò)程所帶來(lái)的好處，這才是最鍛煉人理解能力的地方。 第四階段：上面幾點(diǎn)是算法學(xué)習階段的過(guò)程了，接下來(lái)就是研究算法的代碼實(shí)現，自己設計測試用例親自跑一下代碼，以及從代碼運行時(shí)間的角度分析這個(gè)算法的優(yōu)勢，這也是加深對算法的理解的過(guò)程。 第五階段：*是配合相應的題目練習，讓自己通過(guò)題目練習的方式，會(huì )用、善用學(xué)習到的算法，并對這個(gè)算法產(chǎn)生一定的敏感程度，具體是指看到某些題目時(shí)，能夠根據題目的特點(diǎn)，產(chǎn)生與該算法的對應，也就是具備舉一反三的能力。 學(xué)習永無(wú)止境，不管是算法小白，還是有一定的算法基礎，提升算法永遠都是剛需，我正好要在?？途W(wǎng)即將開(kāi)一個(gè)算法班，針對算法小白的初級班和有一定算法基礎的進(jìn)階班，如果你想跟我一起學(xué)習，也歡迎你報名跟我一起探討算法，希望所有努力和上心的人都能成為大牛。課程報名： 初級班： 進(jìn)階班： 當然，正值雙十一，正好?？途W(wǎng)上有個(gè)雙十一的活動(dòng)，這樣買(mǎi)會(huì )比較優(yōu)惠：

2.機器學(xué)習必學(xué)算法

本文介紹了 10 大常用機器學(xué)習算法，包括線(xiàn)性回歸、Logistic 回歸、線(xiàn)性判別分析、樸素貝葉斯、KNN、隨機森林等。選自Medium，作者：，機器之心編譯，參與：Geek AI、路。1. 線(xiàn)性回歸在統計學(xué)和機器學(xué)習領(lǐng)域，線(xiàn)性回歸可能是最廣為人知也最易理解的算法之一。預測建模主要關(guān)注的是在犧牲可解釋性的情況下，盡可能最小化模型誤差或做出最準確的預測。我們將借鑒、重用來(lái)自許多其它領(lǐng)域的算法（包括統計學(xué)）來(lái)實(shí)現這些目標。線(xiàn)性回歸模型被表示為一個(gè)方程式，它為輸入變量找到特定的權重（即系數 B），進(jìn)而描述一條*擬合了輸入變量（x）和輸出變量（y）之間關(guān)系的直線(xiàn)。線(xiàn)性回歸例如： y = B0 + B1 * x我們將在給定輸入值 x 的條件下預測 y，線(xiàn)性回歸學(xué)習算法的目的是找到系數 B0 和 B1 的值。我們可以使用不同的技術(shù)來(lái)從數據中學(xué)習線(xiàn)性回歸模型，例如普通最小二乘法的線(xiàn)性代數解和梯度下降優(yōu)化。線(xiàn)性回歸大約有 200 多年的歷史，并已被廣泛地研究。在使用此類(lèi)技術(shù)時(shí)，有一些很好的經(jīng)驗規則：我們可以刪除非常類(lèi)似（相關(guān)）的變量，并盡可能移除數據中的噪聲。線(xiàn)性回歸是一種運算速度很快的簡(jiǎn)單技術(shù)，也是一種適合初學(xué)者嘗試的經(jīng)典算法。2. Logistic 回歸Logistic 回歸是機器學(xué)習從統計學(xué)領(lǐng)域借鑒過(guò)來(lái)的另一種技術(shù)。它是二分類(lèi)問(wèn)題的*方法。像線(xiàn)性回歸一樣，Logistic 回歸的目的也是找到每個(gè)輸入變量的權重系數值。但不同的是，Logistic 回歸的輸出預測結果是通過(guò)一個(gè)叫作「logistic 函數」的非線(xiàn)性函數變換而來(lái)的。logistic 函數的形狀看起來(lái)像一個(gè)大的「S」，它會(huì )把任何值轉換至 0-1 的區間內。這十分有用，因為我們可以把一個(gè)規則應用于 logistic 函數的輸出，從而得到 0-1 區間內的捕捉值（例如，將閾值設置為 0.5，則如果函數值小于 0.5，則輸出值為 1），并預測類(lèi)別的值。Logistic 回歸由于模型的學(xué)習方式，Logistic 回歸的預測結果也可以用作給定數據實(shí)例屬于類(lèi) 0 或類(lèi) 1 的概率。這對于需要為預測結果提供更多理論依據的問(wèn)題非常有用。與線(xiàn)性回歸類(lèi)似，當刪除與輸出變量無(wú)關(guān)以及彼此之間非常相似（相關(guān)）的屬性后，Logistic 回歸的效果更好。該模型學(xué)習速度快，對二分類(lèi)問(wèn)題十分有效。3. 線(xiàn)性判別分析Logistic 回歸是一種傳統的分類(lèi)算法，它的使用場(chǎng)景僅限于二分類(lèi)問(wèn)題。如果你有兩個(gè)以上的類(lèi)，那么線(xiàn)性判別分析算法（LDA）是*的線(xiàn)性分類(lèi)技術(shù)。LDA 的表示方法非常直接。它包含為每個(gè)類(lèi)計算的數據統計屬性。對于單個(gè)輸入變量而言，這些屬性包括：每個(gè)類(lèi)的均值。所有類(lèi)的方差。線(xiàn)性判別分析預測結果是通過(guò)計算每個(gè)類(lèi)的判別值、并將類(lèi)別預測為判別值*的類(lèi)而得出的。該技術(shù)假設數據符合高斯分布（鐘形曲線(xiàn)），因此*預先從數據中刪除異常值。LDA 是一種簡(jiǎn)單而有效的分類(lèi)預測建模方法。4. 分類(lèi)和回歸樹(shù)決策樹(shù)是一類(lèi)重要的機器學(xué)習預測建模算法。決策樹(shù)可以被表示為一棵二叉樹(shù)。這種二叉樹(shù)與算法設計和數據結構中的二叉樹(shù)是一樣的，沒(méi)有什么特別。每個(gè)節點(diǎn)都代表一個(gè)輸入變量（x）和一個(gè)基于該變量的分叉點(diǎn)（假設該變量是數值型的）。決策樹(shù)決策樹(shù)的葉子結點(diǎn)包含一個(gè)用于做出預測的輸出變量（y）。預測結果是通過(guò)在樹(shù)的各個(gè)分叉路徑上游走，直到到達一個(gè)葉子結點(diǎn)并輸出該葉子結點(diǎn)的類(lèi)別值而得出。決策樹(shù)的學(xué)習速度很快，做出預測的速度也很快。它們在大量問(wèn)題中往往都很準確，而且不需要為數據做任何特殊的預處理準備。5. 樸素貝葉斯樸素貝葉斯是一種簡(jiǎn)單而強大的預測建模算法。該模型由兩類(lèi)可直接從訓練數據中計算出來(lái)的概率組成：1）數據屬于每一類(lèi)的概率；2）給定每個(gè) x 值，數據從屬于每個(gè)類(lèi)的條件概率。一旦這兩個(gè)概率被計算出來(lái)，就可以使用貝葉斯定理，用概率模型對新數據進(jìn)行預測。當你的數據是實(shí)值的時(shí)候，通常假設數據符合高斯分布（鐘形曲線(xiàn)），這樣你就可以很容易地估計這些概率。貝葉斯定理樸素貝葉斯之所以被稱(chēng)為「樸素」，是因為它假設每個(gè)輸入變量相互之間是獨立的。這是一種很強的、對于真實(shí)數據并不現實(shí)的假設。不過(guò)，該算法在大量的復雜問(wèn)題中十分有效。6. K 最近鄰算法K 最近鄰（KNN）算法是非常簡(jiǎn)單而有效的。KNN 的模型表示就是整個(gè)訓練數據集。這很簡(jiǎn)單吧？對新數據點(diǎn)的預測結果是通過(guò)在整個(gè)訓練集上搜索與該數據點(diǎn)最相似的 K 個(gè)實(shí)例（近鄰）并且總結這 K 個(gè)實(shí)例的輸出變量而得出的。對于回歸問(wèn)題來(lái)說(shuō)，預測結果可能就是輸出變量的均值；而對于分類(lèi)問(wèn)題來(lái)說(shuō)，預測結果可能是眾數（或最常見(jiàn)的）的類(lèi)的值。關(guān)鍵之處在于如何判定數據實(shí)例之間的相似程度。如果你的數據特征尺度相同（例如，都以英寸為單位），那么最簡(jiǎn)單的度量技術(shù)就是使用歐幾里得距離，你可以根據輸入變量之間的差異直接計算出該值。K 最近鄰KNN 可能需要大量的內存或空間來(lái)存儲所有數據，但只有在需要預測時(shí)才實(shí)時(shí)執行計算（或學(xué)習）。隨著(zhù)時(shí)間的推移，你還可以更新并管理訓練實(shí)例，以保證預測的準確率。使用距離或接近程度的度量方法可能會(huì )在維度非常高的情況下（有許多輸入變量）崩潰，這可能會(huì )對算法在你的問(wèn)題上的性能產(chǎn)生負面影響。這就是所謂的維數災難。這告訴我們，應該僅僅使用那些與預測輸出變量最相關(guān)的輸入變量。7. 學(xué)習向量量化KNN 算法的一個(gè)缺點(diǎn)是，你需要處理整個(gè)訓練數據集。而學(xué)習向量量化算法（LVQ）允許選擇所需訓練實(shí)例數量，并確切地學(xué)習這些實(shí)例。學(xué)習向量量化LVQ 的表示是一組碼本向量。它們在開(kāi)始時(shí)是隨機選擇的，經(jīng)過(guò)多輪學(xué)習算法的迭代后，最終對訓練數據集進(jìn)行*的總結。通過(guò)學(xué)習，碼本向量可被用來(lái)像 K 最近鄰那樣執行預測。通過(guò)計算每個(gè)碼本向量與新數據實(shí)例之間的距離，可以找到最相似的鄰居（最匹配的碼本向量）。然后返回最匹配單元的類(lèi)別值（分類(lèi)）或實(shí)值（回歸）作為預測結果。如果將數據重新放縮放到相同的范圍中（例如 0 到 1 之間），就可以獲得*的預測結果。如果你發(fā)現 KNN 能夠在你的數據集上得到不錯的預測結果，那么不妨試一試 LVQ 技術(shù)，它可以減少對內存空間的需求，不需要像 KNN 那樣存儲整個(gè)訓練數據集。8. 支持向量機支持向量機（SVM）可能是目前*、被討論地最多的機器學(xué)習算法之一。超平面是一條對輸入變量空間進(jìn)行劃分的「直線(xiàn)」。支持向量機會(huì )選出一個(gè)將輸入變量空間中的點(diǎn)按類(lèi)（類(lèi) 0 或類(lèi) 1）進(jìn)行*分割的超平面。在二維空間中，你可以把他想象成一條直線(xiàn)，假設所有輸入點(diǎn)都可以被這條直線(xiàn)完全地劃分開(kāi)來(lái)。SVM 學(xué)習算法旨在尋找最終通過(guò)超平面得到*類(lèi)別分割的系數。支持向量機超平面與最近數據點(diǎn)之間的距離叫作間隔（margin）。能夠將兩個(gè)類(lèi)分開(kāi)的*超平面是具有*間隔的直線(xiàn)。只有這些點(diǎn)與超平面的定義和分類(lèi)器的構建有關(guān)，這些點(diǎn)叫作支持向量，它們支持或定義超平面。在實(shí)際應用中，人們采用一種優(yōu)化算法來(lái)尋找使間隔*化的系數值。支持向量機可能是目前可以直接使用的最強大的分類(lèi)器之一，值得你在自己的數據集上試一試。9. 袋裝法和隨機森林隨機森林是*也最強大的機器學(xué)習算法之一，它是一種集成機器學(xué)習算法。自助法是一種從數據樣本中估計某個(gè)量（例如平均值）的強大統計學(xué)方法。你需要在數據中取出大量的樣本，計算均值，然后對每次取樣計算出的均值再取平均，從而得到對所有數據的真實(shí)均值更好的估計。Bagging 使用了相同的方法。但是最常見(jiàn)的做法是使用決策樹(shù)，而不是對整個(gè)統計模型進(jìn)行估計。Bagging 會(huì )在訓練數據中取多個(gè)樣本，然后為每個(gè)數據樣本構建模型。當你需要對新數據進(jìn)行預測時(shí)，每個(gè)模型都會(huì )產(chǎn)生一個(gè)預測結果，Bagging 會(huì )對所有模型的預測結果取平均，以便更好地估計真實(shí)的輸出值。隨機森林隨機森林是這種方法的改進(jìn)，它會(huì )創(chuàng )建決策樹(shù)，這樣就不用選擇*分割點(diǎn)，而是通過(guò)引入隨機性來(lái)進(jìn)行次優(yōu)分割。因此，為每個(gè)數據樣本創(chuàng )建的模型比在其它情況下創(chuàng )建的模型更加獨特，但是這種獨特的方式仍能保證較高的準確率。結合它們的預測結果可以更好地估計真實(shí)的輸出值。如果你使用具有高方差的算法（例如決策樹(shù)）獲得了良好的結果，那么你通?？梢酝ㄟ^(guò)對該算法執行 Bagging 獲得更好的結果。10. Boosting 和 是一種試圖利用大量弱分類(lèi)器創(chuàng )建一個(gè)強分類(lèi)器的集成技術(shù)。要實(shí)現 Boosting 方法，首先你需要利用訓練數據構建一個(gè)模型，然后創(chuàng )建第二個(gè)模型（它企圖修正*個(gè)模型的誤差）。直到*模型能夠對訓練集進(jìn)行完美地預測或加入的模型數量已達上限，我們才停止加入新的模型。AdaBoost 是*個(gè)為二分類(lèi)問(wèn)題開(kāi)發(fā)的真正成功的 Boosting 算法。它是人們入門(mén)理解 Boosting 的*起點(diǎn)。當下的 Boosting 方法建立在 AdaBoost 基礎之上，最著(zhù)名的就是隨機梯度提升機。 使用淺層決策樹(shù)。在創(chuàng )建*棵樹(shù)之后，使用該樹(shù)在每個(gè)訓練實(shí)例上的性能來(lái)衡量下一棵樹(shù)應該對每個(gè)訓練實(shí)例賦予多少權重。難以預測的訓練數據權重會(huì )增大，而易于預測的實(shí)例權重會(huì )減小。模型是一個(gè)接一個(gè)依次創(chuàng )建的，每個(gè)模型都會(huì )更新訓練實(shí)例權重，影響序列中下一棵樹(shù)的學(xué)習。在構建所有的樹(shù)之后，我們就可以對新的數據執行預測，并根據每棵樹(shù)在訓練數據上的準確率來(lái)對其性能進(jìn)行加權。由于算法在糾正錯誤上投入了如此多的精力，因此刪除數據中的異常值在數據清洗過(guò)程中是非常重要的。原文鏈接：

如果以上內容沒(méi)有幫到您，歡迎電話(huà)聯(lián)系我們，或者聯(lián)系在線(xiàn)客服咨詢(xún)