不管你是待業(yè)還是失業(yè)，在這個(gè)被互聯(lián)網(wǎng)圍繞的時(shí)代里，選擇python爬蟲(chóng)入門(mén)6，就多了一項技能，還怕找不到工作？，還怕不好找工作？小編就來(lái)告訴你這個(gè)專(zhuān)業(yè)的優(yōu)勢到底體現在哪里：Python技術(shù)筆記匯總（含語(yǔ)法、工具庫、數科、爬蟲(chóng)等），Python爬蟲(chóng)實(shí)戰入門(mén)六：提高爬蟲(chóng)效率—并發(fā)爬取智聯(lián)招聘，Python爬蟲(chóng)新手入門(mén)教學(xué)（六）：制作詞云圖??。

1.Python技術(shù)筆記匯總（含語(yǔ)法、工具庫、數科、爬蟲(chóng)等）

自去年五月份在知乎發(fā)布Python技術(shù)筆記以來(lái)，迄今文章+回答總數已經(jīng)達到接近200篇。這些內容包括Python基礎語(yǔ)法、數據科學(xué)、爬蟲(chóng)、自動(dòng)化辦公、機器學(xué)習、各類(lèi)工具庫及小技巧。這里把寫(xiě)過(guò)的內容匯總成目錄，方便查詢(xún)檢索。1. 學(xué)習方法怎么自學(xué)python，大概要多久？ 為什么自學(xué)Python看不進(jìn)去？ 如何系統地學(xué)習Python 中 , numpy, scipy, pandas？ 哪些 Python 庫讓你相見(jiàn)恨晚？ 有什么關(guān)于python的書(shū)值得閱讀？ 請問(wèn)自學(xué) Python 有必要買(mǎi)課程嗎？ Python學(xué)到什么程度可以面試工作？ 用python進(jìn)行辦公自動(dòng)化都需要學(xué)習什么知識呢？ 你是如何開(kāi)始能寫(xiě) Python 爬蟲(chóng)？ 2. 入門(mén)Python初學(xué) Python 需要安裝哪些軟件？ 入門(mén)python有什么好的書(shū)籍推薦？ 學(xué)Python的學(xué)生買(mǎi)電腦，該買(mǎi)什么配置的？初學(xué) Python 者自學(xué) Anaconda 的正確姿勢是什么？ 有哪些值得推薦的 Python 開(kāi)發(fā)工具？ Python安裝庫太慢？配置好這個(gè)速度飛起 3. Python語(yǔ)法一文搞懂Python匿名函數 一文搞懂Python文件讀寫(xiě) 一文搞懂python的map、reduce函數 一文搞懂Python迭代器和生成器 一文搞懂Python循環(huán)小技巧 一文搞懂Python錯誤和異常 一文搞懂python日期時(shí)間處理 如何理解Python中的yield用法? 8個(gè)超好用的Python內置函數，提升效率必備 python新手必躺的坑 有了這個(gè)Python備忘錄，代碼拿來(lái)即用 50個(gè)關(guān)于IPython的使用技巧，get起來(lái)！ 使用IPython有哪些好處？用好模塊，對李白詩(shī)集進(jìn)行字頻統計 4. Pandas & Numpy數據處理在pandas中使用數據透視表 高效的5個(gè)pandas函數，你都用過(guò)嗎？ 6個(gè)pandas數據處理小技巧，提升效率必備 高效的10個(gè)Pandas函數，你都用過(guò)了嗎？ 如何系統地學(xué)習Python 中 , numpy, scipy, pandas？ 用python爬蟲(chóng)爬去數據直接用excel處理就好，為什么還用pandas來(lái)處理？干貨 | 50題帶你玩轉numpy Numpy基礎20問(wèn) Numpy進(jìn)階之排序小技巧 5. 數據可視化 好看的數據可視化的圖片是怎么樣做的？ 哪些 Python 庫讓你相見(jiàn)恨晚？ Python中除了外還有哪些數據可視化的庫？ 使用pyecharts繪制詞云圖-淘寶商品評論展示 數據可視化，Seaborn畫(huà)圖原來(lái)這么好看 seaborn常用的10種數據分析圖表 Superset，基于web的開(kāi)源BI工具，github三萬(wàn)star 教你用pyecharts制作交互式?；鶊D，趕快學(xué)起來(lái)吧！ 干貨 | Bokeh交互式數據可視化快速入門(mén) 6. 空間地理信息聊一聊Python中優(yōu)秀的6個(gè)地圖可視化庫 24頁(yè)PPT | 如何利用python進(jìn)行地圖可視化？ geopandas，用python分析地理空間數據原來(lái)這么簡(jiǎn)單！ 干貨 | 使用pyecharts繪制交互式動(dòng)態(tài)地圖 7. 爬蟲(chóng)小白如何入門(mén) Python 爬蟲(chóng)？selenium入門(mén)詳細指南（附淘寶搶購案例） 哪吒票房超復聯(lián)4，100行python代碼抓取豆瓣短評，看看網(wǎng)友怎么說(shuō) 使用requests爬取python崗位招聘數據 電影《毒液》豆瓣短評 爬蟲(chóng)&分詞&詞云展示 有哪些足不出戶(hù)，能用十天左右時(shí)間掌握的新技能？干貨！python爬蟲(chóng)100個(gè)入門(mén)項目 干貨！python爬蟲(chóng)100個(gè)入門(mén)項目 續8. 自動(dòng)化辦公用python進(jìn)行辦公自動(dòng)化都需要學(xué)習什么知識呢？python自動(dòng)化辦公太難？學(xué)這些就夠用了 python讀寫(xiě)excel等數據文件方法匯總 xlwings，讓excel飛起來(lái)！ python操作CSV和excel,如何來(lái)做? 請教下 Python 高手，如何用 Python 自動(dòng)化操作 Excel？9. 數據科學(xué)使用python進(jìn)行數據分析工作，要掌握哪些數學(xué)知識?Vaex ：突破pandas，快速分析100G大數據量 jieba分詞-強大的Python 中文分詞庫 numba，讓python速度提升百倍 最全Python數據科學(xué)小抄，趕緊收藏吧！ 看圖漲知識，一百天搞定機器學(xué)習 Python數據分析案例 | 臺風(fēng)最喜歡在我國哪個(gè)省市登陸 pandas_profiling ：教你一行代碼生成數據分析報告 干貨！小白入門(mén)Python數據科學(xué)全教程 深入了解機器學(xué)習 ( into ML)：線(xiàn)性回歸 機器學(xué)習數學(xué)知識，你必須要掌握！ Python機器學(xué)習·微教程 Keras中的多變量時(shí)間序列預測-LSTMs 一文讀懂隨機森林的解釋和實(shí)現 機器學(xué)習中的數據縮放-Python Scikit-Learn實(shí)現方法 如何使用Python scikit-learn機器學(xué)習庫做分類(lèi)和回歸預測 機器學(xué)習中的泛化能力10. 數據庫如何使用python連接數據庫？Python sqlite3數據庫模塊使用攻略 如何通過(guò)Python將CSV文件導入MySQL數據庫？ python與mysql怎么完成大量的數據交互？11. 開(kāi)發(fā)工具有哪些值得推薦的 Python 開(kāi)發(fā)工具？這6款Python IDE&代碼編輯器，你都用過(guò)嗎？ 初學(xué) Python 者自學(xué) Anaconda 的正確姿勢是什么？Jupyter Notebook & Lab快捷鍵大全 15個(gè)好用到爆炸的Jupyter Lab插件 泣血整理，Jupyter Notebook最常用的配置技巧 實(shí)用 | PyCharm常用快捷鍵整理 ，極其強大的下一代notebook！ 12. 其他你用 Python 寫(xiě)過(guò)哪些有趣的腳本？使用Python驗證常見(jiàn)的50個(gè)正則表達式利用Python將PDF文檔轉為MP3音頻 pdfkit | 利用python實(shí)現html文件轉pdf 干貨 | 解放雙手,用Python實(shí)現自動(dòng)發(fā)送郵件 教你使用Python下載b站等各大主流網(wǎng)站音視頻 教你使用Python制作酷炫二維碼 Github上好玩的50個(gè)python項目匯總 （一）Github上好玩的50個(gè)python項目匯總 （二） *推薦幾本不錯的Python書(shū)。如果大家對自學(xué)沒(méi)有信心，當然也可以去看視頻課，跟著(zhù)老師的節奏學(xué)習會(huì )更容易入門(mén)。有個(gè)還不錯的課程，可以瞅瞅。

2.Python爬蟲(chóng)實(shí)戰入門(mén)六：提高爬蟲(chóng)效率—并發(fā)爬取智聯(lián)招聘

之前文章中所介紹的爬蟲(chóng)都是對單個(gè)URL進(jìn)行解析和爬取，url數量少不費時(shí)，但是如果我們需要爬取的網(wǎng)頁(yè)url有成千上萬(wàn)或者更多，那怎么辦？使用for循環(huán)對所有的url進(jìn)行遍歷訪(fǎng)問(wèn)？嗯，想法很好，但是如果url過(guò)多，爬取完所有的數據會(huì )不會(huì )太過(guò)于耗時(shí)了？對此我們可以使用并發(fā)來(lái)對URL進(jìn)行訪(fǎng)問(wèn)以爬取數據。一般而言，在單機上我們使用三種并發(fā)方式：多線(xiàn)程(threading)多進(jìn)程()協(xié)程(gevent)對于以上三種方法的具體概念解釋和說(shuō)明，各位可以自行網(wǎng)上搜索了解，相信會(huì )比我解釋得清楚，所以在此就不對它們進(jìn)行解釋說(shuō)明了。本系列文章有兩個(gè)重點(diǎn)，一個(gè)是實(shí)戰，一個(gè)是入門(mén)，既為實(shí)戰，理論性的東西就描述得比較少；既為入門(mén)，所講述的都是簡(jiǎn)單易懂易操作的東西，高深的技術(shù)還請入門(mén)之后自行探索，那樣也會(huì )成長(cháng)得更快。那么下面，開(kāi)始并發(fā)爬取的實(shí)戰入門(mén)，以多進(jìn)程為例，并發(fā)爬取智聯(lián)招聘的招聘信息。一、分析URL和頁(yè)面結構1、搜索*范圍內職位名包含“Python”的職位招聘我們不分職業(yè)類(lèi)別、不分行業(yè)類(lèi)別，工作地點(diǎn)選為*，職位名為“Python”，對招聘信息進(jìn)行搜索，結果如下圖：我們注意圖中三個(gè)紅框的信息：搜索結果的url結構；（構造url地址進(jìn)行for循環(huán)遍歷）搜索結果的條數；（判斷url的數量）采集的信息的主體；（解析數據）通過(guò)篩選url參數，我們確定了需要爬取的基本URL為： 為請求地址和目錄jl:工作地點(diǎn)參數kw:搜索的關(guān)鍵字kt:以職位名搜索p:頁(yè)數我們可以發(fā)現，除了頁(yè)數會(huì )變化之外，其余的參數值都是固定的值。我們來(lái)確定一下搜索結果的總頁(yè)數。因為網(wǎng)頁(yè)上有提示一共有多少個(gè)職位滿(mǎn)足條件，我們拿總職位數除以單頁(yè)顯示的職位數量即可知道搜索結果的頁(yè)數。# coding:utf-8 import requests from bs4 import import re url = ' wbdata = requests.get(url).content soup = (wbdata, 'lxml') items = soup.select("div#newlist_list_content_table > table") count = len(items) - 1 # 每頁(yè)職位信息數量 print(count) job_count = re.findall(r"共(.*?)個(gè)職位滿(mǎn)足條件", str(soup))[0] # 搜索結果頁(yè)數 pages = (int(job_count) // count) + 1 print(pages)結果返回每頁(yè)60條職位信息，一共有14頁(yè)。那么我們的待爬取的url地址就有14個(gè)，url地址中參數p的值分別從1到14，這么少的url，使用for循環(huán)也可以很快完成，但在此我們使用多進(jìn)程進(jìn)行演示。二、在爬蟲(chóng)中使用多進(jìn)程先上代碼：# coding:utf-8 import requests from bs4 import from import Pool def get_zhaopin(page): url = ' print("第{0}頁(yè)".format(page)) wbdata = requests.get(url).content soup = (wbdata,'lxml') job_name = soup.select("table.newlist > tr > td.zwmc > div > a") salarys = soup.select("table.newlist > tr > td.zwyx") locations = soup.select("table.newlist > tr > td.gzdd") times = soup.select("table.newlist > tr > td.gxsj > span") for name, salary, location, time in zip(job_name, salarys, locations, times): data = { 'name': name.get_text(), 'salary': salary.get_text(), 'location': location.get_text(), 'time': time.get_text(), } print(data) if __name__ == '__main__': pool = Pool(processes=2) pool.map_async(get_zhaopin,range(1,pages+1)) pool.close() pool.join()結果如下：因為除了使用了多進(jìn)程之外，其他的代碼與之前文章介紹的方法大同小異，所以在此只介紹一下多進(jìn)程的核心代碼：from import 是Python自帶的一個(gè)多進(jìn)程模塊，在此我們使用其Pool方法。if __name__ == '__main__': pool = Pool(processes=2) pool.map_async(get_zhaopin,range(1,pages+1)) pool.close() pool.join()實(shí)例化一個(gè)進(jìn)程池，設置進(jìn)程為2；調用進(jìn)程池的map_async()方法，接收一個(gè)函數(爬蟲(chóng)函數)和一個(gè)列表(url列表)如此，在爬蟲(chóng)中使用多進(jìn)程進(jìn)行并發(fā)爬取就搞定了，更多高級、復雜強大的方法，還請各位參考其他文檔資料。=======================================================================文章首發(fā)微信公眾號： 州的先生個(gè)人網(wǎng)站： 同步更新

3.Python爬蟲(chóng)新手入門(mén)教學(xué)（六）：制作詞云圖

前言本文的文字及圖片來(lái)源于網(wǎng)絡(luò ),僅供學(xué)習、交流使用,不具有任何商業(yè)用途,如有問(wèn)題請及時(shí)聯(lián)系我們以作處理。Python爬蟲(chóng)、數據分析、網(wǎng)站開(kāi)發(fā)等案例教程視頻免費在線(xiàn)觀(guān)看 3.6Pycharm相關(guān)模塊的使用安裝Python并添加到環(huán)境變量，pip安裝需要的相關(guān)模塊即可。上篇文章爬取了B站視頻的彈幕數據，對于這方面可以做一些彈幕詞云分析，讓爬蟲(chóng)數據不再過(guò)于單調。代碼內容還是非常簡(jiǎn)介的，看注釋就可以明白了import jieba import wordcloud # 讀取文件內容 f = open('彈幕.txt', encoding='utf-8') txt = f.read() # jiabe 分詞 分割詞匯 txt_list = jieba.lcut(txt) string = ' '.join(txt_list) # 詞云圖設置 wc = wordcloud.WordCloud( width=1000, # 圖片的寬 height=700, # 圖片的高 _color='white', # 圖片背景顏色 font_path='msyh.ttc', # 詞云字體 scale=15, ) # 給詞云輸入文字 wc.generate(string) # 詞云圖保存圖片地址 wc.to_file('out.png')由上圖所示，有很多的這樣的 到位 這樣的關(guān)鍵詞，這樣的關(guān)鍵詞是沒(méi)有什么實(shí)際意義的，我們可以在詞云設置中設置 停用詞stopwords={'到位'}如果你想要輸入的圖片不是正方形的圖片，想要設置成自己想要的形狀，需要先找一張 透明圖導入 imageio 模塊import jieba import wordcloud import imageio # 導入imageio庫中的imread函數，并用這個(gè)函數讀取本地圖片，作為詞云形狀圖片 py = imageio.imread('.\\0.jpg') # 如何你想要改變詞云圖的形狀，可以添加 # 讀取文件內容 f = open('B站彈幕.txt', encoding='utf-8') txt = f.read() # jiabe 分詞 分割詞匯 txt_list = jieba.lcut(txt) string = ' '.join(txt_list) # 詞云圖設置 wc = wordcloud.WordCloud( width=1000, # 圖片的寬 height=700, # 圖片的高 _color='white', # 圖片背景顏色 font_path='msyh.ttc', # 詞云字體 mask=py, # 所使用的詞云圖片 scale=15, stopwords={'到位'}, # 停用詞 # contour_width=5, # contour_color='red' # 輪廓顏色 ) # 給詞云輸入文字 wc.generate(string) # 詞云圖保存圖片地址 wc.to_file('out.png')

就拿大數據說(shuō)話(huà)，優(yōu)勢一目了然，從事IT行業(yè)，打開(kāi)IT行業(yè)的新大門(mén)，找到適合自己的培訓機構，進(jìn)行專(zhuān)業(yè)和系統的學(xué)習。