一、寫在前面：爬蟲是什么，能吃嗎？如果你對“爬蟲”兩個字還停留在“黑客工具”“違法”“高深莫測”的印象里，那這篇文章可能會徹底改變你的看法。Python爬蟲，說白了就是用代碼模擬瀏覽器訪問網(wǎng)頁，然后把網(wǎng)頁上有用的數(shù)據(jù)“摘”下來，存成我們需要的格式。這個過程，和我們平時手動復(fù)制粘貼網(wǎng)頁內(nèi)容沒什么本質(zhì)區(qū)別，只是爬蟲做得更快、更準(zhǔn)、更自動化。你可能會問：“我手動復(fù)制也挺快的，為什么要寫代碼？”問得好。假設(shè)你今天想從某個電商網(wǎng)站上下載1000件商品的名稱、價格、評價數(shù)，手動復(fù)制的話，你可能需要點(diǎn)開1000個詳情頁，每個頁面復(fù)制3個字段，合計3000次Ctrl+C和Ctrl+V。就算你手速驚人，每10秒完成一個商品，也需要將近3個小時，而且手指會抽筋。用爬蟲呢？寫完代碼之后，你只需要執(zhí)行一下，去泡杯咖啡，回來數(shù)據(jù)就已經(jīng)整整齊齊地躺在CSV文件里了。這就是爬蟲的價值——把重復(fù)、機(jī)械、耗時的數(shù)據(jù)獲取工作，交給機(jī)器去完成。當(dāng)然，爬蟲也有它的邊界和規(guī)則。我們后面會專門花一節(jié)來講“君子協(xié)定”和“紅線”，但在這之前，我們先專心把技術(shù)本身學(xué)好。畢竟，先有武器，再談武德。目錄一、寫在前面：爬蟲是什么，能吃嗎？二、為什么是Requests + BeautifulSoup？這對組合到底香在哪？三、環(huán)境準(zhǔn)備：別慌，只需要裝兩個庫四、你的第一個爬蟲：5行代碼爬下整個網(wǎng)頁五、Requests深度使用：別裸奔，帶上headers六、BeautifulSoup核心定位法：找標(biāo)簽就像用CSS選擇器6.1find_all()+ 標(biāo)簽名6.2find_all()+ 屬性過濾6.3 提取文本和屬性6.4 只找第一個：find()和select_one()七、實(shí)戰(zhàn)案例：爬取圖書信息并保存為CSV7.1 分析網(wǎng)頁結(jié)構(gòu)7.2 分頁處理7.3 完整代碼7.4 運(yùn)行結(jié)果八、高階技巧：讓爬蟲更健壯、更高效8.1 處理相對鏈接8.2 異常重試機(jī)制8.3 解析時捕獲異常，不要讓一個壞數(shù)據(jù)搞崩整個程序8.4 動態(tài)調(diào)整User-Agent8.5 保存數(shù)據(jù)時考慮去重九、君子協(xié)定：robots.txt 和 爬蟲道德十、踩坑實(shí)錄：新手最常見的10個錯誤十一、從靜態(tài)網(wǎng)頁到動態(tài)網(wǎng)頁：下一步學(xué)什么？十二、完整項目結(jié)構(gòu)建議十三、寫在最后：爬蟲思維比代碼更重要二、為什么是Requests + BeautifulSoup？這對組合到底香在哪？Python爬蟲的工具箱里有很多選擇：Scrapy框架、Selenium模擬瀏覽器、PyQuery、lxml……但為什么幾乎所有爬蟲入門教程都從Requests和BeautifulSoup開始？因?yàn)檫@對組合完美地詮釋了“簡單、直接、夠用”這六個字。Requests庫：負(fù)責(zé)“下載”網(wǎng)頁。它的口號是“HTTP for Humans”，意思是給人類用的HTTP庫。相比Python自帶的urllib，Requests的API設(shè)計得極其優(yōu)雅——發(fā)送GET請求、攜帶headers、處理cookies、設(shè)置超時，全都是一行代碼搞定的事。你不需要去背那些冗長的方法名，也不需要糾結(jié)參數(shù)怎么傳，看一眼示例代碼就能上手。BeautifulSoup庫：負(fù)責(zé)“解析”網(wǎng)頁。它會把下載下來的HTML字符串解析成一棵DOM樹，然后提供一系列讓你“像用jQuery一樣”查找元素的方法——find()、find_all()