導(dǎo)讀：爬蟲（又稱為網(wǎng)頁蜘蛛，網(wǎng)絡(luò)機器人，在 FOAF 社區(qū)中間，更經(jīng)常的稱為網(wǎng)頁追逐者）；它是一種按照一定的規(guī)則，自動地抓取網(wǎng)絡(luò)信息的程序或者腳本。

作者：潮汐

來源：Python 技術(shù)「ID: pythonall」

如果我們把互聯(lián)網(wǎng)比作一張大的蜘蛛網(wǎng)，那一臺計算機上的數(shù)據(jù)便是蜘蛛網(wǎng)上的一個獵物，而爬蟲程序就是一只小蜘蛛，他們沿著蜘蛛網(wǎng)抓取自己想要的獵物/數(shù)據(jù)。

01 爬蟲的基本流程

02 網(wǎng)頁的請求與響應(yīng)

網(wǎng)頁的請求和響應(yīng)方式是 Request 和 Response。

• Request：用戶將自己的信息通過瀏覽器（socket client）發(fā)送給服務(wù)器（socket server）

• Response：服務(wù)器接收請求，分析用戶發(fā)來的請求信息，收到請求信息后返回數(shù)據(jù)（返回的數(shù)據(jù)中可能包含其他鏈接，如：image、js、css等）

瀏覽器在接收 Response 后，會解析其內(nèi)容來顯示給用戶，而爬蟲程序在模擬瀏覽器發(fā)送請求然后接收 Response 后，是要提取其中的有用數(shù)據(jù)。

1. 發(fā)起請求：Request

請求的發(fā)起是使用 http 庫向目標站點發(fā)起請求，即發(fā)送一個Request。

Request對象的作用是與客戶端交互，收集客戶端的 Form、Cookies、超鏈接，或者收集服務(wù)器端的環(huán)境變量。

Request 對象是從客戶端向服務(wù)器發(fā)出請求，包括用戶提交的信息以及客戶端的一些信息。客戶端可通過 HTML 表單或在網(wǎng)頁地址后面提供參數(shù)的方法提交數(shù)據(jù)。

然后服務(wù)器通過 request 對象的相關(guān)方法來獲取這些數(shù)據(jù)。request 的各種方法主要用來處理客戶端瀏覽器提交的請求中的各項參數(shù)和選項。

Request 包含：請求 URL、請求頭、請求體等。

• Request 請求方式： GET/POST

• 請求url: url全稱統(tǒng)一資源定位符，一個網(wǎng)頁文檔、一張圖片、 一個視頻等都可以用url唯一來確定

• 請求頭：User-agent：請求頭中如果沒有 user-agent 客戶端配置，服務(wù)端可能將你當做一個非法用戶；

• cookies：cookie 用來保存登錄信息

一般做爬蟲都會加上請求頭。

例如：抓取百度網(wǎng)址的數(shù)據(jù)請求信息如下：

2. 獲取響應(yīng)內(nèi)容

爬蟲程序在發(fā)送請求后，如果服務(wù)器能正常響應(yīng)，則會得到一個Response，即響應(yīng)。

Response 信息包含：html、json、圖片、視頻等，如果沒報錯則能看到網(wǎng)頁的基本信息。例如：一個的獲取網(wǎng)頁響應(yīng)內(nèi)容程序如下：

以上內(nèi)容輸出的就是網(wǎng)頁的基本信息，它包含 html、json、圖片、視頻等，如下圖所示：

Response 響應(yīng)后會返回一些響應(yīng)信息，例下：

1）響應(yīng)狀態(tài)

• 200：代表成功

• 301：代表跳轉(zhuǎn)

• 404：文件不存在

• 403：權(quán)限

• 502：服務(wù)器錯誤

2）Respone header

• set-cookie：可能有多個，是來告訴瀏覽器，把cookie保存下來。

3）preview 是網(wǎng)頁源代碼

最主要的部分，包含了請求資源的內(nèi)容，如網(wǎng)頁html、圖片、二進制數(shù)據(jù)等

4）解析內(nèi)容

• 解析 html 數(shù)據(jù)：解析 html 數(shù)據(jù)方法有使用正則表達式、第三方解析庫如 Beautifulsoup，pyquery 等

• 解析 json 數(shù)據(jù)：解析 json數(shù)據(jù)可使用 json 模塊

• 解析二進制數(shù)據(jù)：以 b 的方式寫入文件

5）保存數(shù)據(jù)

爬取的數(shù)據(jù)以文件的形式保存在本地或者直接將抓取的內(nèi)容保存在數(shù)據(jù)庫中，數(shù)據(jù)庫可以是 MySQL、Mongdb、Redis、Oracle 等……

03 寫在最后

爬蟲的總流程可以理解為：蜘蛛要抓某個獵物-->沿著蛛絲找到獵物-->吃到獵物；即爬取-->解析-->存儲。

在爬取數(shù)據(jù)過程中所需參考工具如下：

• 爬蟲框架：Scrapy

• 請求庫：requests、selenium

• 解析庫：正則、beautifulsoup、pyquery

• 存儲庫：文件、MySQL、Mongodb、Redis……

04 總結(jié)

今天的文章是對爬蟲的原理做一個詳解，希望對大家有幫助，同時也在后面的工作中奠定基礎(chǔ)！

轉(zhuǎn)自：https://cloud.tencent.com/developer/article/1815295