Python網路爬蟲

2021-09-26 01:52:02 字數 930 閱讀 8203

1. 請求headers處理

有時在請求乙個網頁內容時，發現無論通過get或者是post以及其他請求方式，都會出現403錯誤。這種現象多數為伺服器拒絕了你的訪問，那是因為這些網頁為了防止惡意採集資訊，所使用的反爬蟲設定。此時可以模擬瀏覽器的頭部資訊來進行訪問，這樣就能解決以上反爬蟲設定的問題。下面以requests模組為例介紹請求頭部headers的處理，具體步驟如下：

（1）通過瀏覽器的網路監視器檢視頭部資訊，首先通過goole瀏覽器開啟對應的網頁位址，然後開啟網路監視器，再重新整理當前頁面，網路監視器將顯示如下的資料資訊。開啟goole瀏覽器的headers資訊請轉這個鏈結

（2）找到我們所需的資訊，即圖中劃線標註的資訊就是我們所要的顯示請求頭部資訊，將其複製下來。

（3）實現**，首先建立乙個需要爬取的url位址，然後建立headers頭部資訊，在傳送請求等待響應，最後列印網頁的**資訊。**如下：

import  requests


url  =''                #建立需要爬取網頁的位址


#建立頭部資訊


headers = 


response =requests.get(url,headers=headers)               #傳送網路請求


print(response.content)                                   #以位元組流的形式列印網頁原始碼
注意：當出現「attributeerror: 『set』 object has no attribute 『items』」錯誤時，要仔細檢查自己請求的網頁內容的headers頭部資訊是否正確，是否加上了「user-agent"。

Python網路爬蟲

找到url，也就是相當於入口，找到你要爬取的鏈結，獲取整個頁面資料 使用正規表示式，匹配到你想要爬取的內容，這裡使用的主要是正規表示式和一些常用的開源庫 最後一步就是寫入文字以及儲存問題了，如文字檔案 資料庫 coding utf 8 是用來指定檔案編碼為utf 8 from urllib impo...

python網路爬蟲

這篇部落格簡單的實現了乙個網路爬蟲指令碼，所謂網路爬蟲就是從 某乙個頁面 通常是首頁 開始，讀取網頁的內容，找到在網頁中的其它鏈結位址，然後通過這些鏈結位址尋找下乙個網頁，這樣一直迴圈下去，直到把這個 所有的網頁都抓取完為止。下面就是乙個簡單地網路爬蟲程式 note 這個命令的意思是，從爬去尋找關鍵...

python網路爬蟲

前言去掉所有標籤 dr re.compile r re.s dd dr.sub jiner 任意內容 可以匹配多位數字 可以匹配用逗號隔開的數字 可以匹配一位的數字 可以匹配帶小數點的數字 匹配空白符 匹配最後兩位 re.search 0 9 0 9 0 9 s.dd 當然，爬蟲還有乙個很關鍵的就通...