直接上**
首先說明下，為什麼要加入頭部？
因為爬取時最正式的做法是仿照http的過程，在用爬蟲獲取網頁的時候，加入頭部，偽裝成瀏覽器。http 其實就是 請求/響應模式，永遠都是 客戶端向服務端傳送請求，然後服務端再返回響應。
有乙個問題就是 頭部改怎麼加？可以開啟你的瀏覽器，按f12，有的是fn+f12
開啟開發者工具模式後，進入隨便乙個網頁，如下圖：
選擇network，然後選擇name中任一項，找到request headers中的user-agent，複製下來就是頭部。
#加入請求頭，有一些網頁沒有頭部是不能訪問的，會返回 403錯誤
#請求req = urllib.request.request(url=url,headers=headers)
#響應的爬取結果
res = urllib.request.urlopen(req)
#設定解碼方式
html = res.read().decode('utf-8')
#列印結果
print(html)
python爬蟲 第乙個爬蟲
1.本地安裝了nginx,在預設的html目錄下建立測試html 如圖，即index.html導向a,b,c 3個html,a.html又可以導向aa,bb兩個html,c.html可以導向cc.html。2.修改nignx配置使得本地可以訪問寫的kmtest裡的index.html。參考文件 ng...
Python 第乙個爬蟲
1 import urllib.request 2importre3 4class downpic 56 def init self,url,re str 7 self.url url 8 self.re str re str910 defgethtml self,url 11 page urlli...
第乙個爬蟲
很多人學習python的目的就是為了學習能夠實現爬蟲的功能，這裡，我使用了scrapy框架來實現了乙個簡單的爬蟲功能,這裡我簡單的介紹一下scrapy專案的建立，和執行。1，第一步是安裝scrapy，我相信到了這一步，大多數人都已經會安裝第三方庫檔案了，這裡主要是使用命令pip install sc...