'''
使用**訪問
'''import urllib.request
import random
url = ''
#建立乙個ｉｐｌｉｓｔ，隨機使用ｉｐ
iplist = ['219.223.251.173:3128','203.174.112.13:3128','122.72.18.34:80']
#建立乙個**opener
proxy_support = urllib.request.proxyhandler()
opener = urllib.request.build_opener(proxy_support)
#新增瀏覽器的偽裝頭部
opener.addheaders = [('user-agent','mozilla/5.0 (x11; ubuntu; linux x86_64; rv:58.0) gecko/20100101 firefox/58.0')]
#使用**ｏｐｅｎｅｒ訪問url
response = opener.open(url)
html = response.read().decode('utf-8')
print(html)
''
'import urllib.request
url = r''
headers =
#urllib.request.request（）用於向服務端傳送請求，就如 http 協議客戶端向服務端傳送請求 post
#新增了乙個頭部，偽裝成瀏覽器,此時的url並不是乙個裸露的url，而是具有header頭部的url
req = urllib.request.request(url=url, headers=headers)
#urllib.request.urlopen（）則相當於伺服器返回的響應,返回的是乙個request類的乙個物件， get
# 類似於乙個檔案物件，可以進行ｏｐｅｎ()操作獲取內容
res = urllib.request.urlopen(req)
html = res.read().decode('utf-8')
print(html)
python 爬蟲2 隱藏自己
方法一 head user agent req urllib.request.request url,data,head response urllib.request.urlopen req 只能在request物件上加head，而urlopen url,data,head 是錯誤的 方法二 re...
python爬蟲更換ip 爬蟲務必要改ip嗎？
大部分人認為python爬蟲必須要修改ip位址，倘若沒有更改ip將寸步難行，但也很多人覺得不一定要修改ip位址，能夠用些工具代替，因此網路爬蟲必須要更改ip嗎？python爬蟲程式按其本質來說也只是訪問頁面的使用者而已，最常見的便是分辨你瀏覽的頻率，因為平常人瀏覽網頁的頻率是不很快的，如果察覺某個i...
Python學習筆記55 爬蟲（隱藏）
1.為了隱藏訪問方式，可以通過兩種方式 方法一 直接設定乙個字典，作為引數傳給request，通過修改request的headers引數修改 head req urllib.request.request url,data,head 方法二 在request生成之後通過add header 方法修改...