連線手機熱點,或者換wifi.
偽裝瀏覽器請求增加header
# 收集到的常用header
my_headers = [
"mozilla/5.0 (windows nt 6.1; wow64; rv:30.0) gecko/20100101 firefox/30.0",
"mozilla/5.0 (compatible; msie 10.0; windows nt 6.2; win64; x64; trident/6.0)",
'mozilla/5.0 (windows; u; windows nt 5.1; it; rv:1.8.1.11) gecko/20071127 firefox/2.0.0.11',
'opera/9.25 (windows nt 5.1; u; en)',
'mozilla/4.0 (compatible; msie 6.0; windows nt 5.1; sv1; .net clr 1.1.4322; .net clr 2.0.50727)',
'mozilla/5.0 (compatible; konqueror/3.5; linux) khtml/3.5.5 (like gecko) (kubuntu)',
'lynx/2.8.5rel.1 libwww-fm/2.14 ssl-mm/1.4.1 gnutls/1.2.9',
"mozilla/5.0 (x11; ubuntu; linux i686; rv:10.0) gecko/20100101 firefox/10.0 "
]
proxy_list = [
'183.95.80.102:8080',
'123.160.31.71:8080',
'115.231.128.79:8080',
'166.111.77.32:80',
'43.240.138.31:8080',
'218.201.98.196:3128'
] # 隨機從ip列表中選擇乙個ip
proxy = random.choice(proxy_list)
# 基於選擇的ip構建連線
urlhandle = ulb.proxyhandler()
opener = ulb.build_opener(urlhandle)
ulb.install_opener(opener)
# 用urllib2庫鏈結網路影象
response = ulb.request(url)
# 開啟網路影象檔案控制代碼
fp = ulb.urlopen(response)
# 設定暫停時間為0.1秒
t = 0.1
time.sleep(t)
# 隨機從列表中選擇ip、header
proxy = random.choice(proxy_list)
head = random.choice(head)
print(proxy, head)
# 基於選擇的ip構建連線
urlhandle = urllib.request.proxyhandler()
opener = urllib.request.build_opener(urlhandle)
urllib.request.install_opener(opener)
# 增加head偽裝成瀏覽器
#request = urllib.request.request(url,headers=head)
request = urllib.request.request(url)
request.add_header('user-agent', head)
response = urllib.request.urlopen(request)
python 爬蟲禁止訪問解決方法（403）
偽裝豆瓣爬蟲程式——如何解決豆瓣禁用爬蟲程式？
ip池的使用
http錯誤403禁止訪問
403 禁止訪問 訪問被拒絕 403.1 禁止訪問 執行訪問被拒絕 403.2 禁止訪問 讀取訪問被拒絕 403.3 禁止訪問 寫入訪問被拒絕 403.4 禁止訪問 需要使用 ssl 檢視該資源 403.5 禁止訪問 需要使用 ssl 128 檢視該資源 403.7 禁止訪問 需要 ssl 客戶端證...
解決 禁止訪問 403 CSRF驗證失敗
在測試django框架post請求方式時，程式報錯如下 在確保訪問安全的情況下有一下兩種方式 1 在相應html檔案form 塊中新增如下 但是僅僅新增這句 有時候並不能解決如上報錯問題，至少在我測試過程中未能有效解決 那麼就需要使用第二種方法 2 在相應view檢視函式種新增如下 首先在應用vie...
WAMP 403 Forbidden禁止訪問
wamp 403 forbidden禁止訪問 2015.06.23 wamp 2.5修改方法 修改httpd.conf檔案 onlineoffline tag don t remove require localto onlineoffline tag don t remove require al...