利用requests爬取重定向內容

# -*- coding: utf-8 -*-

import requests
def post_data_django(s,url,data):
s.get(url)
#post使用者名稱和密碼的時候要post這個csrf表單，同時帶著cookies
#下面這個csrftoken是cookies裡面的乙個隨機值
params = 
params.update(data)
r = s.post(url,data = params)#也可以加引數cookies = 引數
return r , s
url_login = ''
url_form = ''
s = requests.session()#自動保持登入狀態並更新cookies
r,s = post_data_django(s,url_login,)
print
'login',r.status_code
for number in range(30):
rr,s = post_data_django(s,url_form,)
if rr.text.find(u'密碼錯誤')>0:
print number,"not correct"
number = number + 1
else:
print rr.text
break
複製**

requests關閉重定向

在requests請求當中可以新增引數 allow redirects false來關閉重定向 但是在關閉重定向後悔產生乙個warning 可以新增以下 關閉警告 from requests.packages.urllib3.exceptions import insecurerequestwarn...

requests爬取小說

1.url解析 2.傳送請求 3.接收返回 4.進行解析 5.儲存 將國風中文網制定頁的 的題目 作者 最近更新章節和時間抓取下來儲存到本地 小夥伴們，今天我們用的利劍是requests xpath 第一步 匯入模組 import requests from lxml import etree im...

利用requests模組爬取百度翻譯

import requests import json if name main 1.指定url post url 2.ua偽裝 headers 3.傳送請求 word input enter a word data response requests.post url post url,data ...