2.自動處理：
使用fidder 抓包工具抓取 請求資料報
from lxml import etree
from urllib import request
url = ''
headers =
page_text = requests.get(url=url,headers=headers).text
#解析驗證碼
#登入login_url = 'ajaxlogin/login?1=1&uniquetimestamp=201924831467'
data =
#建立乙個session物件
session = requests.session()
#使用session進行請求的傳送：獲取cookie，且將cookie儲存到session中
session.post(url=login_url,data=data,headers=headers)
#獲取個人主頁對應的頁面資料
detail_url = '289676607/profile'
#該次請求傳送是就已經攜帶了cookie
page_text = session.get(url=detail_url,headers=headers).text
with open('./renren.html','w',encoding='utf-8') as fp:
fp.write(page_text)
#對某詩文網進行模擬登入
from lxml import etree
from urllib import request
headers =
session = requests.session()
#獲取驗證碼
#執行登入
__viewstate = tree.xpath('//*[@id="__viewstate"]/@value')[0]
__viewstategenerator = tree.xpath('//*[@id="__viewstategenerator"]/@value')[0]
login_url = ''
data =
page_text = session.post(url=login_url,data=data,headers=headers).text
with open('./gushiwen.html','w',encoding='utf-8') as fp:
fp.write(page_text)
爬蟲 cookie模擬登陸
cookie 適用於抓取需要登入才能訪問的頁面 http協議為無連線協議，cookie 存放在客戶端瀏覽器，session 存放在web伺服器 1 先登入成功1次，獲取到攜帶登陸資訊的cookie 登入成功 個人主頁 f12抓包 重新整理個人主頁 找到主頁的包 home 一般cookie都在all ...
模擬註冊以及登陸
scanner sc new scanner system.in 模擬註冊以及登陸 1.註冊不知道使用者的操作次數，所以需要使用死迴圈 2.當使用者確定了使用者名稱和密碼後，註冊成功，儲存下使用者輸入的使用者名稱以及密碼 3.登陸最多只能三次，如果第三次還沒有成功直接退出程式 1 註冊 賬號 密碼 ...
Scrapy中用cookie模擬登陸新浪微博
最近想做乙個微博的搜尋頁文字分析的小專案，因為開放平台裡這個api的限制略多，決定進入爬蟲坑自己動手 之前久聞scrapy大名，嘗試了一下，抓取網頁甚是好用，避免了許多http方面的繁瑣處理 不過還是卡在了登陸這一步上 在scrapy中具體實現時，就是在爬取的spider類中，過載start req...