在爬蟲的過程中經常會遇到需要登入之後才能完整訪問的情況。查詢cookie使用cookic可以模擬登入的情況,登入資訊儲存於cookie中。
通過瀏覽器開發者模式(f12)直接查詢。
具體操作:
進入開發者模式(f12)-> network -> 選擇花費時間最長的(一般就是第一行)
紅色部分即為cookie
使用session
或selenium
獲取cookie
使用cookie,模擬登入
使用requests
庫訪問之前,在傳送的頭資訊裡面設定 cookie 即可。
python爬蟲 cookie的使用
在做登入的post請求時,需要記住cookie,否則不能訪問登入後的頁面。下面是登入的 postdata urllib.parse.urlencode encode utf 8 使用urlencode編碼處理後,再設定為utf 8編碼header req urllib.request.request...
python爬蟲cookie方面 1
cookie session 由於http協議的無記憶性,人們為了彌補這個缺憾,所採用的乙個補充協議 cookie是發給使用者 即http瀏覽器 的一段資訊,session是儲存在伺服器上的對應的另一半資訊,用來記錄使用者資訊 cookie和session的區別 存放位置不同 cookie不安全 s...
python爬蟲cookie模擬登入
抓取需要登入才能訪問的頁面1 先登入成功1次,獲取到攜帶登陸資訊的cookie f12開啟控制台,在頁面輸入使用者名稱 密碼,登入成功,找到 home 一般在抓到位址的上面 2 攜帶著cookie發請求 cookie referer 源,代表你從 轉過來的 user agentimport requ...