找到登陸介面後,用requests.post()請求該網頁url,之後將得到的cookie存入本地。
遇到什麼問題?
引數問題,在requests的post中要用,data。在get中要用params,這個就搞人了。
給我感覺cookie的作用。沒有cookie,一些**是不能爬取的,要爬就需要cookie,那麼有些**必須登陸才有對的cookie可以獲取。得到cookie後存入本地。
這個登陸介面頁面的cookie也就是豆瓣主頁的需要的cookie,什麼時候cookie會變 我也不知道,我退出豆瓣之後,對於介面的請求就失效了,得不到cookie了,但是儲存下來的cookie能保持較長是間的有效。
也就是說,加了儲存的cookie依然能夠獲取到豆瓣主頁資訊
先登陸豆瓣,找到介面
post請求介面url,帶入賬號密碼等等引數,加上介面的cookie,headers
將cookie存入本地
使用時讀取cookie,賦值給變數
file = open(「檔名.pickle」,『rb』)
dict_cookie = pickle.load(file)
再請求主**,帶上dict_cookie
之後就可以訪問到了。
```python
import requests
import pickle
url =
""headers =
file =
open
("douban.pickle"
,"rb"
)dict_cookie = pickle.
load
(file)
res = requests.
get(url,headers=headers,cookies=dict_cookie)
print
(res.text)
Python爬蟲模擬登陸豆瓣
coding utf 8 import requests,re from pil import image class doubanspider object def init self self.session requests.session def login self,username,pa...
scrapy模擬登陸豆瓣網 處理驗證碼登陸
我們知道有一些 是需要驗證碼才可以登陸的,比如豆瓣網在錯誤輸入幾次賬號密碼後,都會需要提交包含驗證碼的表單才可以登陸,便需要處理驗證碼型登陸 技術路徑 scrapy爬蟲框架。技術重點 還是scrapy的formrequest方法。由於由於不涉及到豆瓣網登陸後頁面的解析 老生常談的問題了 我們只需要編...
c curl模擬登陸
我們在使用一些 時,輸入使用者名稱,密碼即可登陸該 登陸原理就是將使用者輸入的使用者名稱和密碼組合成乙個特定字串,post給乙個url位址,如果使用者名稱密碼正確,就可以登陸了,如果想使用程式模擬這種登陸過程,需要下面的步驟 1 抓包工具,推薦使用httpwatch專業版,輸入使用者名稱,密碼就開始...