from day1.tuozhan_all importpost, get
import
json
from urllib import
request, parse
#儲存cookie
#通過物件儲存cookie
cookie_object =cookiejar.cookiejar()
#handler 對應著乙個操作
#opener 遇到有cookie的response的時候,
#呼叫handler內部的乙個函式, 儲存到cookie object
opener =request.build_opener(handler)
#url
url = '
'#form
form =
#post
form_bytes = parse.urlencode(form).encode('
utf-8')
#response = request.urlopen(url, form_bytes)
#opener = request.build_opener()
#opener.open()
response =opener.open(url, form_bytes)
html_bytes =response.read()
#html_bytes = post(url, form=form)
#列印結果
#print(html_bytes)
#通過json獲取乙個字典型別
res_dict = json.loads(html_bytes.decode('
utf-8'))
home_url = res_dict['
homeurl']
#訪問頁面
response =opener.open(home_url)
html_bytes =response.read()
print(html_bytes.decode('
utf-8
'))
人人網登陸
from tuozhan all import get 0.url 1.構造headers 2.呼叫get函式 3.儲存頁面 url headers html bytes get url,headers headers with open renren.html wb as f f.write ht...
python爬蟲人人網登陸
匯入模組from urllib import request,parse from http import cookiejar 儲存cookie,例項化cookiecookie cookiejar.cookiejar com plogin.do 登入賬號密碼data 轉換格式data parse.u...
scrapy模擬登陸豆瓣網 處理驗證碼登陸
我們知道有一些 是需要驗證碼才可以登陸的,比如豆瓣網在錯誤輸入幾次賬號密碼後,都會需要提交包含驗證碼的表單才可以登陸,便需要處理驗證碼型登陸 技術路徑 scrapy爬蟲框架。技術重點 還是scrapy的formrequest方法。由於由於不涉及到豆瓣網登陸後頁面的解析 老生常談的問題了 我們只需要編...