[引入庫]
[請求頭,通過firefox查得]
headers =
[需要post的資料]
postdata =
[獲取cookie]
#輸入賬號密碼的位址
loginurl = '
'#自動記住cookie
#安裝opener到全域性
resp = urllib.request.urlopen(loginurl)
[post登陸]
#post資料位址
posturl = '
'#資料編碼
postdata = urllib.parse.urlencode(postdata).encode('
utf-8')
#構造請求
request =urllib.request.request(posturl, postdata, headers)
#傳送請求
response = urllib.request.urlopen(request)
[列印返回的資訊]
#respinfo = response.info()
#接收返回的資訊
html = response.read().decode('
gb2312')
(html)
print("
over!")
[完整**]
#輸入賬號密碼的位址
26 loginurl = '
'27#自動記住cookie
安裝opener到全域性
31 resp =urllib.request.urlopen(loginurl)
323334#
post資料位址
35 posturl = '
'36#資料編碼
37 postdata = urllib.parse.urlencode(postdata).encode('
utf-8')
38#構造請求
39 request =urllib.request.request(posturl, postdata, headers)40#
傳送請求
41 response =urllib.request.urlopen(request)
4243
44 respinfo =response.info()45#
接收返回的資訊
46 html = response.read().decode('
gb2312')
47print
(html)
48print("
over!")
4950
if__name__ == '
__main__':
51 login()
網頁登陸,網頁採集基礎類
昨天在上看到了關於秒殺的文章,通過模擬網頁資料傳送的方式達到更快的網頁訪問操作!有些時候模擬網頁訪問還是蠻有用的,比如自動登陸,網頁採集等等。下面的幾個方法就是我用到的幾個類,雖然方法比較少,但基本的要求還是能滿足的。public static class htmlhelper 瀏覽器欺騙 http...
網頁登陸,網頁採集基礎類
昨天在上看到了關於秒殺的文章,通過模擬網頁資料傳送的方式達到更快的網頁訪問操作!有些時候模擬網頁訪問還是蠻有用的,比如自動登陸,網頁採集等等。下面的幾個方法就是我用到的幾個類,雖然方法比較少,但基本的要求還是能滿足的。public static class htmlhelper 瀏覽器欺騙 http...
Python3網頁抓取urllib
開啟網頁的過程其實就是瀏覽器作為乙個瀏覽的 客戶端 向伺服器端傳送了一次請求,把伺服器端的檔案 抓 到本地,再進行解釋 展現。爬蟲最主要的處理物件就是url,它根據url位址取得所需要的檔案內容,然後對它進行進一步的處理。網頁抓取,就是把url位址中指定的網路資源從網路流中讀取出來,儲存到本地。類似...