python 網頁訪問

2022-04-19 03:44:25 字數 2469 閱讀 9962

1

#在python3中只有urllib乙個庫,這裡面整合了原來的urllib和urllib2

2import

urllib.request34

#定義乙個request物件,傳入乙個url完整位址,並用request函式。

5 request = urllib.request.request("

")67

#開啟url,返回response物件

8 response =urllib.request.urlopen(request)910

#response物件和檔案差不多,需要先讀一下,再解碼

11print(response.read().decode("

utf-8

"))

1

import

urllib.request23

#表單提交的位址

4 url = "

"56#

post表單的資料

7 data=8#

對post表單資料進行一次url編碼

9 data=urllib.parse.urlencode(data)10#

再進行一次utf-8編碼

11 data=data.encode(encoding="

utf-8")

12#用剛才的url和post表單資料構建request物件

13 request =urllib.request.request(url,data)14#

返回response物件

15 response =urllib.request.urlopen(request)16#

檢視資訊

17print(response.read().decode("

utf-8

"))

1

import

urllib.request23

#表單提交的位址

4 url = "

"56#

post表單的資料

7 data=8#

對post表單資料進行一次url編碼

9 data=urllib.parse.urlencode(data)10#

再進行一次utf-8編碼

11 data=data.encode(encoding="

utf-8")

12#構建了headers

13headers=14#

用剛才的url和post表單資料構建request物件

15 request =urllib.request.request(url,data,headers)16#

返回response物件

17 response =urllib.request.urlopen(request)18#

檢視資訊

19print(response.read().decode("

utf-8

"))

用python實現的模擬登入人人網

實際上用到的是cookie的處理

5#表單提交的位址

6 url = "

"7 count=input("

帳號:")8

9 password=input("

密碼:")10

11#post表單的資料

12 data=13#

對post表單資料進行一次url編碼

14 data=urllib.parse.urlencode(data)15#

再進行一次utf-8編碼

16 data=data.encode(encoding="

utf-8")

17#構建了headers

18 headers=19#

用剛才的url和post表單資料構建request物件

返回response物件

26 response =urllib.request.urlopen(request)27#

檢視資訊

28print(response.read().decode("

utf-8

"))#....再加入正規表示式就可以實現發狀態,看好友之類的功能。

python訪問需要登入的網頁

有些網頁需要你登入之後才可以訪問,你需要提供賬戶和密碼。只要在傳送http請求時,帶上含有正常登陸的cookie就可以了。1.首先我們要先了解cookie的工作原理。cookie是由伺服器端生成,傳送給user agent 一般是瀏覽器 瀏覽器會將cookie的key value儲存到某個目錄下的文...

python爬蟲實戰(1) 訪問網頁

疫情期間在家閒著沒事,找到本科時的課本,隨手翻了翻還是挺有意思的。在此將自己重新學習的新感受記錄下來,方便以後查閱,如能幫助到廣大的初學者朋友,將是莫大的榮幸。urllib是乙個包,裡邊總共有四個模組。第乙個模組urllib.request是最複雜的也是最重要的,因為它包含了對伺服器請求的發出 跳轉...

訪問網頁過程

輸入位址後如何訪問上乙個網頁?先介紹幾個基本的知識點 dns 通過主機名,最終得到該主機名對應的ip位址的過程叫做網域名稱解析 或主機名解析 dns是典型的應用層協議,埠號53,獨特的地方在於在傳輸層,可以使用tcp和udp傳送資料!為什麼dns既可以使用tcp也可以使用udp?可以從2方面來理解 ...