下面主要是python3中的urllib庫中的相關知識及user-agent設定：
一、什麼是user-agent？
user-agent是http協議中的一部分，屬於頭域的組成部分，user agent也簡稱ua。用較為普通的一點來說，是一種向訪問**提供你所使用的瀏覽器型別、作業系統及版本、cpu 型別、瀏覽器渲染引擎、瀏覽器語言、瀏覽器外掛程式等資訊的標識。ua字串在每次瀏覽器 http 請求時傳送到伺服器！
瀏覽器ua 字串的標準格式為： 瀏覽器標識 (作業系統標識; 加密等級標識; 瀏覽器語言) 渲染引擎標識 版本資訊。
二、user-agent在python3中的urllib使用：
#如果乙個**遮蔽了你
#解決辦法： （1)模擬瀏覽器 ； （2）偽裝瀏覽器
import
urllib.request
defdownload1(url):
headers= #
header 字典形式
#選擇** ctrl + 滑鼠左鍵 檢視變數或者函式或者類的定義
request=urllib.request.request(url,headers=headers) #
傳送請求
#也可以通過呼叫request.add_header() 新增/修改乙個特定的 header
request.add_header("
connection
","keep-alive
") #
一直活著
response=urllib.request.urlopen(request) #
開啟請求
data=response.read() #
讀取資料
print(response.code) #
可以檢視相應狀態碼
return
data
url="
"print(download1(url).decode("
utf-8
")) #
decode("utf-8") 二進位制解碼為utf-8
python python中的urllib模組
import urllib.request response urllib.request.urlopen html response.read decode utf 8 print html 指定請求頭的方式 import urllib.request url headers request ur...
Python中urllib模組的使用
建立乙個表示遠端url的類檔案物件，然後像本地檔案一樣操作這個類檔案物件來獲取遠端資料。引數url表示遠端資料的路徑，一般是 引數data表示以post方式提交到url的資料 玩過web的人應該知道提交資料的兩種方式 post與get。如果你不清楚，也不必太在意，一般情況下很少用到這個引數 引數pr...
網路中urllib庫的使用
urllib 庫的基本使用 所謂網路請求，就是把 url 位址中指定的網路資源從網路流中讀取出來，儲存 到本地。在 python中有很多庫可以用來獲取網路資源，我們先學習 urllib。urllib2 在 python3.x 中被改為 urllib.request 從urllib模組引入reques...