Python3學習筆記（urllib模組的使用）

-         url:  需要開啟的**

-         data：post提交的資料

-         timeout：設定**的訪問超時時間

直接用urllib.request模組的urlopen（）獲取頁面，page的資料格式為bytes型別，需要decode（）解碼，轉換成str型別。

1

from urllib import
request
2 response = request.urlopen(r'
') #
httpresponse型別
3 page =response.read()
4 page = page.decode('
utf-8
')

-         read() , readline() ,readlines() , fileno() , close() ：對httpresponse型別資料進行操作

-         info()：返回httpmessage物件，表示遠端伺服器返回的頭資訊

-         getcode()：返回http狀態碼。如果是http請求，200請求成功完成;404**未找到

-         geturl()：返回請求的url

使用request（）來包裝請求，再通過urlopen（）獲取頁面。

1 url = r'

'2 headers =
8 req = request.request(url, headers=headers)
9 page =request.urlopen(req).read()
10 page = page.decode('
utf-8
')

-         user-agent ：這個頭部可以攜帶如下幾條資訊：瀏覽器名和版本號、作業系統名和版本號、預設語言

-         referer：可以用來防止盜鏈，有一些**顯示**http://***.com，就是檢查referer來鑑定的

-         connection：表示連線狀態，記錄session的狀態。

urlopen（）的data引數預設為none，當data引數不為空的時候，urlopen（）提交方式為post。

1

from urllib import
request, parse
2 url = r'
'3 headers =
9 data =
14 data = parse.urlencode(data).encode('
utf-8')
15 req = request.request(url, headers=headers, data=data)
16 page =request.urlopen(req).read()
17 page = page.decode('
utf-8
')

1 data =

6 data = parse.urlencode(data).encode('
utf-8
')

first=true?pn=1?kd=python

post的資料必須是bytes或者iterable of bytes，不能是str，因此需要進行encode（）編碼

1 page = request.urlopen(req, data=data).read()

當需要抓取的**設定了訪問限制，這時就需要用到**來抓取資料。

1 data =

6 proxy = request.proxyhandler()  #
設定proxy
7 opener = request.build_opener(proxy)  #
掛載opener
8 request.install_opener(opener)  #
安裝opener
9 data = parse.urlencode(data).encode('
utf-8')
10 page =opener.open(url, data).read()
11 page = page.decode('
utf-8')
12return page

Python3學習筆記

最近在起步學python，聚合一下這個過程中蒐集的資源和對一些基本知識做個小總結，語法基於python3，方便以後查詢。python官方文件 不錯的基礎課程 基本語法 演算法 建模 練習 以下是整理常用可能遺忘的基礎點 python3中的輸入是input 獲得使用者輸入的字串 a input ple...

python3學習筆記

redis訊息佇列的使用 coding utf 8 created on tue mar 26 15 58 34 2019 author admin import redis class redisqueue object def init self,name,namespace queue red...

python3 學習筆記

python3學習筆記 python基礎 輸出 print 括號中加上想要輸出的資料，就可以將指定內容輸出至螢幕。1.輸出的時候要注意資料型別。字串，整數等等 2.括號中可以包含多個字串，使用逗號隔開就可以了。但是每次輸出遇到這個連線逗號的時候都會輸出乙個空格。3.括號中的內容也可以是變數名和計算公...