爬蟲（3） Requests庫的5個小例項

1、獲取京東某個商品的資訊

import requests

url =
''try:
r = requests.get(url)
r.raise_for_status(
)    print
(r.text[
:1000])
except
:print
('爬取失敗！'
)

import requests

url =
''r = requests.get(url)
print
(r.request.headers)
# 結果：

從輸出的headers可以看出』user-agent』: 『python-requests/2.23.0』，**會限制其訪問

解決：將headers引數設定為user-agent:mozilla/5.0，來標識為瀏覽器請求

import requests

url =
''kw =
try:
r = requests.get(url, headers=kw)
r.raise_for_status(
)    print
(r.text[
:1000])
except
:print
('爬取失敗！'
('爬取失敗！'
)

4、網路的爬取和儲存

import requests

import os
url =
''# 鏈結
root =
'd://pics//'
# 儲存路徑，或者'd:\pics\'
path = root+url.split(
'/')[-
1]# 儲存路徑+原的名字
try:
ifnot os.path.exists(root)
:        os.mkdir(root)
ifnot os.path.exists(path)
:        r = requests.get(url)
f =open
(path,
'wb'
)        f.write(r.content)
f.close(
)print
('檔案儲存成功'
)else
:print
('檔案已存在'
)except
:print
('獲取失敗'
)

import requests

url =
""try:
r=requests.get(url+
'166.111.4.100'
)    r.raise_for_status
print
(r.status_code)
print
(r.text[
18000
:19000])
except
:print
('獲取失敗'
)

Requests庫網路爬蟲實戰（5個例項）

import requests url 京東mate30 5g try r requests.get url r.raise for status 如果不是200，則產生異常 print r.text 1000 except print 爬取失敗 import requests url 亞馬遜pyt...

3 requests之不同型別的傳參

匯入requests包 import requests 1.組裝請求 url 這裡只有url，字串格式 2.傳送請求，獲取響應 res requests.get url res即返回的響應物件 3.解析響應 print res.json 輸出響應的文字res.json 方法實際上是使用了json.l...

5 爬蟲 requests庫講解 高階用法

0.檔案上傳 import requests files response requests.post files files print response.text 1.獲取cookies import requests response requests.get print response.c...