Python網路爬蟲學習

2021-10-01 05:01:53 字數 1175 閱讀 1994

最近有時間學習在慕課網上跟著嵩天老師上他的python網路爬蟲與資訊提取這門課,想著可以寫些部落格將學的爬蟲知識總結起來。
win平台下:前提是安裝好python,在cmd中執行「pip installl requests」。其他方法的話可以在網上搜尋。

r=requests.get(url) 其中get返回的是response物件。

response物件的屬性:requests.request() 構造乙個請求,支撐put、head等其他方法。

url:頁面的url鏈結。

**kwargs:控制訪問項。可以為:params data json headers cookies auth files timeout proxies allow_redirects stream verify cert 。

requests.post(url, data=none,json=none,**kwargs)

其中的引數:

url:頁面鏈結。

data:字典或位元組序列或檔案。

json:json格式的資料。

**kwargs:12個控制訪問的引數。

requests.put(url, data=none,**kwargs)

其中的引數:

url:頁面鏈結。

data:字典或位元組序列或檔案。

kwargs:12個控制訪問的引數。

1.2.6 patch方法的使用

requests.patch(url, data=none,**kwargs)

其中的引數:

url:頁面鏈結。

data:字典或位元組序列或檔案。

kwargs:12個控制訪問的引數。.

Python學習前傳 Python網路爬蟲

原來一直是linux c 開發,現在開始學習另一門面向過程的語言 python。學習一門語言,重要的在於思想,現在就以linux c 開發者的角度來學習python。我們先不講python基礎,我們直接來看一段網路爬蟲 看一下python語言的特點。那麼什麼是網路爬蟲呢?網路爬蟲,又稱為網路蜘蛛 w...

Python網路爬蟲學習(二)

十五.京東商品頁面的爬取 import requests r requests.get r.status code r.encoding r.text 1000 十六.亞馬遜商品頁面的爬取 import requests def main url try kv r requests.get url,...

網路爬蟲 python學習筆記

pip install requestsr requests.get url r requests.get url,params none,kwargs request其實只有乙個方法 request 有兩個物件 import request r requests.get print r.statu...