python3爬蟲初探（二）之requests

關於請求網頁，不得不提requests這個庫，這是爬蟲經常用到的乙個第三方庫，用pip安裝即可。

requests用法很多，這裡只寫一些基礎的，其他高階功能可參考官方文件。

import requests

url = '
'#這裡用get方法用來請求網頁，其他還有post等方法來請求網頁
data = requests.get(url)
print(data)
#print(data.text)#
#此時同樣列印出網頁原始碼
#

關於requests還有一些其他用法對我們已有的爬蟲程式也很有用。

code = data.encoding#

獲取頁面的編碼方式
print(code)
#utf-8
page_status = data.status_code#
獲取狀態碼，檢查是否請求成功
print(page_status)
#200

這些是requests的基礎用法,爬蟲開始掌握這些簡單的用法就可以啦。後面還會繼續對requests進行總結。

python3爬蟲之開篇

寫在前面的話 折騰爬蟲也有一段時間了，從一開始的懵懵懂懂，到現在的有一定基礎，對於這一路的跌跌撞撞，個人覺得應該留下一些文本性的東西，畢竟好記性不如爛筆頭，而且畢竟這是吃飯的傢伙，必須用心對待才可以，從今天起，我將會把關於爬蟲的東西進行乙個整理，以供後期的查閱，同時也想將自己的一點點經驗分享給大家。...

python3爬蟲實踐（二） 爬蟲前奏

1.1 什麼是網路爬蟲 1.2 通用爬蟲和聚焦爬蟲 2.1 什麼是 http 和 https 協議 2.2 在瀏覽器中傳送乙個 http 請求的過程 2.3 url 詳解 scheme host port path query string anchor2.4 常用請求方法 get 請求 一般情況下...

python3基礎 初探python

官網 選擇python2.7.4 python3.6.5版本，預設安裝即可 install uninstall 安裝 解除安裝包 命令 py 3 m pip install 包名 py 3 m pip uninstall 包名 示例 py 3 m pip install nose py 3 m pi...