Python爬蟲基礎之requestes模組

2022-09-27 05:03:13 字數 867 閱讀 8273

開始學習爬蟲,我們必須了解爬蟲的流程框架。在我看來爬蟲的流程大概就是三步,即不論我們爬取的是什麼資料,總是可以把爬蟲的流程歸納總結為這三步:

1.指定 url,可以簡單的理解為指定要爬取的**

2.傳送請求。requests 模組的請求一般為 get 和 post

3.將爬取的資料儲存

因為 requests 模組屬於外部庫,所以需要我們自己導入庫

匯入的步驟:

1.右鍵windows圖示

2.點選「執行」

3.輸入「cmd」開啟命令面板

4.輸入「pip install requests」,等待**完成

如圖:如果還是**失敗,我的建議是百度一下,你就知道(yztxhmsb我也是邊學邊寫,是在是水平有限)

歐克,既然匯入成功後我們就簡單的來爬取一下搜狗的首頁吧!

import requests

if __name__ == "__main__":

# 指定url

url = ""

# 發起請求

# get方法會返回乙個響應資料

response = requests.get(url)

# 獲取響應資料

page_txt = response.text # text返回乙個字串的響應資料

# print(page_txt)

# 儲存

with open("./sougou.html", "w", encoding = "utf-8") as fp:

fp.write(page_txt)

print("爬取資料結束!!!")

我們開啟儲存的檔案,如圖

歐克,這就是最基本的爬取,如果學會了,那就試一試爬取 b站 的首頁吧。

python學習筆記 flask之request

from flask import request coding utf 8 from flask import flask,request def index 訪問上面定義的路徑就是訪問此方法 請求行 print request.method request.method 獲取請求方法 print...

Python學習之爬蟲基礎

第0步 獲取資料 通過requests庫來獲取資料 requests.get 用法 import requests 引入requests庫 res requests.get url requests.get是在呼叫requests庫中的get 方法,它向伺服器傳送了乙個請求,括號裡的引數是你需要的資...

python爬蟲之 入門基礎

可以參考我之前學習的時候 的一篇文章一次完整的http事務過程 超詳細 2.還需要了解一下http的請求方式 有興趣的同學可以去查一下http的八種請求方法,這裡呢主要說下get請求和post請求,這兩種在以後學習中會用到的比較多。get請求 get方法用於使用給定的uri從給定伺服器中檢索資訊,即...