從web抓取資訊(2) Requests

2021-10-02 01:58:23 字數 1059 閱讀 6591

requests庫常用的7種方法:

該url 指向乙個文字頁面,其中包含整本《無聲告白》(.mobi格式,沒找到txt格式的檔案=_=),通過檢查response 物件的status_code 屬性,可以了解對這個網頁的請求是否成功。如果該值等於requests.codes.ok,那麼一切都好(ttp協議中「ok」的狀態碼是200)。

requests常規用法

r=requests.request(method, url, **kwargs)

輸入:•mothod

•get/post/put/update/delete/head ...

•url

•協議:http/https

•host:ip和port

•uri:/***/xx

•引數:?key=value&k2=v2

•body

•表單資料:key=value&k2=v2

•json資料:

•header

•常規的kv鍵值對

輸出:•狀態碼                               r.status_code

•響應header                       r.headers

•響應body                          r.json()

•文字                        r.text

•json資料                 r.content

舉例:r = requests.request('get', '')

r = requests.request('get', url, params =)

r = requests.request('post', url, data=, headers=)

r = requests.request('post', url, json=, headers=)

python 網頁抓取資訊

目標 從下面這個網頁抓取前10頁ip 埠 運營商 位址 最後檢測時間並存入mysql資料庫 匯入需要使用到的模組 class huoqu 讀入資料 def init self self.num 1 for i in range 10 獲取網頁資訊 response requests.get i se...

python爬蟲抓取資訊 urllib

自己晚上寫的 本來抓取的是匯率 沒寫完 唉 路還長 繼續走 import requests import urllib.request import urllib.request import re import datetime def get headers 定義請求頭 換著請求頭進行爬取 he...

外掛程式62 從表中讀取資訊

外掛程式說明 根據提供的表名和使用者名稱,外掛程式將讀取這個使用者的記錄並返回給呼叫程式。若操作成功,則返回乙個兩元素的陣列,其中第乙個元素的值為true,而第二個元素是乙個陣列,儲存使用者的各項資料。若操作失敗,則返回乙個元素陣列,這個元素的值為false.他需要的引數 table 資料表名。ha...