04 爬蟲 帶引數請求資料 params

2021-09-20 03:55:25 字數 957 閱讀 9639

在network中的headers中的query string parameters中找到下面的引數

把上面的引數放在乙個字典中,記得要加上引號''和逗號,   由於加這些比較麻煩,寫了個小函式,自動加上引號和逗號

def add_yinhao(test):

#將複製來的param加上引號如下

#test="""'content'"""

test=test.replace(' ','')

test=test.replace("\n","',\n'") #換行

print(test.replace(":","':'"))

#但是字典首尾要自己加上單引號

爬取qq**任何人的歌以及翻頁

import requests

from bs4 import beautifulsoup

import json

url=''

for i in range(2): #只遍歷前兩頁的歌曲

params=

res=requests.get(url,params=params)

#上面get的**是network中,client_search_cp...中header中url的**,而且是?問號之前的內容,?問號之後是引數params裡的內容

js=res.json() #使用json()方法將response物件轉換為字典/列表

list_m=js['data']['song']['list']

for m in list_m:

print('歌名:《'+m['name']+'》')

print('**:《'+m['album']['title']+'》')

帶引數 爬蟲(四) 帶引數請求

豆瓣搜尋 海邊的卡夫卡 知乎搜尋 宇宙大 可以看到每個url都由兩部分組成 前半部分形如 後半部分形如 xx xx xx xx xx 兩部分使用?來連線。其中前半部分是基 告訴伺服器想訪問的位址,後半部分就是請求所附帶的引數,它會告訴伺服器,需要什麼樣的資料。引數的結構和字典很像,有鍵有值,鍵值用 ...

帶cookie請求資料

經常會用到一些採集網上的資源,普通 很好採,get file contents c url 有的 會有登陸後才能採集,需要帶cookie請求獲取 登陸 相同方法 下面記錄一下使用方法,供參考。1 2header content type text html charset utf8 3define ...

requests請求資料引數化配置

請求資料引數化 1 請求引數化中分為三種,其中第三種是最好用的 2 第二種使用規則 format a a,b b 3 第三種使用規則 f import random import requests defadd a,b url a b b url s b s a,b url var a s b va...