在network中的headers中的query string parameters中找到下面的引數
把上面的引數放在乙個字典中,記得要加上引號''和逗號, 由於加這些比較麻煩,寫了個小函式,自動加上引號和逗號
def add_yinhao(test):
#將複製來的param加上引號如下
#test="""'content'"""
test=test.replace(' ','')
test=test.replace("\n","',\n'") #換行
print(test.replace(":","':'"))
#但是字典首尾要自己加上單引號
爬取qq**任何人的歌以及翻頁
import requestsfrom bs4 import beautifulsoup
import json
url=''
for i in range(2): #只遍歷前兩頁的歌曲
params=
res=requests.get(url,params=params)
#上面get的**是network中,client_search_cp...中header中url的**,而且是?問號之前的內容,?問號之後是引數params裡的內容
js=res.json() #使用json()方法將response物件轉換為字典/列表
list_m=js['data']['song']['list']
for m in list_m:
print('歌名:《'+m['name']+'》')
print('**:《'+m['album']['title']+'》')
帶引數 爬蟲(四) 帶引數請求
豆瓣搜尋 海邊的卡夫卡 知乎搜尋 宇宙大 可以看到每個url都由兩部分組成 前半部分形如 後半部分形如 xx xx xx xx xx 兩部分使用?來連線。其中前半部分是基 告訴伺服器想訪問的位址,後半部分就是請求所附帶的引數,它會告訴伺服器,需要什麼樣的資料。引數的結構和字典很像,有鍵有值,鍵值用 ...
帶cookie請求資料
經常會用到一些採集網上的資源,普通 很好採,get file contents c url 有的 會有登陸後才能採集,需要帶cookie請求獲取 登陸 相同方法 下面記錄一下使用方法,供參考。1 2header content type text html charset utf8 3define ...
requests請求資料引數化配置
請求資料引數化 1 請求引數化中分為三種,其中第三種是最好用的 2 第二種使用規則 format a a,b b 3 第三種使用規則 f import random import requests defadd a,b url a b b url s b s a,b url var a s b va...