豆瓣搜尋「海邊的卡夫卡」**：
知乎搜尋「宇宙大**」**：
可以看到每個url都由兩部分組成：前半部分形如：後半部分形如：xx=xx&xx=***&***xx=xx&……兩部分使用?來連線。其中前半部分是基**，告訴伺服器想訪問的位址，後半部分就是請求所附帶的引數，它會告訴伺服器，需要什麼樣的資料。引數的結構和字典很像，有鍵有值，鍵值用=連線；每組鍵值之間，使用&來連線。
更多歌曲
先把network面板清空，再修改page值按回車鍵，檢視network多出來的新xhr。
找到對應的請求，點開headers，檢視query string parameters，觀察引數的變化規律。
p值和searchid都在變化，但通過前面的網頁測試來看，searchid的值都為1仍然成功翻頁，因此只需對p值迴圈即可。
requests模組裡的requests.get()提供了乙個引數叫params，可以用字典的形式，把引數傳進去。官方文件描述是：
所以可以把querystring parameters裡的內容，直接複製下來，封裝為乙個字典，傳遞給params。只是有一點要特別注意：要給他們打引號，讓它們變字串。
每乙個請求，都會有乙個request headers(請求頭)。它裡面會有一些關於該請求的基本資訊，比如：這個請求是從什麼裝置什麼瀏覽器上發出，這個請求是從哪個頁面跳轉而來。
上圖中user-agent(中文：使用者**)會記錄電腦的資訊和瀏覽器版本，origin(源頭)和referer(引用**)則記錄了這個請求最初的起源是來自哪個頁面。如果想將爬蟲程式偽裝成乙個正常的瀏覽器。需要修改user-agent否則預設值就會是python，伺服器能識別是爬蟲。requests模組允許修改headers的值，檢視官方文件會發現只需要封裝乙個字典就行了，origin或referer也類似。
http post 請求，帶引數，帶請求頭
print type body 檢視資料型別 print type json.dumps body 這裡有個細節，如果body需要json形式的話，需要做處理 可以是data json.dumps body response requests.post url,data json.dumps bod...
04 爬蟲 帶引數請求資料 params
在network中的headers中的query string parameters中找到下面的引數 把上面的引數放在乙個字典中，記得要加上引號 和逗號,由於加這些比較麻煩，寫了個小函式，自動加上引號和逗號 def add yinhao test 將複製來的param加上引號如下 test cont...
C 傳送Post請求（帶引數）
此處內容傳輸都是用utf 8編碼 1.不帶引數傳送post請求 指定post位址使用get 方式獲取全部字串 請求後台位址 public static string post string url return result 2.帶引數post請求,指定鍵值對 指定post位址使用get 方式獲取全...