scrapy post請求問題

2021-10-08 21:23:34 字數 692 閱讀 5854

from urllib.parse import urlencode

data =

yield scrapy.formrequest(url=url,

formdata=data,

callback=self.project_item,

cookies=

)# 使用普通request方法, 需要將資料的字典進行url編碼,傳入body

yield scrapy.request(url=url,

method=

'post'

, body=urlencode(data)

, headers=

, callback=self.project_item,

cookies=

)

這種方法請求出來的內容不正確.

後來查詢發現是因為gbk編碼, 改為如下

yield scrapy.formrequest(url=url,

formdata=

, callback=self.project_item,

cookies=

)

成功.撒花.結束

scrapy POST傳送json 資料

scrapy post 傳送資料是我們通常會用 yield scrapy.formrequest url url,formdata callback self.parse page 來傳送請求,但這是傳送header為 content type 的資料,有時候我們做一些爬蟲,會post傳送json資...

ajax請求問題。

臨近畢業了還要幹活。稍微有點悲催。今天寫 遇到了乙個問題。用for迴圈ajax請求後台action。在firebug裡看到的請求引數是正確的。兩個請求的引數乙個是0,乙個是1。但是執行action的時候,執行的兩次卻都是執行的同乙個引數。比如都是1或者都是0。這個問題很奇怪。到目前還沒解決。在aja...

jquery ajax請求問題

在請求後台介面的時候,我們很常見的用法就是 ajax 平常從來沒有在意過請求的時間響應的時間問題,今天在程式中接觸到了,如下圖所示的status 還有在pending的請求。我使用的是datatables框架,請求好的資料直接塞到框架裡面。但是這個就會出現問題了,比如先請求的status還沒有200...