問題解決 Formdata格式獲取不了想要的資料

今天在做爬蟲程式時遇到問題：始終獲取不了我想要的資料，一直獲取的都是首頁的資料。經分析過後是formdata出了問題。伺服器不能識別出我構造的錯誤的formdata，因此返回的是預設的首頁資料。

要構造的formdata如下：

formdata**如下：

formdata =

# 我用的scrapy.requests模組，**如下
yield scrapy.request(
url=url,
method=
'post'
,            headers=headers,
body=json.dumps(formdata)
,            callback=self.parse
)

原因是formdata的格式錯了

再看瀏覽器中formdata的原始碼，發現這不是字典的格式，包裝成json是錯誤的。

解決：令formdata等於上述**，且formdata不用json。dumps（），直接傳輸即可

formdata =

'pagenum=1&numperpage=100&orderfield=&orderdirection=&search_like_f01=&search_like_f02=%e6%bf%80%e5%85%89&search_like_f07=&jpagenum=1&numperpage=100'
yield scrapy.request(
url=url,
method=
'post'
,            headers=headers,
body=formdata,
callback=self.parse
)

oom問題解決

dalvik虛擬機會為應用程式分配固定大小的heap 如果使用超過了這個heap的大小，且沒有可被 物件，就會報oom。多張較大會迅速占用空間造成oom。我們可以使用一下的方法來減少這種情況的產生 1.減少單張的大小，根據螢幕大小來對bitmap做resize。private void setima...

too many open files問題解決辦法

今天用 往liunx中寫檔案，檔案很多 執行一會就日誌上就報錯 too many open files 結果找了半天才解決這個問題，現在給大家分享一下。首先用 ulimit a 命令看看linux的open files值是多少，結果乙隻有1024，不夠用的。然後修改linux的配置檔案，修改 etc...

haoop問題解決

1.namenode不能啟動 cannot lock storage tmp dfs name.the directory is already locked.上網查了查，基本上有兩個辦法 1.重新格式化namenode 2.許可權問題 chown r hadoop hadoop tmp dfs n...