scrapy常用設定和注意點!!!!

2022-08-22 19:03:10 字數 328 閱讀 1997

setting裡的設定

httperror_allowed_codes = [405]   //這一條是忽略405錯誤退出程序,有可能跳到405頁面,在parse注意判斷,重新請求頁面

爬蟲裡的設定

meta =       //這個是限定頁面不能跳轉

dont_filter = true   //這個是不過濾頁面重新爬取,這個在頁面取不到資料裡,要重新爬取時很有用

中介軟體裡的設定

process_exception   //這個方法裡最好不要返回request 這樣會停止程序的,最好在這裡換ip然後什麼也不要返回即可

kill常用注意點

ctrl c是終止當前在終端視窗中執行的命令或指令碼,kill 9 pid,是不顧後果的強制終止 如果的你的速度夠快,有時候是和ctrl c是一樣的 kill 15 pid,是先關閉和其有關的程式,再將其關閉 一般謹慎使用kill 9,它沒有給程序留下善後的機會 1 關閉socket鏈結 2 清理臨...

PO 模組設定注意點

1 po 中的員工設定後,要在系統管理員職責下的安全性下面的使用者中繫結好。同時要在 po中跑 填寫員工層次結構 的請求 必要時還要在系統管理員的職責下跑 使工作流使用者 職責關係彙總同步 同步wf 區域性表 請求。系統交易的最小單位是倉庫,組織架構的設定需要設定到庫存組織才行 3 組織分類 集團b...

Qt常用控制項注意點

乙個控制項的定位包括最基本4個資料 定位座標 x,y 長寬 l,w loader是佔位符,只設定定位座標。component是不可見元件,只設定占用長寬。loader結合component要實現摺疊列表,但component中的根控制項不能使用item,建議使用rectangle,摺疊列表根據loa...