SiteSucker使用記錄

2021-08-09 06:29:50 字數 388 閱讀 1149

file modification設定為localize可以自動幫你關聯本地js、css等檔案

file replacement可以選擇重複爬取的檔案是覆蓋還是怎麼著

可以通過設定levels來決定爬取的深度

多個爬取任務可以新增到queue,爬取配合設定的爬取深度可自動切換任務

可以在webpage->patterns裡面對爬取內容設定正則替換(有不可言說的妙用…)

request裡面可以選擇ua,還可以設定嘗試次數

preference裡面還可以設定同時開啟的連線數(加速)

需要登入才能抓取的,先在open browser中登入然後開始抓(過彎)

ignore robot exclusions可以突破rotots.txt的限制(起飛)

Python 使用記錄(累計記錄)

2 pandas 設定 3 pandas 操作 4 笛卡爾積 1 列表轉字串list1 department of biology str1 join list1 print str1 department of biology2 從列表中刪除元素 要刪除的元素的型別必須與列表中的元素的型別相同 l...

fiddler使用記錄

fiddler 抓不到ie瀏覽器 或者ie核心瀏覽器 的請求包 1 ie的 去掉,這樣會使用fiddler的 去掉 之後一般就可以抓到ie的包了。很常見!另外,此時基於ie核心的瀏覽器可能還不行,比如我用的115br,瀏覽器關掉重啟下就可以了。a 檢查是否配置了某些filter過濾規則 很常見!b ...

xshell securecrt使用記錄

xshell為何滑鼠雙擊時會觸發換行,當選中一段文字時也會換行?在linux下,ctrl c是發個中斷訊號的意思,ctrl c操作會觸發xshell換行.所以,可能是出發了ctrl c導致了xshell換行.windows下,有一些應用程式定義了一些ctrl c的快捷鍵對映,比如有道詞典 當雙擊選中...