一、建立高匿ip位址池
(1)什麼是虛擬ip
虛擬ip 是指由總部(mdlan)指定總部空閒的一段ip 作為移動使用者接入時的虛擬ip 池。當移動使用者接入後,分配乙個虛擬ip 給移動使用者,移動使用者對總部的任何操作都是以分配的ip 作為源ip、就完全和在總部區域網內一樣。例如使用虛擬ip 的移動接入後,可以訪問總部區域網內的任何一台計算機,即使該計算機沒有把閘道器指向總部(mdlan);可以為接入的移動使用者指定dns 等網路屬性。
(2)使用高匿ip位址池的優勢
當對目標進行掃瞄或爬取時,當觸發目標伺服器的檢測規則時,客戶端的ip可能會被禁止訪問。此時本地建立高匿ip位址池,當客戶端ip被ban或定時切換ip,對目標進行掃瞄或爬取,可以對目標進行迴圈掃瞄,直到獲取結果。
二、建立user-agent池
(1)為什麼建立user-agent池
目標伺服器的檢測規則中,常見會對客戶端的訪問ua頭進
行檢驗。當觸發服務端檢測規則時,可能被禁止訪問的僅僅是客戶端的ua頭,當客戶端被禁止請求時,可以更換ua頭的方 式不斷對目標伺服器進行請求。
(2)侷限性
目前常見伺服器端檢測規則中,部分只會對ua進行檢驗,
常見的還是ip被禁止請求。更換ua的方式只存在少數服務端中。
三、tor洋蔥路由**
(1)採用洋蔥路由的優勢
tor(the onion router, 洋蔥路由器)是網際網路上用於保護隱私最有利的工具之一。如果我們不適用tor,網路請求就會直接傳送給目標伺服器。
(2)優勢
相比之下,如果我們使用tor傳送網路請求,客戶端就會選擇一條隨機路徑到伺服器。這條隨機路徑中間會經過多個tor節點,而且使用洋蔥路由加密技術,使得任何節點都不能偷取加密資料,並且該請求的傳輸路徑難以追蹤,也查不出起點在哪。
四、動態撥號**連線
(1)動態撥號ip的優勢
動態ip撥號伺服器的ip位址是可以動態修改的。其實動態ip撥號伺服器並不是什麼高大上的伺服器,相反,屬於配置很低的一種伺服器。我們之所以使用動態ip撥號伺服器,不是看中了它的計算能力,而是能夠實現秒換ip。
(2)特點
動態ip撥號伺服器的ip位址是可以動態修改的。其實動態ip撥號伺服器並不是什麼高大上的伺服器,相反,屬於配置很低的一種伺服器。我們之所以使用動態ip撥號伺服器,不是看中了它的計算能力,而是能夠實現秒換ip。
五、更換mac位址
(1)為什麼需要更換mac位址
目標伺服器的檢測規則中,如果客戶端觸發,有可能會存在本地mac位址被封禁的情況存在。這時如果需要繼續請求訪問,需要更換本地mac位址。
(2)實現方法
在本地使用vps+python指令碼,當檢測到無法訪問目標伺服器時,自動修改mac位址值,實現自動修改。
scrapy爬蟲之防止被Ban
防止被 反爬蟲有很多方法,換ip,使用user agent池等,此處先介紹乙個簡答的方法使用user agent 第一步 在settings中,將robotstxt obey 的值改為false,預設值是true,既遵守爬蟲規則,此處我們不遵守這個規則,要不然很多東西沒辦法爬取 第二步 在瀏覽器中找...
使用Scrapy框架中如何避免被Ban
1 禁止cookie 在setting中 cookies enabled false 修改之前 cookies enabled false 修改之後 download delay 3 修改之後 3 使用ip池 如果在爬蟲過程中你使用同乙個ip進行高頻率的訪問某個 可能你的ip會被ban,不能進行爬取...
如何防止密碼被非法獲取
問題提出 這兩天大家比較專注在獲取edit 密碼框的密碼 在盜取時 我們如何防範呢?解決方法 此方法針對於通過sendmessage 向此視窗傳送 wm gettext 或em getline 訊息來取得密碼 跟我來.程式實現 方法很簡單,用cwnd defwindowproc 函式攔截得到的訊息 ...