爬蟲應對IP封禁的一般性處理方法

2021-09-24 01:42:08 字數 928 閱讀 5380

某些**,由於**開發者或者管理員安全意識不夠,通過設定x-forwarded-for頭可以偽造任意ip。以ip138為例

如上圖所示,通過修改x-forwarded-for標頭的值,可以任意偽造請求ip,配合隨機ip使用,效果很好。但是目前存在此類漏洞的**已經很少了,但是建議第一時間先嘗試一下

2.adsl撥號

原理就是adsl斷開重連之後,會更換ip。這種方式的優點是,ip質量很高,因為就是本機ip請求,但是侷限性也很大,主要有以下缺點:

有ip段限制

撥號過程中會斷網

一般不適合多執行緒使用

容易撥死

即對傳送請求設定**ip,**ip按照匿名程度,可以分為匿名**,透明**等,區別就是對方的伺服器能否知道你的真實ip位址。很多**無論你使用的是什麼**,都會取**ip的值(為了防範第一種方式提到的漏洞),所以對於爬蟲來說,匿名**和透明**都是可以用的。市面上售賣的**ip多為掃瞄器掃瞄**,時效性在幾分鐘到幾小時不等,配合多執行緒可以滿足抓取需求。由於此類**ip**不單一,優質,劣質,國內,國外都有,因此使用時注意設定timeout,如果發起的是post請求,還要注意設定讀寫超時(c#中為httpwebrequest.readwritetimeout屬性)。

錢包的一般性介紹

最近有很多朋友問我關於錢包的一些知識,為避免重複回答,下文做簡要一般性介紹,以後有人再問就直接給本文章的鏈結 顧名思義,錢包是用來儲存錢的。但在數字貨幣的世界中,錢包裡面並沒有 錢 錢包賬戶裡有多少 錢 都是記錄在區塊鏈上的,錢包裡只是儲存了賬戶對應的 私鑰,賬戶是從私鑰相應的公鑰衍生出來的。只要有...

vagrant初始登入失敗的一般性解決方案

今天mac機上,遇到的 vagrant halt vagrant up後 一直卡在 default running pre boot vm customizations.default booting vm.default waiting for machine to boot.this may t...

做任務的一般性原則

ig是一款通用的清機偽裝軟體,主要用於保證裝置的唯一性,並非專門針對某一款應用,它可以作的任務很多,我們精力有限,沒有辦法每種任務都深入研究,但是無論哪種任務,都有乙個一般性原則,就是盡量還原操作的真實性!大致如下 使用ig保證裝置的唯一性 使用任我行或ios虛擬定位anywhere等gps偽裝軟體...