如何應對爬蟲請求頻繁

2021-10-25 21:38:45 字數 630 閱讀 4103

相信很多爬蟲工作者在進行資料爬取過程中經常會遇到「您的請求太過頻繁,請稍後再試」,這個時候心裡莫名的慌和煩躁、明明爬蟲**也沒有問題啊,怎麼突然爬不動了呢?那麼,很有可能,你的爬蟲被識破了,這只是友好的提醒,如果不降低請求就會拉黑你的ip了。

我們都知道遇到這種情況使用**就解決了,用**ip確實不失為乙個解決問題的好辦法。ip被封了就換新ip繼續爬,或者用很多ip同時多執行緒爬,都很給力的。但是有時候沒有爬多久又被提示「您的請求太過頻繁,請稍後再試」。再換ip還是被封,再換再封,封的越來越快,效率非常低下,這是為什麼呢?

那是因為,你用的**ip湊巧也是別人用來訪問相同的**的,而且用的還比較頻繁。可能你們使用了共享ip池,或者使用的**ip池很小。所以我們在找**ip的時候,在保證ip有效率的同時ip池越大越好的,這樣可以保證ip的新鮮度。例如億牛雲…列如還有的在使用**的過程中也出現這樣的情況。http\https**,系統會返回429 too many requests;但不會對爬蟲的執行產生影響,爬蟲會根據返回結果自動重新發起請求,這是http\https的標準應答模式。

所以,當您遇到「您的請求太過頻繁,請稍後再試」時,不要慌,要鎮定,檢查下自己的爬蟲策略,是否真的訪問太過頻繁,檢查下自己的**ip是否真的比較乾淨,調整自己的策略,選擇更加純淨的ip,就能有效的避免這個錯誤了

站長如何應對PR頻繁更新?

google pr評級系統調整更新頻率越來越快,google pr更新的週期性原來一直是乙個季度左右,但最近幾次頻頻更新,時間間隔都不到jmcsiwbou乙個月。很多部落格沒做什麼鏈結,都pr3,很多成立不到一年的時間pr飆公升到6,這對於習慣了以往養尊處優的老站長打擊最大,這在一定程度上,顛覆了老...

Ajax 請求太頻繁

伺服器做了兩個優化 cpu 使用率減低 40 解決方案 核心思路是不論瀏覽器開啟了多少視窗,瀏覽器內的所有視窗在單位時間內 15 秒 只能傳送乙個請求。怎麼做到呢?利用現代瀏覽器內建的 localstorage 功能可以很容易實現 js 端使用 localstorage 在請求成功後記錄notifi...

避免頻繁請求操作

防抖 適用於input輸入框格式驗證 聯絡詞等。待使用者停止輸入一段時間再發生請求,避免頻繁請求。實現細節 debounce返回乙個function,關鍵點在於cleartimeout,如果使用者不停輸入,就會一直執行cleartimeout,導致fn無法執行。只有使用者停止x時間後,才會開始執行f...