Python 爬蟲盡量不被發現策略

2021-08-01 16:37:31 字數 962 閱讀 2940

所以要準備一堆可用的**ip,如果公司有額外的比較閒的ip最好了,閒著也是閒著,在不影響正常業務的提前下,多換ip。否則就要想辦法獲取免費**。

,當然需要先pip安裝。

其實我也推薦大家偽裝成各大搜尋**的ua,比如googleua 有這樣一些google抓取工具

,說到這裡,有的**你新增referfer欄位是搜尋**也是有用的,因為**是希望被索引的,所以會放寬搜尋引擎的爬取策略。

fake_useragetn 例項測試

from fake_useragent import useragent 

ua = useragent()

ua.update()

try:

ua = useragent()

except fakeuseragenterror:

pass

print(ua.ie)

print(ua.firefox)

print(ua.safari)

print(ua.random)

mozilla/5.0 (compatible; msie 9.0; windows nt 6.1; trident/4.0; gtb7.4; infopath.1; sv1; .net clr 2.8.52393; wow64; en-us)

mozilla/5.0 (windows nt 6.2; win64; x64; rv:27.0) gecko/20121011 firefox/27.0

就是已經限制了你這個ip的抓取,就不要傻傻重複試,怎麼滴也得休息一會。網易雲**操作起來比較簡單,sleep一下就好了。其實sleep的間隔應該按情況累加,比如第一次sleep10秒,發現還是被約束。那麼久sleep 20秒... 這個間隔的設定已經自適應的最終效果是經驗值。

試試。我個人還是傾其所有的做好其他的地方,不要讓人家彈出驗證碼讓我輸入。

如何蹭網不被發現

出於某種原因,你可能不想別人通過區域網網路上的芳鄰裡看到自己的電腦,其實你可以隱藏自己的電腦,讓別人在區域網中找不到你。下面是操作方法 單擊 開始 執行 在開啟的 執行 對話方塊中輸入 cmd 開啟命令列視窗,輸入 net config server hidden yes 再回車就可以了。這樣別人就...

如何隱藏自己的應用程式在伺服器上不被發現

i pensier stretti il viso sciolto.hemy wootton 黑客與畫家 守口如瓶,笑臉相迎 目錄 序1.0 建立單調定時器 1.1 建立單元檔案 1.2建立python指令碼 1.3執行指令碼 1.4通過定時器啟動任務 文件編寫目的 用來保護公司機密的監控小程序,並...

python中不被定義 Python 定義功能

一.def函式 如果我們用 實現了乙個小功能,但想要在程式 中重複使用,不能在 中到處貼上這些 因為這樣做違反 了軟體工程中 dry原則。python 提供了 函式功能,可以將我們這部分功能抽象成乙個函式以方便程式呼叫,或者提供給其他模組使用。例子 二.函式引數 我們在使用的呼叫函式的時候,想要指定...