資訊保安課程的乙個任務，正好在了解的同時記錄一下，都是很基礎的概念和理解，如有問題希望各位大佬多多指正。
經過討論，我們認為此次課設的目的為讓我們更多的了解爬蟲-反爬蟲-反反爬蟲機制，了解基礎的反爬蟲手段，與相應的反反爬蟲模式，並根據網路資料對一些經典的反反爬蟲案例進行復現
簡介爬蟲的原理與基本過程
反爬蟲原理與經典模式
反反爬蟲方法
經典反反爬蟲案例復現
網路爬蟲是一種按照一定的規則，自動地抓取全球資訊網資訊的程式或者指令碼。
而反網路爬蟲則是根據ip訪問頻率，瀏覽網頁速度，賬戶登入，輸入驗證碼等技術阻止爬蟲程式執行的程式。
反反爬蟲則是繞開反網路爬蟲機制再次抓取資訊的網路爬蟲程式。
舉個例子，爬蟲像乙個小偷，要去房子裡偷資料，而反爬蟲則是這間住房的防護措施，小偷第一次被鐵門阻擋之後選擇挖地道，就是一種反反爬蟲的方式。總之防護的手段多種多樣，小偷的手段也層出不窮。
首先我們需要了解網上衝浪的實際過程：
在瀏覽器中輸入位址 —— 經過dns伺服器找到伺服器主機 —— 向伺服器傳送乙個請求 —— 伺服器經過解析後傳送給使用者瀏覽器結果
使用者實際上得到的只是html的**，即爬蟲的任務就是分析這段**，從中提取對自己有用的資訊
爬蟲學習 爬蟲基本流程
標籤 空格分隔 資料探勘 爬蟲 1 發起請求 2 獲取相應內容 3 解析網路內容 4 儲存資料 結構化儲存 user server request server user response 1 請求方式 get,post,head,put,delete 2 get和post的區別 請求的引數包含的部...
反反爬蟲策略
點選我前往github檢視源 別忘記star 自建 池 一.對請求ip等進行限制的。以知乎為例，當我們的請求速度到達一定的閾值，會觸發反爬蟲機制！在我爬取知乎百萬使用者資訊中，出現了429錯誤 too many requests 詳情請見我的部落格 應對策略.1.降低爬蟲採集速率，使速率略低於閾值 ...
爬蟲 07 反爬蟲
回到頂部 爬蟲和反爬蟲基本概念 爬蟲 自動獲取 資料的程式，關鍵是批量的獲取。反爬蟲 使用技術手段防止爬蟲程式的方法。誤傷 反爬蟲技術將普通使用者識別為爬蟲，如果誤傷過高，效果再高也不能用。成本 反爬蟲需要的人力和機器成本。攔截 成功攔截爬蟲，一般攔截率越高，誤傷率越高。反爬蟲的目的 初級爬蟲 簡單...