網路爬蟲（英語：web crawler），也叫網路蜘蛛（spider），是一種用來自動瀏覽網際網路的網路機械人。根據實際情況，爬蟲本身也有窄義和範義的解釋，從小範圍來說，爬蟲只是為了自動化獲取網路上的資料，從廣泛意義來說，爬蟲也是自動化的一部分，自動化操作頁面元素，不僅可以獲取資料，還可以執行一些業務，所以單論爬蟲來說，是個有技術含量的事情，並不想大家想象中那麼low。
爬蟲可以實現的能力並不少，大致如下：
資料採集：通過獲取頁面內資料，並結構化儲存，可以應用到多種行業或者具體業務中。泛用度之高，可能超過一些人的想象，比如大學生**分析所需要的資料可以用爬蟲獲取公開**資料、乙個管理很多個自**號的大v可以通過爬蟲快速獲取自己的資料，也可以監測其他對手的資料、網際網路輿情公司大範圍採集資料、廣告營銷公司監測和分析廣告傳播等等。
自動化頁面操作：通過web driver可以操作網頁裡的元素，可以執行很多事情，比如搶單、刷帖、薅羊毛、搶票等等。也可以通過頁面操作方式實現很多rpa系統的功能，讓工作流程更加自動化。
但是，以上都只是爬蟲系統，尤其是偏採集部分得情況，實際上乙個完整的爬蟲系統涵蓋了多個子系統，這樣才能形成乙個完整的架構體系，缺少任何乙個部分，也許系統可用，但是完整度和延展性都會降低很多。
上圖是網上很常見的scrapy的架構，它實現了乙個通用型爬蟲的基本架構，是初中級爬蟲選手常用的開源**，高階選手一般會深入改造，或者優化某些流程以更符合公司業務流，又或者整體延展，使之成為乙個更泛用且更接地氣的爬蟲架構。
接下來我從各部分闡述乙個通用型爬蟲架構的疑難點。
1，資料來源
目前基於網際網路的資料來源可分為
從本質上來說採集就是獲取上面的資料，但是不同資料來源可獲取的資料字段、型別、價值都不一樣，所以採集的過程中，就不可避免地要清洗資料並且結構化，這也是為什麼我總說爬蟲不是單一系統的原因。
2，通用型爬蟲整體架構
為了實現對上述資料來源的通用採集，就需要考慮到各種情況以及應對方式，所以架構中要包含多個模組並聯動起來。一般需要包含以下模組：
至此，乙個通用型爬蟲架構才算較為完整，裡面會用到多種分布式技術以及深度學習技術、nlp語義分析技術。多年資料採集和大資料領域工作深耕，才讓我這個產品出身的人才能逐漸理解爬蟲技術之美，與君共勉。
2023年最後一天，祝各位元旦快樂！2023年萬事如意！no debug！
手寫爬蟲模擬登陸 無驗證碼
框架用多了,都是別人寫好的一些內容,最近想自己手寫乙份爬蟲模擬登陸系統,手寫有什麼好處呢?可以讓你更好的去理解爬蟲系統.我用的linux系統,pycharm版本3.6,首先手寫的你需要安裝requests pip3 install requests 我們以訪問抽屜為例 接下來我們模擬登陸,模擬登陸我...
爬蟲入門四（驗證碼識別和模擬登陸）
超級鷹的使用流程 超級鷹 import requests from hashlib import md5 class chaojiying client object def init self,username,password,soft id self.username username pas...
python 爬蟲（7） 驗證碼登陸 12306
登陸乙個介面需要使用者名稱 密碼 還有驗證碼。驗證碼的辨識，一般都是第三方，且需要付費的。比如雲打碼，打碼兔，超級鷹。12306用的是超級鷹。得到驗證碼 1.訪問網頁 3.儲存到本地 4.識別驗證碼 得到字串或者數字 from lxml import etree import requests he...