做seo的，如果不了解爬蟲技術，那可以說非常可惜的。
根據使用場景，網路爬蟲可分為 通用爬蟲 和 聚焦爬蟲 兩種.
通俗的講，通用爬蟲就是商業搜尋引擎的爬蟲。聚焦爬蟲就是我們為了seo開發的爬蟲。
一.通用爬蟲
通用搜尋引擎（search engine）工作原理
通用網路爬蟲 從網際網路中蒐集網頁，採集資訊，這些網頁資訊用於為搜尋引擎建立索引從而提供支援，它決定著整個引擎系統的內容是否豐富，資訊是否即時，因此其效能的優劣直接影響著搜尋引擎的效果。
第一步：抓取網頁
搜尋引擎網路爬蟲的基本工作流程如下：
首先選取一部分的種子url，將這些url放入待抓取url佇列；
分析已抓取url佇列中的url，分析其中的其他url，並且將url放入待抓取url佇列，從而進入下乙個迴圈…
第二步：資料儲存
搜尋引擎通過爬蟲爬取到的網頁，將資料存入原始頁面資料庫。其中的頁面資料與使用者瀏覽器得到的html是完全一樣的。
搜尋引擎蜘蛛在抓取頁面時，也做一定的重複內容檢測，一旦遇到訪問權重很低的**上有大量抄襲、採集或者複製的內容，很可能就不再爬行。
第三步：預處理
搜尋引擎將爬蟲抓取回來的頁面，進行各種步驟的預處理。
搜尋引擎在對資訊進行組織和處理後，為使用者提供關鍵字檢索服務，將使用者檢索相關的資訊展示給使用者。
這裡的排名涉及到大量的演算法，各個搜尋引擎會根據對內容的不同評估演算法而展現不同的搜尋結果。
二.開發聚焦爬蟲工具
根據資料有否、反爬程度、維護成本、開發時間進行選擇。（移動端往往更容易爬取，pc端往往資料更全）
python, python scrapy, seleium
爬蟲技術之分布式爬蟲架構的講解
分布式爬蟲架構並不是一開始就出現的。而是乙個逐步演化的過程。最開始入手寫爬蟲的時候，我們一般在個人計算機上完成爬蟲的入門和開發，而在真實的生產環境，就不能用個人計算機來執行爬蟲程式了，而是將爬蟲程式部署在伺服器上。利用伺服器不關機的特性，爬蟲可以不間斷的24小時執行。單機爬蟲的結構如下圖。然而，由於...
SEO技術的分類
1 seo白帽。seo白帽是一種公正公開的正規手法，是使用符合主流搜尋引擎發行方針規定的seo優化方法，是為滿足使用者體驗為目的的手法，一直被業內認為是最佳的seo手法，它是在避免一切風險也避免了與搜尋引擎發行方針發生任何的衝突，它也是seoer從業者的最高職業道德標準。比如 www.aj100.n...
關於Vue中v cloak的使用講解
關於vue.js中v cloak的使用，單看官方文件，可能看得有點迷糊 這個指令保持在元素上直到關聯例項結束編譯。和 css 規則如 v cloak 一起用時，這個指令可以隱藏未編譯的 mustache 標籤直到例項準備完畢。官方文件 v cloak指令的設計是為了解決什麼問題？下面 p div 複...