撰文 | 皓禹在現狀和想要達到的目標之間，總是有一條大河。大部分人花費了巨大的精力在水流裡掙扎，還沒能接近目標，就已經被湍急的水流沖走了。然而，總有少部分人能乘著小船，直達對岸。
10年前，從普通學校畢業的我進入了一家小公司，傳統運維的工作重複性太高，特別枯燥。
3個月之後，我跳槽了，薪酬是之前的兩倍。
學一門新的技術，從而獲得新的機遇。與其說是一種能力，不如說是一種方法。
在這裡，把我的實踐過的經驗和心得分享給大家。
◇坑1：無盡的刷初級教程
爬蟲是入門簡單，深入難。
無盡的刷這種初級教程，剛開始會有成就感，後來就是無限的重複，會讓你的水平一直停留於入門級，無法提高。
◇坑2：**一失效就哭天喊地
要爬取的**每週都會更新迭代。而且許多大公司都有自己的反爬蟲團隊，一旦發現用的多的爬蟲策略，就會禁止你的訪問。
如果你缺乏自己去攻防反爬的能力，就只能在**失效時措手無策、哭天喊地，卻找不到辦法自己去解決。
◇坑3：不了解 python 多程序併發程式
如果沒寫過爬蟲的話，很可能是沒寫過 python 多程序併發程式的。我接觸的程式設計師，其中好多人歲數都已經很大了，都沒有寫過乙個併發的程式，而是一直在寫業務邏輯。
而為了提公升爬蟲效率，關鍵點就在於要了解：併發、並行、什麼時候用多執行緒？什麼時候用多程序？什麼時候用協程？尤其像 python 是動態語言，它有 gil 的情況下，怎麼去做處理？什麼時候是 io 密集型的，什麼時候是 cpu 密集型的，想提公升效率怎麼去處理？
如果不是科班出身的話，理解起來會有很多的誤區。在處理如何更快速更高效的爬取**的時候，就會遇到問題。
◇1. 積累專案實戰經驗
我曾經面試過乙個同學a，是某個培訓班出來的。在我問他簡歷上專案的技術細節時，他支支吾吾的答不出來，我一看這是沒做過專案啊，沒做過你就別浪費我時間了。
最後他跟我說實話，是培訓班偽造的簡歷，問我「能不能不要工資在這實習？」
我說「這事還是別了，你這專案經驗太弱，還有好多東西要補。」
然後我讓他至少先自己花一星期補補基礎，結果他嫌一星期太長了，他想馬上就找到工作。（攤手）
其實我覺得他的問題就是出在心態上了。如果能堅持把專案啃下來，解決了開發過程中的各個關鍵點，能直接上手去做公司的事情的話，找到工作就是水到渠成的事情了。
◇2.寫的***的專案可以放 github
如果你認為你的**寫的不錯，你可以放在 github 上，寫上你所有的解決問題的流程。
但如果你寫得很爛，我認為面試官看了可能不是乙個加分項，你還不如不寫，因為面試官會看，會發現你的**暴露了很多問題。
◇3. 技術總結可以放到部落格或 gitbook
你在真正做專案的時候，是會遇到一些問題的，在解決之後可以把這個過程總結出來，寫成一篇筆記。這是對你的知識體系的乙個完善，哪怕是再小的點，記錄下來也是有意義的。如果不方便發出來，也應該自己總結寫下來，不然過幾天就忘了。
積累的多了，這些學習筆記就形成了乙個你的知識體系，這時候可以在 gitbook 上作為一本電子書開源出來。如果別人看到你了，別人可能也就會聯絡你來做這份工作了。
初級爬蟲工程師
如果是有專案經驗的人，就會看專案，考察專案中的一些細節。
中高階爬蟲工程師
不要忘記從全域性看資料的流動。爬蟲是為了收集資料，最終資料是用來服務於目的的。
爬蟲工程師的日常
很多讀者可能都不太清楚爬蟲是幹什麼的，今天我就來跟大家科普下爬蟲工程師平時的工作都是怎樣的。爬蟲又分為增量式爬蟲和全量式爬蟲。全量式爬蟲又稱為一次性爬蟲，就是把該 的資料一次性全部抓取下來，後面就不需要再管該 了，這種爬蟲任務通常比較簡單。而增量式爬蟲不止這次要把 資料抓取下來，而且之後還要檢測該 ...
普奧雲 Python爬蟲工程師
1.python語言中map函式返回型別是什麼？2.請給出以下 執行結果import re pattern re.compile r w s w s hello 123,hello 456,byebye789 m pattern.sub r hello world s print m 輸出結果 he...
Python爬蟲工程師面試常見題
一.專案問題 一般面試官的第乙個問題八成都是問一下以前做過的專案，所以最好準備兩個自己最近寫的有些技術 含量的專案，當然一定要自己親手寫過的，在別的地方看的原始碼，就算看的再清楚，總歸沒有自己敲的 了解的多。以下是抽出的幾點 1.你寫爬蟲的時候都遇到過什麼反爬蟲措施，你是怎麼解決的 2.用的什麼框架...