什麼是爬蟲

爬蟲，這個詞對於學習python的小夥伴來說一定不陌生，python語言的簡潔性使得在頻繁變化的爬蟲與反爬的對抗中發揮了很好的作用。

我們一般自己的爬蟲只是為了定向的獲取到一些目標資料。比如新聞資訊、電商商品資料等等，又很多對技術不是很懂的人以為爬蟲是將病毒之類的東西放到對方的伺服器中，直接去搞人家的伺服器，很尷尬的是。。。每個爬蟲工程師的夢想都是能直接去人家伺服器做資料採集。。。然而這時不道德並且不合法的，通過滲透等等一些黑客的技術當然也可以做到，這個坑大家還是不要去踩了。。為了自由~

我們的爬蟲在理論上來說其實是代替人力採集資料的工具，而不是超越人能看到的資料，一般的來說爬蟲的作用就是可見即可得，不管反爬是多難，總有辦法是可以突破反爬的，畢竟這些資料都是給人看的，只要人能看到，爬蟲都是可以獲取的，只是乙個難度的問題。只要有目標的鏈結基本上都是可以獲取到資料的，現在網際網路的技術日新月異，反爬的技術也越來越高明，爬蟲的日子越來越不好過，只有不斷的提公升自己才能緊跟反爬的腳步。