Python3爬蟲學習筆記0 0 綜述

2021-07-15 22:45:18 字數 945 閱讀 4760

歡迎捧場,博主前一段時間零零碎碎地學習了一些python爬蟲的知識,現在把一些學習內容整理出來,水平有限,難免出現錯誤,希望大家能夠批評指正,謝謝。

該系列部落格的內容參照 崔慶才|靜覓的部落格內容完成,謝謝授權。

python  版本:3.5

預備知識:python基礎,http協議,正規表示式,urllib庫或者其他第三方庫,如:beautifulsoup。

在學習python的時候,我也是在網上零零碎碎找了很多東西來看,不過最主要的還是廖雪峰老師的教程,個人很喜歡。舉例說明一下廖老師給自己寫的文章《彪悍的職業不懼阿爾法狗》,哈哈。

軟體工程師也不用擔心,因為寫程式也是一種創造性的工作。有人擔心將來機器學習發展成電腦會自己寫程式了怎麼辦,這實在是杞人憂天。如果你仔細閱讀了上文,就會發現,當軟體工程師的工作被電腦取代時,地球就即將被ai統治,太陽系離毀滅也不遠了。所以說,寫程式將是世界上最後乙個消失的工作。

從事一種地球上最後乙個消失的行業絕對是乙個明智的選擇。如果你想以小白的身份進入這個行業,不妨從小白的

python新手教程開始,零基礎起步,將來成為機器學習的專家。

ps:學習python肯定是少不了官方文件的,python官方文件

http協議是從 

林炳文-爬蟲

deerchao寫的乙份教程

urllib是python官方提供的庫,可以完成一系列的url操作;

beautifulsoup是python的第三方庫,我在找資料的時候看見有人說,urllib和beautifulsoup相比的話,就像是冷兵器和加特林相比,好吧,差距有點大,不過,都看看吧,了解一下總是好的。

其實,在學習爬蟲之前,你需要自己成為乙個爬蟲,然後再網際網路上不斷的查詢自己需要的資料,提取你需要的有價值內容。最後堅持到底吧,共勉

python3爬蟲學習筆記

爬蟲爬取京東某手機頁面 beautifulsoup 原文記錄內容太多現進行摘錄和分類 pip3 install jieba kou ubuntu python cat clahamlet.py usr bin env python coding utf 8 e10.1calhamlet.py def...

python3爬蟲筆記

請求 並提取 資料的 自動化 程式 發起請求 獲取響應內容 解析文字內容 儲存資料 1.瀏覽器傳送資訊給該 所在的伺服器,這個過程叫做http request。2.服務收到瀏覽器傳送的訊息後,能夠根據瀏覽器傳送訊息的內容,做相應的處理,然後把訊息回傳給瀏覽器。這個過程叫做http response。...

Python3爬蟲學習筆記1 0 什麼是爬蟲?

我們來思考乙個問題,什麼是爬蟲?說一下我對爬蟲的理解。理解爬蟲之前,我們思考一下網路是一種什麼樣式的存在。爬蟲就是游離在這些網路之間的乙個自動化程式,並且能夠完成對網路地瀏覽,自動採集網路中所有訪問到的內容 從而在網路中得到你需要的資訊。網路蜘蛛 爬蟲 維基百科 順便說一句 google是世界上最大...