python爬蟲什麼意思 python爬蟲什麼意思

2021-10-25 08:54:46 字數 822 閱讀 5958

python爬蟲指的是python網路爬蟲,又被稱為網頁蜘蛛,網路機械人,是一種按照一定的規則,自動地抓取全球資訊網資訊的程式或者指令碼,另外一些不常使用的名字還有螞蟻、自動索引、模擬程式或者蠕蟲。

簡單來說網際網路是由乙個個站點和網路裝置組成的大網,我們通過瀏覽器訪問站點,站點把html、js、css**返回給瀏覽器,這些**經過瀏覽器解析、渲染,將豐富多彩的網頁呈現我們眼前

如果我們把網際網路比作一張大的蜘蛛網,資料便是存放於蜘蛛網的各個節點,而python爬蟲就是乙隻小蜘蛛,

python爬蟲的基本原理

1、發起請求

使用http庫向目標站點發起請求,即傳送乙個request

request包含:請求頭、請求體等

request模組缺陷:不能執行js 和css **

2、獲取響應內容

如果伺服器能正常響應,則會得到乙個response

3、解析內容

解析html資料:正規表示式(re模組),第三方解析庫如beautifulsoup,pyquery等

解析json資料:json模組

解析二進位制資料:以wb的方式寫入檔案

4、儲存資料

資料庫(mysql,mongdb、redis)

python當爬蟲什麼意思 python爬蟲是什麼

python爬蟲是什麼意思?python為什麼叫爬蟲?相信很多人對python爬蟲並不是很了解,下面我們來講一下python爬蟲是什麼?什麼是爬蟲?我們把網際網路有價值的資訊都比喻成大的蜘蛛網,而各個節點就是存放的資料,而蜘蛛網的上蜘蛛比喻成爬蟲,而爬蟲是可以自動抓取網際網路資訊的程式,從網際網路上...

python是什麼意思 python是什麼

python 是乙個高層次的結合了解釋性 編譯性 互動性和物件導向的指令碼語言。python 的設計具有很強的可讀性,相比其他語言經常使用英文關鍵字,其他語言的一些標點符號,它具有比其他語言更有特色語法結構。python 是一種解釋型語言 這意味著開發過程中沒有了編譯這個環節。類似於php和perl...

python是什麼意思 python是什麼意思

近幾年來,python一直發展比較迅速,同時也受到了很多人的關注,對於it行業的人來說,python並不是很陌生,但是對於其他行業的來說,並不知道python是什麼意思,下面我們來詳解一下python。一 python是什麼 python最初是用來編寫自動化指令碼,隨著不斷的發展,目前python被...