Python 學習Python爬蟲的第一天

2021-09-24 01:40:02 字數 670 閱讀 6393

疑問:

1:2:

修復ie瀏覽器:url=  開啟仍有報錯,url=  可以正常開啟。

eclipse執行還是不對。

3:換了個url= 爬 ie跟搜狗的源**相同,eclipse的結果還是怪怪的。。。證明跟瀏覽器無關了。

4:爬酷狗首頁不正確的原因找到了。

其實是對的,只是因為eclipse console 預設限制了結果行數(只顯示後80000的字元),去掉勾選後,顯示正常。

環境:python 3.x + eclipse

**如下:

import re

from urllib import request

url=r""

#建立自定義的請求物件

req=request.request(url)

#傳送請求,獲取響應資訊 

response=request.urlopen(req).read().decode('utf-8')

#pat=r"(.*?)"    #通過正規表示式進行資料清洗

#data=re.findall(pat,response)

print(response)

執行後結果如下:

python爬取基金 Python 爬基金資料

coding utf 8 importjsonimportrequestsfrom lxml importetreefrom htmlparser importhtmlparserfrom pymongo importmongoclient client mongoclient localhost ...

python爬考研 Python爬取考研必備單詞

原博主的 可能因為單詞發音的音訊爬取有問題,導致無法將單詞存入資料庫,不過也非常感謝原博主,我根據原始碼做了一定刪減和更改,下次可能會根據使用者的需求,輸入需求,爬取相應的單詞。主要步驟 1.連線資料庫 2.建立word單詞表 3.獲取網頁主介面html 4.獲取class 課程型別 介面html ...

python 爬漫畫 小白學習過程

近幾年,雲計算 大資料和人工智慧加上5g的到來,感覺還是要順應時代的發展學習一下python來防防身。興趣是學習最好的老師,也是最大的動力,基於本人有時候會獵奇一下漫畫,但是看到一半網路不給力的時候,看得特別不爽。所以我就以這個為切入點去學習。那麼廢話不多說 import urllib.reques...