疑問:
1:2:
修復ie瀏覽器:url= 開啟仍有報錯,url= 可以正常開啟。
eclipse執行還是不對。
3:換了個url= 爬 ie跟搜狗的源**相同,eclipse的結果還是怪怪的。。。證明跟瀏覽器無關了。
4:爬酷狗首頁不正確的原因找到了。
其實是對的,只是因為eclipse console 預設限制了結果行數(只顯示後80000的字元),去掉勾選後,顯示正常。
環境:python 3.x + eclipse
**如下:
import re
from urllib import request
url=r""
#建立自定義的請求物件
req=request.request(url)
#傳送請求,獲取響應資訊
response=request.urlopen(req).read().decode('utf-8')
#pat=r"(.*?)" #通過正規表示式進行資料清洗
#data=re.findall(pat,response)
print(response)
執行後結果如下:
python爬取基金 Python 爬基金資料
coding utf 8 importjsonimportrequestsfrom lxml importetreefrom htmlparser importhtmlparserfrom pymongo importmongoclient client mongoclient localhost ...
python爬考研 Python爬取考研必備單詞
原博主的 可能因為單詞發音的音訊爬取有問題,導致無法將單詞存入資料庫,不過也非常感謝原博主,我根據原始碼做了一定刪減和更改,下次可能會根據使用者的需求,輸入需求,爬取相應的單詞。主要步驟 1.連線資料庫 2.建立word單詞表 3.獲取網頁主介面html 4.獲取class 課程型別 介面html ...
python 爬漫畫 小白學習過程
近幾年,雲計算 大資料和人工智慧加上5g的到來,感覺還是要順應時代的發展學習一下python來防防身。興趣是學習最好的老師,也是最大的動力,基於本人有時候會獵奇一下漫畫,但是看到一半網路不給力的時候,看得特別不爽。所以我就以這個為切入點去學習。那麼廢話不多說 import urllib.reques...