在寫爬蟲中遇到的幾個問題和幾點收穫

2021-10-25 09:25:42 字數 512 閱讀 5343

使用requests進行網路請求時,遇到https開頭的url,可設定引數 varify=false,為了避開ssl校驗什麼的。

但是會在終端提示insecurerequestwarning,很是煩人+醜。

這時可以在requests發出請求之前加一行requests.packages.urllib3.disable_warnings()`,親測有效。

(其實緊挨著 import requests 下放這一行**也是可以的)。

當出現報錯"urllib3(×.×.×) or chardet(×.×.×) doesn』t match a supported version" 的時候,不要慌

只是提醒你的requests庫需要更新重灌了。 我是直接pip install requests的

寫爬蟲,多執行緒挺快的,但是協程更是快的驚人。

最近爬取了一本4m多的**《尋秦記》,單執行緒用了小400秒,多執行緒(4個執行緒)100零幾秒。而協程只用了驚人的7秒多。

(無圖言d)有機會把**粘過來,嗯…

今日寫專案遇到的幾個問題

1.用active class新增選中樣式 第乙個導航按鈕 選中或不選中 都有樣式 v for data in tablist key data.id to data.path tag li active class active exact iconfont class data.icon i p...

在使用vue cli中遇到的幾個問題

一 所遇到的問題 對cli模式開發不熟悉繞路 以及解決辦法 1 本地如何配置跨域和後台聯調 2 如果非要使用jquery,該如何配置到全域性 3 npm run build打包後的檔案如何使用相對路徑,以及去掉不想要的.map檔案 4 如何使用自己封裝的js 5 如果使用axios去處理ajax如何...

matlab安裝中遇到的幾個問題

最近學習訊號處理課程,數碼訊號 隨機訊號等許多地方都需要用到matlab。必須承認這是乙個功能非常強大的軟體,在工程中很多領域都需要用到。以前曾經用過幾次,但是一點都不熟練,這一次安裝起來,還是遇到許多問題,花了很長時間終於搞定。幾個問題總結如下 2 虛擬光碟 虛擬光碟是個好東西,許多軟體都需要在光...