import requests
url =
''value =
input
('search:'
)headers =
param =
response = requests.get(url=url, params=param, headers=headers)
response.encoding =
'utf-8'
# **亂碼
page_content = response.text
print
(page_content)
with
open
('three.html'
,'w'
, encoding=
'utf8'
)as fp:
fp.write(page_content)
上面的**有幾個需要注意的點:
(1)ua偽裝
(2)引數param怎麼得來的,需要檢查源網頁
(3)注意encoding,不然會發生亂碼,在原網頁的控制台中輸入document.charset可以查詢網頁的編碼方式
import requests
import json
url =
''headers =
param =
response = requests.post(url=url, data=param, headers=headers)
dic_obj = response.json(
)fp =
open
('dog.json'
,'w'
, encoding=
'utf8'
)json.dump(dic_obj, fp=fp, ensure_ascii=
false
)print
('over'
)
以上**有幾個需要注意的點:
(1)request.post()格式
(2)對於json返回格式的處理
(3)url本來是但是_o得刪去,不刪的話之會返回乙個錯誤
(4)param中除了要有i還要有doctype,這些引數怎麼來的:「檢查->network->xhr(ajax請求)」
爬蟲兩個問題
乙個python的爬蟲,爬取,出現以下報錯 requests.exceptions.connectionerror connection aborted.error 54,connection reset by peer 不是大問題,可能因為訪問過於頻繁,通過忽略可以解決,參考此 有說原因 mac ...
Python爬蟲基礎 兩個實用庫
用python學爬蟲最大的好處就是python有很多實用庫,免去了我們自己造輪子的環節,那麼找哪些輪子呢?python爬蟲有兩個比較實用的庫,requests和beautiful soup。我認為學好這兩個庫,python爬蟲也就學的差不多了。beautiful soup 是乙個可以從html或xm...
兩個小電路
第乙個是cmos與非門振盪電路 這個電路的原理其實是負反饋,b點反饋給a,因為a,b兩點的電壓相反所以是負反饋。又因為在a與e之間加了電容,所以是慢反饋,b和a如蹺蹺板兩端,在0與1之間來回跳變,那麼就會形成振盪,振盪頻率計算公式如下 第二個電路是電容降壓型穩壓電路 將交流市電轉換為低壓直流的常規方...