1.requests庫爬取網頁的通用**框架
#爬取網頁的通用**框架
import requests
def gethtmltext(url):
try:
r=requests.get(url)
r.raise_for_status() #如果狀態碼不是200,引發httperror異常
return r.text
except:
return "產生異常"
if __name__ == "__main__":
url=""
print(gethtmltext(url))
import requests
def gethtmltext(url,data): #定義乙個函式,通用框架
try:
(khtml, like gecko) chrome/78.0.3904.108 safari/537.36"
response=requests.get(url,params=data,headers=)
response.raise_for_status()
except exception as e:
print(e)
else:
print(response.url)
print("爬取成功,狀態碼:", response.status_code)
print(response.text)
url=""
keyword = input("請輸入要搜尋的關鍵字:")
data=
gethtmltext(url,data)
3.格式化輸出head資訊
第一種方法:
import requests
r=requests.request("get","") #使用基本的request方法
print(r.status_code)
dict1=r.headers
for key,value in dict1.items():
print(key,":",value)
#輸出如下:
transfer-encoding : chunked
第二種方法:
import requests
r=requests.head("") #使用head方法
dict1=r.headers
for k,v in dict1.items():
print(k,":",v)
4.某東商品頁面資訊爬取**
import requests
url=""
try:
r=requests.get(url)
r.raise_for_status()
print(r.text[0:1000])
except:
print("爬取失敗")
5.某遜商品頁面爬取**
import requests
url=""
user_agent=
try:
r=requests.get(url,headers=user_agent)
r.raise_for_status()
print("狀態碼",r.status_code)
print(r.text[1000:2000])
except:
print("爬取失敗")
import requests,os
root= "c://users//administrator//desktop//"
path=root+url.split("/")[-1]
try:
if not os.path.exists(root):
os.mkdir(root)
if not os.path.exists(path):
r=requests.get(url)
with open(path,"wb") as f:
f.write(r.content) #content是內容的二進位制形式
f.close()
print("檔案儲存成功!")
else:
print("檔案已存在")
except:
print("爬取失敗!")
PHP魔術方法使用方法彙總
魔術方法是php物件導向中特有的特性。它們在特定的情況下被觸發,都是以雙下劃線開頭,你可以把它們理解為鉤子,利用模式方法可以輕鬆實現php物件導向中過載 overloading即動態建立類屬性和方法 魔術方法很多還是成對出現的,以下列出目前php中所有的模式方法。1.construct,destru...
symbian字型使用方法彙總
先看看 由於標籤的原有有些內容有誤,gc.drawtext l symbolfont x671d x5916 x5927 x8857 tpoint x,baseh 被顯示成了 symbolfont g1dy16y27 57 tpoint x,baseh 實際上 x671d x5916 x5927 x...
symbian面板使用方法彙總
一 使用系統 如果是乙個已有工廠以前沒有支援 功能,也可以手工新增。步驟如下 1 在ui裡面 ui constructl函式裡面將原來的baseconstructl 換成baseconstructl eaknenableskin 2 container 裡面加入標頭檔案 include skin 3...