requests庫 使用方法彙總筆記

2021-10-10 05:04:32 字數 2667 閱讀 6600

1.requests庫爬取網頁的通用**框架

#爬取網頁的通用**框架

import requests

def gethtmltext(url):

try:

r=requests.get(url)

r.raise_for_status() #如果狀態碼不是200,引發httperror異常

return r.text

except:

return "產生異常"

if __name__ == "__main__":

url=""

print(gethtmltext(url))

import requests

def gethtmltext(url,data): #定義乙個函式,通用框架

try:

(khtml, like gecko) chrome/78.0.3904.108 safari/537.36"

response=requests.get(url,params=data,headers=)

response.raise_for_status()

except exception as e:

print(e)

else:

print(response.url)

print("爬取成功,狀態碼:", response.status_code)

print(response.text)

url=""

keyword = input("請輸入要搜尋的關鍵字:")

data=

gethtmltext(url,data)

3.格式化輸出head資訊

第一種方法:

import requests

r=requests.request("get","") #使用基本的request方法

print(r.status_code)

dict1=r.headers

for key,value in dict1.items():

print(key,":",value)

#輸出如下:

transfer-encoding : chunked

第二種方法:

import requests

r=requests.head("") #使用head方法

dict1=r.headers

for k,v in dict1.items():

print(k,":",v)

4.某東商品頁面資訊爬取**

import requests

url=""

try:

r=requests.get(url)

r.raise_for_status()

print(r.text[0:1000])

except:

print("爬取失敗")

5.某遜商品頁面爬取**

import requests

url=""

user_agent=

try:

r=requests.get(url,headers=user_agent)

r.raise_for_status()

print("狀態碼",r.status_code)

print(r.text[1000:2000])

except:

print("爬取失敗")

import requests,os

root= "c://users//administrator//desktop//"

path=root+url.split("/")[-1]

try:

if not os.path.exists(root):

os.mkdir(root)

if not os.path.exists(path):

r=requests.get(url)

with open(path,"wb") as f:

f.write(r.content) #content是內容的二進位制形式

f.close()

print("檔案儲存成功!")

else:

print("檔案已存在")

except:

print("爬取失敗!")

PHP魔術方法使用方法彙總

魔術方法是php物件導向中特有的特性。它們在特定的情況下被觸發,都是以雙下劃線開頭,你可以把它們理解為鉤子,利用模式方法可以輕鬆實現php物件導向中過載 overloading即動態建立類屬性和方法 魔術方法很多還是成對出現的,以下列出目前php中所有的模式方法。1.construct,destru...

symbian字型使用方法彙總

先看看 由於標籤的原有有些內容有誤,gc.drawtext l symbolfont x671d x5916 x5927 x8857 tpoint x,baseh 被顯示成了 symbolfont g1dy16y27 57 tpoint x,baseh 實際上 x671d x5916 x5927 x...

symbian面板使用方法彙總

一 使用系統 如果是乙個已有工廠以前沒有支援 功能,也可以手工新增。步驟如下 1 在ui裡面 ui constructl函式裡面將原來的baseconstructl 換成baseconstructl eaknenableskin 2 container 裡面加入標頭檔案 include skin 3...