爬蟲學習（四） post請求爬取

import urllib.request

import urllib.parse
post_url = ""
word= input( "請輸入要翻譯的內容:" )
data = 
# 對表單資料進行處理時，先轉換成為字串，在轉換成為位元組
# 只轉化成為字串形式 
data1 = urllib.parse.urlencode(data)
print(data1)
# 輸出結果
# word=%e5%ae%9d%e8%b4%9d 字串格式
# 轉換成為位元組格式
data = urllib.parse.urlencode(data).encode("utf8")
print(data)
# 顯示結果：
# b'word=%e5%ae%9d%e8%b4%9d' 位元組格式
request = urllib.request.request(post_url,headers=headers)
response = urllib.request.urlopen(request,data = data)
print(response.read().decode("utf8"))

import urllib.request

import urllib.parse
apiurl = ""
在爬取目標**時，先找準目標**的介面，和需要傳遞的資料

data =

data1= urllib.parse.urlencode( data ).encode( "utf8" )

#post請求重點是請求頭資訊要詳細，關鍵的屬性不能省
headers =

request = urllib.request.request( url=apiurl, headers=headers )

response = urllib.request.urlopen( request, data=data1 )
print(response.read().decode( "utf8" ) )
ajax的post請求
爬取kfc的餐廳位址

import urllib.request

import urllib.parse
url = ""
# 表單輸入位址資訊
keyword =input("請輸入需要查詢的城市")
#請求網頁需要進行傳遞的引數
data = 
# 解析引數，程式設計位元組格式
data = urllib.parse.urlencode(data).encode("utf8")
# 構建請求頭資訊
request = urllib.request.request(url,headers = headers)
# 傳送請求，獲取相應資料,重點是附帶引數的post請求。
response = urllib.request.urlopen(request,data=data)
# 讀取響應資訊
print(response.read().decode("utf8"))

爬蟲 學習爬取表情包

表情包位址 表情位址 1.請求目標 2.匹配不同位址 url def get urls url 1.請求目標 response requests.get url 2.通過正則來匹配不同位址 url 每張共有內容保留，不同的內容用.來匹配 表示匹配任意數量不換行的字元 表示盡可能匹配最短的字元 r u...

爬蟲爬取bilibili

1.根據url傳送請求給伺服器，獲取html文字 2.解析html文字，把需要的資料挑出來 3.從html中解析出超連結，繼續爬取其中的頁面 爬蟲的協議b站的爬蟲協議 尾巴加上 robots.txt 獲取相應的api 控制抓取的頻率 import requests url 發起網路請求 respon...

爬蟲分享 四 多執行緒爬取小說

解析網頁獲取每章 位址 這次要爬取一本名為 元尊 的 url 進入網頁開啟開發者工具 這樣，我們就獲取到了每章 的位址儲存每章 本地 隨便開啟一章，開啟開發者工具，就可以輕鬆定位標題和文字。再加入多執行緒，我們便能夠以較快速度爬取 完整 如下 ecoding utf 8 modulename nov...