Python之requests爬取網頁資料案例。

2021-10-03 06:00:14 字數 1369 閱讀 5510

requests模組:第三方模組,需要經過安裝才可使用,用來獲取網頁請求操作。

beautifulsoup模組:也是第三方模組,通過requests獲取網頁解析內容進行讀取。

案例**:

import requests

from bs4 import beautifulsoup

def zhushou(name):

'在360手機助手上'

url = '' + name

# 獲取網頁原始碼

webdata = requests.get(url)

# 解析網頁

soup = beautifulsoup(webdata.text, 'lxml')

# 通過[0]將列表轉換為字串。

downloads = soup.select('body > div.warp > div.main > div > ul > li> div > div.sdlft > p.downnum')[0].get_text()[

:-3]

def yingyonghui(name):

'在應用匯上'

webdata = requests.get(url)

soup = beautifulsoup(webdata.text, 'lxml')

def anzhuo(name):

'在安卓市場上'

webdata = requests.get(url)

soup = beautifulsoup(webdata.text, 'lxml')

downloads = soup.select('#doc > div.yui3-g > div > div > ul > li > div > div.info > div:nth-child(3) > em > span')[

0].get_text()[:-3]

# downloads.encode('utf-8').decode('unicode_escape')

downsize = soup.select('#doc > div.yui3-g > div > div > ul > li > div > div.info > div:nth-child(3)'

' > span.size')[0].get_text()

if __name__ == '__main__':

name = input('請輸入您要查詢的軟體:')

zhushou(name)

yingyonghui(name)

anzhuo(name)

執行結果:

Python之requests的安裝

在 windows 系統下,只需要輸入命令 pip install requests 即可安裝。在 linux 系統下,只需要輸入命令 sudo pip install requests 即可安裝。注 關於python第三方庫的安裝最好少使用 easy install,因為 easy install...

Python之requests的安裝

在 windows 系統下,只需要輸入命令 pip install requests 即可安裝。在 linux 系統下,只需要輸入命令 sudo pip install requests 即可安裝。注 關於python第三方庫的安裝最好少使用 easy install,因為 easy install...

Python之requests的安裝

在 windows 系統下,只需要輸入命令 pip install requests 即可安裝。在 linux 系統下,只需要輸入命令 sudo pip install requests 即可安裝。注 關於python第三方庫的安裝最好少使用 easy install,因為 easy install...