這裡再簡單帶大家看一下就行,重點是我們的第二部分。
既然網頁結構我們已經分析完了,那麼我還是選擇用之前的xpath來爬取我們所需要的資源。
# 獲取所有的主播資訊def getdatas(html):
datalist=
parse=parsel.selector(html)
lis=parse.xpath('//li[@class="game-live-item"]').getall()
# print(lis)
for li in lis:
data =
parse1=parsel.selector(li)
img_src=parse1.xpath('//img[@class="pic"]/@data-original').get("data")
title=parse1.xpath('//i[@class="nick"]/@title').get("data")
redu=parse1.xpath('//i[@class="js-num"]/text()').get("data")
return datalist
#儲存主播頭像def download(datalist):
for data in datalist:
with open("d:/software/python/python爬蟲/虎牙顏值主播排名/", 'wb') as f:
f.write(data[0])
urllib.request.urlretrieve(data[0],"d:/software/python/python爬蟲/虎牙顏值主播排名"+"/"+data[1]+".jpg")
輸入相應的應用名稱以及簡介即可。
這樣我們的應用就算建立完畢了。選中的部分也是我們接下來會用到的。
之後我們先去看一下sdk檔案
之後我們來看一下簡單的操作流程首先先建立客戶端:
這樣我們顏值檢測的介面流程基本就已經理清楚了,**如下:
def face_rg(file_path):
api_key = '你的 api key'
secret_key = '你的 secret key'
with open(file_path,'rb')as file:
data=base64.b64encode(file.read())
image=data.decode()
imagetype = "base64"
""" 如果有可選引數 """
options = {}
options["face_field"] = "beauty"
""" 帶引數呼叫人臉檢測 """
result=client.detect(image, imagetype, options)
# print(result)
return result['result']['face_list'][0]['beauty']
path=r"d:\software\python\python爬蟲\虎牙顏值主播排名"image_list=os.listdir(path)
name_score={}
for image in image_list:
try:
print(image.split(".")[0]+"顏值評分為:%d"%face_rg(path+"/"+image))
name_score[image.split(".")[0]]=face_rg(path+"/"+image)
except:
pass
second_score=sorted(name_score.items(),key=lambda x:x[1],reverse=true)
print("-------------------------------------檢測結束-------------------------------------")
print("-------------------------------------以下是排名-------------------------------------")
for a,b in enumerate(second_score):
print("{}的顏值評分為:{},排名第{}".format(second_score[a][0],second_score[a][1],a+1))
學會了不?
原始碼專案檔案點這
python爬蟲 看看虎牙女主播中誰最「頂」
長按點贊,等你來幹!這裡的主要步驟其實還是和我們之前分析的一樣,如下圖所示 這裡再簡單帶大家看一下就行,重點是我們的第二部分。既然網頁結構我們已經分析完了,那麼我還是選擇用之前的xpath來爬取我們所需要的資源。獲取所有的主播資訊 defgetdatas html datalist parse pa...
python爬蟲看看虎牙女主播中誰最「頂」步驟詳解
網頁鏈結 https ww程式設計客棧w.huya.com g 4079 這裡的主要步驟其實還是和我們之前分析的一樣,如下圖所示 這裡再簡單帶大家看一下就行,重點是我們的第二部分。既然網頁結構我們已經分析完了,那麼我還是選擇用之前的xpath來爬取我們所需要的資源。獲取所有的主播資訊 def get...
python3爬蟲虎牙星秀
準備工具 python3.5.x 和 pycharm 安裝 beautifulsoup4 這個包 import requests from bs4 import beautifulsoup import re from urllib import request import time url 要爬...