英雄聯盟全球總決賽的腳步近了,代表lpl出征s9的三支戰隊也已蓄勢待發,經常看英雄聯盟比賽的我也是非常期待 fpx、rng、ig 的精彩表現。我想找找網上有沒有公開的比賽資料,興許還能分析一波,看看這s9冠軍最有可能花落誰家。
功夫不負有心人,我很快就通過搜尋引擎找到了含有國內外英雄聯盟賽事的**,喏,就是下面這個。
在這個**上,我們能夠看到不同賽區的不同賽季的比賽資訊,以及各種世界賽的資料資訊,包含選手資料和隊伍資料。
開啟開發者工具,觀察一下這個**,很容易就發現了包含職業選手資訊的頁面。
觀察其headers,發現是get請求,requests url 如下,
,訪問該鏈結需要攜帶引數 tour 和 patch 。從命名就可以看出,tour 是tournament的簡寫,patch 是版本號,版本號可以不加入引數,以抓取所有版本的聯賽資料。
那麼這個 tour 引數如何獲得呢?繼續觀察 network ,發現了下圖這個 tournament_list 。
各個聯賽的id號資料可以通過這個頁面來獲取,而這個id號正是我們需要的 tour 引數。
得到了所有的引數資訊後,我們便可以使用 requests 來模擬瀏覽器發出請求,並獲取頁面的json資料,並一一提取存入mongodb資料庫。運用同樣的方法,我們也可以獲得各個職業戰隊的資料。
總的來說這是乙個入門級別的爬蟲,**沒有採取反爬措施,對新手相當友好。職業選手的資料報含26個資料維度,包含擊殺、出場次數、場均參戰率、傷害轉化率等一系列資料;職業戰隊的資料報含血腥程度、分均傷害、場均時長、一血率等25個資料維度。想必會是非常不錯的資料分析素材。
python爬蟲 爬取英雄聯盟全英雄面板
import requests import re 1 分析目標網頁,確定爬取的url路徑,headers引數 base url headers 2 傳送請求 response requests.get base url,headers headers base data response.json...
Python爬英雄聯盟lol全英雄面板
1.匯入所需模組 import requests import os 建立lol資料夾 os.mkdir lol 2.讀取js檔案,獲取英雄id hero id url response requests.get url,headers headers json list response.json...
Python爬取LOL英雄面板
python 爬蟲在官網上找到英雄 的真實鏈結,檢視多個後發現字首相同,後面對應為英雄的id和 的id,的id從00開始順序遞增,而英雄id跟網頁中的順序無關,需要找到英雄id。並沒有在 頁面和英雄頁面的元素中找到有關英雄id的內容,所以想到有可能是通過js檔案載入進來的。通過chrome工具找到跟...