真皮沙發這次又來了！在上次的兩個爬蟲中，筆者**了python爬蟲的入門以及re模組的運用。而上兩次的爬取內容都是筆者閒的蛋疼入門爬蟲所選擇的連個爬取頁面。
今天筆者要來搞事了，這次是搞正事。是的，搞正事。相信很多的同學都有在各大招聘**上瀏覽過，各種層出不起的資訊，著實讓人厭煩。很多人也在著急尋找實習單位為以後找工作打好基礎，筆者本著服務於人的態度爬取了乙個實習生招聘**-實習僧，因為筆者在武漢就讀，就爬取了100頁武漢本地的實習單位資訊。通過所得到的資料分析了一下實習生的工資待遇，就筆者目前所得到的結果來看，整體就乙個慘字啊！
哇，乙個偌大的武漢對待實習生也太差了吧，真的是讓人心寒。這裡筆者先買個關子，等會和大家一起看分析結果。那麼現在我們進入正題，首先我們要將資訊爬取下來，這需要乙個爬蟲框架，這裡便不多累述，前兩篇都有。而後我們將爬取得到的資料存入資料庫，這裡用到的是mongodb,不得不說這個c++開發的資料庫效率還是很高的，資料的儲存方式與知名的關聯式資料庫大相徑庭，但卻顯得十分有個性。接下來我們便要用到讚譽極高的jupyter notebook來進行資料分許了，對於資料的視覺化筆者用的是charts這個第三方庫，當然你也可以用matplotlib這個神奇的庫。
我們先來看一看本次爬取的頁面：
說個實話筆者覺得這個實習僧網面簡直不要太友好，類容簡介又好看，爬蟲又好爬，著實讓筆者偷了很多懶。關於爬蟲這一塊，感興趣的可以看一下筆者前兩遍文章或者去查詢一下資料。這裡我先上我的**：
import requests
from bs4 import beautifulsoup
import re
import pymongo
def get_one_page(url):
wb_data = requests.get(url)
if wb_data.status_code == 200:
return wb_data.text
else:
return none
def parse_one_page(response):
soup = beautifulsoup(response, 'lxml')
datas = soup.select('div#load_box div.jib_inf div.job_inf_inf')
pattern = re.compile(
r'.*?(.*?).*?(.*?).*?
', re.s)
wants =
for item in datas:
final = re.findall(pattern, str(item))
# print(final[0])
return wants
def get_all_page():
client=pymongo.mongoclient('localhost',27017)
db=client['shixi']
item=db['db']
for i in range(1, 101):
url = '' + str(
i)response = get_one_page(url)
wants = parse_one_page(response)
for want in wants:
data =
print(data)
item.insert_one(data)
if __name__ == '__main__':
get_all_page()
上圖顯示的便是爬下來的資料和存在資料庫中的資訊，資訊共有1000條，總體能反映出武漢實習生的基本待遇情況。接下來我們便要進行資料分析了：
client=pymongo.mongoclient('localhost',27017)
db=client['shixi']
item=db['db']
low=0
medium=0
high=0
shigh=0
noknow=0
for i in item.find():
score=i['薪資'].strip().split('-')[0]
if score=='面議':
noknow=noknow+1
else:
grade=int(score)
if grade<=50:
low=low+1
elif grade>50&grade<=100:
medium=medium+1
elif grade>100&grade<=200:
high=high+1
elif grade>200:
shigh=shigh+1
print(low,medium,high,shigh,noknow)
上面的底部便是這次統計所得到的統計結果，可以看到實習生的待遇是多麼多麼多麼的差強人意。得到這些資料之後便要讓它視覺化。
series = [
, , , ,
]charts.plot(series, show='inline',options=dict(title=dict(text='實習薪資分布圖')))
現在資料結果可以說是一目了然。寫到這裡本次的爬蟲和簡單的資料分析及視覺化便要走入尾聲了，希望這篇文章能給想學習python的同學們一點指導，如果你是高手希望你不吝賜教。
python 微信爬蟲 python 微信爬蟲例項
import urllib.request import urllib.parse import urllib.error import re,time import queue import threading operner urllib.request.build opener operner...
python微信爬蟲
import urllib.request import re import time import urllib.error 自定義函式，功能為使用 伺服器爬乙個 def use proxy proxy addr,url 異常處理機制 try req urllib.request.request ...
python爬蟲爬取騰訊招聘資訊 （靜態爬蟲）
環境 windows7，python3.4 親測可正常執行 1 import requests 2from bs4 import beautifulsoup 3from math import ceil 45 header 78 9 獲取崗位頁數 10def getjobpage url 11 re...