上回說到糗事百科段子的分析,今天對另外一張表,也就是使用者資訊表的分析。
import pandas as pd
import pymongo
import jieba.analyse
import numpy as np
import matplotlib.pyplot as plt
%matplotlib inline
client = pymongo.mongoclient('localhost',port = 27017)
qiushi = client['qiushi']
qiushi_info = qiushi['qiushi_info']
data1 = pd.dataframe(list(qiushi_info.find()))
qiushi = client['qiushi']
user_info = qiushi['user_info']
data2 = pd.dataframe(list(user_info.find()))
data1為段子資訊,data2為使用者資訊,二個表都有使用者url,我們可以將其merge。
data3 = all_data.drop_duplicates(['id'])
對於數字類的分析,上次已經講過幾個,我主要是對段子手的星座和地區感興趣,今天就分析下,大家也可以每個維度都分析下。
xingzuo = data3.groupby('constellation').size()
plt.figure(figsize=(10,6),dpi=80)
labels = list(xingzuo.index)
sizes = list(xingzuo)
plt.xlabel('星座')
plt.ylabel('使用者個數')
plt.title('糗事百科使用者星座分布圖')
plt.bar(range(len(sizes)),sizes,tick_label=labels,color='#99cc01',alpha=0.7)#alpha為透明度
plt.grid(color='#95a5a6',linestyle='--', linewidth=1,axis='y',alpha=0.6)
plt.legend(['使用者個數'])
除了不詳的之外,天秤座使用者最多,白羊座最少。
天秤座常常追求和平和諧的感覺,他們善於交談,溝通能力極強是他們最大的優點。但他們最大的缺點,往往是猶豫不決。天秤座的人容易將自己的想法加諸到別人身上,天秤座的人要小心這點
白羊座就像小孩子一樣,直率、熱情、衝動,但也十分的自我為中心和孩子氣
如圖,資料是分省和市的,我們只提取省的資料,這部分可以在爬蟲時進行處理。
plt.xlabel('省市')
plt.ylabel('使用者個數')
plt.title('糗事百科使用者省市分布圖')
plt.bar(range(len(sizes)),sizes,tick_label=labels,color='#99cc01',alpha=0.7)#alpha為透明度
plt.grid(color='#95a5a6',linestyle='--', linewidth=1,axis='y',alpha=0.6)
plt.legend(['使用者個數'])
通過2個案例主要講解了python資料分析的基本流程。
python爬蟲糗事百科
coding utf 8 import urllib2 import re 工具類 class tools object remove n re.compile r n replace br re.compile r remove ele re.compile r re.s rs 引數,要進行替換的...
Python爬蟲 糗事百科
如果沒有這兩個庫 在命令列任意位置下 前提是你已經配置好了環境,這個網上大把,自行google pip install requests,pip install bs4 import beautifulsoup import requests from bs4 import beautifulsou...
糗事百科 三
爸,老師讓你去學校一趟。你又闖什麼禍了!打。打抱不平來著。打抱不平?常言道虎父無犬子,真不愧是我兒子 老師 看你兒子把鮑步平小朋友打的!怎麼陪吧!記得前一陣熱播民兵葛二蛋,然後我們全家都姓葛.割了一把心酸淚.中午吃飯的時候弟弟特委屈的問我,姐姐為什麼我們全班都叫我葛二蛋?t t 我一口飯沒嚥下去,心...