1. 資料清洗函式構建
def data_cleaning(df):
cols = df.columns
for col in cols:
if df[col].dtype == 'object':
df[col].fillna('缺失資料', inplace = true)
else:
df[col].fillna(0, inplace = true)
return(df)
data_c1 = data_cleaning(data)
print(data_c1.head(10))
def data_time(df,*cols):
for col in cols:
df[col] = df[col].str.replace('年','.')
df[col] = df[col].str.replace('月','.')
df[col] = df[col].str.replace('日','')
df[col] = pd.to_datetime(df[col])
return(df)
data_c2 = data_time(data_c1,'資料獲取日期')
print(data_c2.head(10))
plt.rcparams['font.family'] = ['arial unicode ms'] # 正常顯示中文
plt.rcparams['axes.unicode_minus'] = false # 正常顯示符號
df_q1 = data_c2.groupby('導演')[['好評數','評分人數']].sum() # 根據導演進行分組，統計出好評數和評分人數總和df_q1這乙個dataframe
df_q1['好評率'] = df_q1['好評數'] / df_q1['評分人數'] # 構造好評數這一列
result_q1 = df_q1.sort_values(['好評率'], ascending=false)[:20] # 按照好評率進行降序排序，統計出前20的好評率的導演
# 計算統計不同導演的好評率
result_q1['好評率'].plot(kind='bar',
color = 'k',
width = 0.8,
alpha = 0.4,
rot = 45,
grid = true,
ylim = [0.98,1],
figsize = (12,4),
title = '不同導演電影的好評率') # 畫出柱狀圖
問題2 統計分析2001-2023年每年評影人數總量
要求： 計算統計出2001-2023年每年評影人數總量
② 通過面積圖，做圖表視覺化，分析每年人數總量變化規律
③ 驗證是否有異常值（極度異常）
④ 建立函式分析出資料外限最大最小值）
⑤ 篩選檢視異常值 → 是否異常值就是每年的熱門電影？
① 通過箱型圖驗證異常值情況
② 通過quantile(q=0.5)方法，得到四分位數
③ iqr=q3-q1
④ 外限：最大值區間q3+3iqr,最小值區間q1-3iqr （iqr=q3-q1）
q2data1 = data_c2[['導演','上映年份','整理後劇名']].drop_duplicates() # 為了方知有重複值，首先刪除重複值
q2data1 = q2data1[q2data1['上映年份'] != 0] # 篩選出不同年份的資料，去除上映年份字段缺失的資料
q2data2 = data_c2.groupby('整理後劇名').sum()[['評分人數','好評數']] # 按照整理後的劇名統計分析好評人數和好評數
#print(q2data2)
q2data3 = pd.merge(q2data1,q2data2,left_on='整理後劇名',right_index=true) # 合併資料，得到不同的年份，不同劇的評分人數，好評數總和
#print(q2data3)
q2data4 = q2data3.groupby('上映年份').sum()[['評分人數','好評數']] # 按照電影上映年份統計評分人數和好評數
print(q2data4.head())
fig1 = plt.figure(num=1,figsize=(12,4))
q2data4['評分人數'].loc[2000:].plot.area(figsize = (10,4),
grid = true,
color = 'g',
alpha = 0.8)
plt.xticks(range(2001,2016))
plt.title('2001-2023年每年評影人數總量統計')
# 建立面積圖
fig,axes = plt.subplots(4,4,figsize=(10,16))
start = 2001
for i in range(4):
for j in range(4):
data = q2data3[q2data3['上映年份'] == start]
data[['評分人數','好評數']].boxplot(whis = 3, # iqr為3
return_type='dict',ax = axes[i,j]) # 建立矩陣箱型圖
start += 1
# 發現基本每年的資料中都有異常值，且為極度異常
# 建立函式得到外限最大最小值
# 檢視異常值
a = q2data3[q2data3['上映年份'] == 2001]
def data_error(df,col):
q1 = df[col].quantile(q=0.25) # 上四分位數
q3 = df[col].quantile(q=0.75) # 下四分位數
iqr = q3 - q1 # iqr
tmax = q3 + 3 * iqr # 外限最大值
tmin = q3 - 3 * iqr # 外限最小值
return(tmax,tmin)
# 建立函式，得到外限最大最小值
for i in range(2000,2016):
datayear = q2data3[q2data3['上映年份'] == i] # 篩選該年度的資料
print('%i年有%i條資料' % (i,len(datayear))) # 檢視每年的資料量
t = data_error(datayear,'評分人數') # 得到外限最大最小值
#print(t)
print(datayear[datayear['評分人數'] > t[0]]) # 檢視評分人數大於外限最大值的異常值
print('-------\n')
# 檢視異常值資訊
愛奇藝 筆試
題目描述 時間限制 1秒 空間限制 32768k 牛牛養了n只奶牛,牛牛想給每只奶牛編號,這樣就可以輕而易舉地分辨它們了。每個奶牛對於數字都有自己的喜好,第i只奶牛想要乙個1和x i 之間的整數 其中包含1和x i 牛牛需要滿足所有奶牛的喜好,請幫助牛牛計算牛牛有多少種給奶牛編號的方法,輸出符合要求...
愛奇藝程式設計題
1 爐石傳說 時間限制 c c 語言1000ms 其他語言3000ms 記憶體限制 c c 語言65536kb 其他語言589824kb 題目描述 小明喜歡玩一款叫做爐石傳說的卡牌遊戲，遊戲規則如下，玩家擁有n顆水晶和m張卡牌，每張卡牌的使用會消耗a顆水晶並且造成b的傷害值，請你幫小明算一下該如何使...
Python趣味爬蟲之爬取愛奇藝熱門電影
找到目標先分析一下網頁很幸運這個只有乙個網頁，不需要翻頁。找到目標，分析如何獲取需要的資料。找到href與電影名稱 操作步驟 1，獲取到url內容 2,css選擇其選擇內容 3，儲存自己需要資料 匯入爬蟲需要的包 import requests from bs4 import beautifulso...