欄位login_place程式設計客棧，一共267725行記錄,隨機15條記錄如下：
後續資料分析工作需要用到地理維度進行分析，所以需要把login_place欄位進行拆分成：國家、省份、地區。
第三方中文分詞庫：jieba，可以對文字進行拆分。使用參考資料：jieba庫的使用。
初步方案：
**：（抽取1000條記錄，看一下我這台機器的執行時間）
%%time
# 地區拆分
for i in range(1000):
list_word=[word for word in jieba.cut(df.iloc[i,0])]
if len(list_word)==1:
if '中國' in df.iloc[i,0]:
df.loc[i,'國家']=df.iloc[i,0][0:2]
df.loc[i,'省份']=df.iloc[i,0][2:]
else:
df.loc[i,'國家']=df.iloc[i,0]
elif len(list_word)==2:
df.loc[i,'國家']=list_word[0]
df.loc[i,'省份']=list_word[1]
else:
df.loc[i,'國家']=list_word[0]
df.loc[i,'省份']=list_word[1]
df.loc[i,'地區']=list_word[2]
if i%100==0:
print(f'%')
1000條用了1min 37秒。如果全部進行資料解析等待時間應該很久很久。有很多重複的記錄，這裡先去重，再跑一次**。
去重之後，只有404不重複的記錄。
再跑一遍**，並且把結果儲存到本地檔案『d程式設計客棧f_test.xlsx'。便於檢視jieba第三方分詞庫對本次資料拆分是不是想要的結果。
國家：『國家'這一列，中國台灣沒有拆分出來。
**試了一下，發現『中國台灣'確實拆分不了。證實了台灣確實中國不可缺失的一部分。
省份：『省份'這一列拆分的更加糟糕。
總結：總資料集執行時間長，切詞不準確。需要優化拆分方案！
在上面檢視excel檔案時候發現『login_place'欄位的資料有以下特點：
優化方案：
%%time
# 地區拆分
for i in range(df.shape[0]):
if '中國' in df.iloc[i,0] :
df.loc[i,'國家'] = '中國'
if ('內蒙古' in df.iloc[i,0]) or ('黑龍江' in df.iloc[i,0]):
# print(df.iloc[i,0])
df.lociezmok[i,'省份'] = df.iloc[i,0][2:5]
if len(df.iloc[i,0]) > 5:
df.loc[i,'地區'] = df.iloc[i,0][5:]
else:
df.loc[i,'省份'] = df.iloc[i,0][2:4]
df.loc[i,'地區'] = df.iloc[i,0][4:]
else:
list_word = [word for word in jieba.cut(df.iloc[i,0])]
if len(list_word) == 1:
df.loc[i,'國家'] = df.iloc[i,0][0:2]
df.loc[i,'省份'] = df.iloc[i,0][2:]
else:
df.loc[i,'國家'] = list_word[0]
df.loc[i,'省份'] = list_word[1]
if i%100==0:
print(f'%')
儲存excel檔案，再次檢視拆分情況。經過去重後的測試集拆分符合想要的結果。
執行未去重程式設計客棧源資料集結果：
pandas 資料處理
pandas中資料可以分為series，dataframe，panel分別表示一維至三維資料。其中在構造時，index表示行名，columns表示列名 構造方式 s pd.series data index index s pd series np random randn 5 index a b ...
pandas資料處理
dataframe.duplicated subset none,keep first 判斷dataframe中的資料是否有重複 必須一行中所有資料都重複才算重複，只能判斷行，不能判斷列 返回series dataframe.drop duplicates subset none,keep firs...
Pandas資料處理
資料處理 pandas from sklearn.preprocessing import minmaxscaler data 1,2 0.5,6 0.10 1,18 將 numpy 轉換成 pd 表 pd.dataframe data 歸一化 0，1 之間 scaler minmaxscaler ...