打亂資料集的方法

原始資料存在一定的分布規律，所以學習曲線不平滑，如果資料量夠大的話，打亂後會呈現隨機分布，學習後更能體現樣本的共性。為了加強模型的泛化能力，有時候需要打亂資料集（包括特徵資料和標籤），但是顯然還是要保證每一條資料中的特徵資料和標籤的對應關係

可以進行如下操作：

1.通過隨機化index

import random
index = [i for i in range(len(data))] 
random.shuffle(index)
data = data[index]
label = label[index]

2.將資料集特徵資料和標籤先整合成乙個array再隨機化行的順序

s_data = np.array([data, labels])#假設data和labels均為二維陣列
s_data = s_data.transpose(1,0,2)
np.random.shuffle(s_data)
data = s_data[:,0,:]     
labels = s_data[:,1,:]

ps:numpy中函式shuffle與permutation都是對原來的陣列隨機打亂原來的順序，shuffle中文含義為洗牌，permutation中文含義為排列，區別在於shuffle直接在原來的陣列上進行操作，改變原來陣列的順序，無返回值。而permutation不直接在原來的陣列上進行操作，而是返回乙個新的打亂順序的陣列，並不改變原來的陣列。

import numpy as np
a = np.arange(9)
print("a:",a)
np.random.shuffle(a)
print("a:",a)
b = np.random.permutation(a)
print("b:",b)
print("a:",a)

輸出為：

a: [0 1 2 3 4 5 6 7 8]
a: [1 7 8 0 5 3 2 4 6]
b: [5 1 8 3 6 4 2 7 0]
a: [1 7 8 0 5 3 2 4 6]

打亂資料集的方法

python中隨機打亂資料集

深度學習打亂資料的方法

同時打亂資料集和標籤的幾種方式

打亂資料集的方法

python中隨機打亂資料集

深度學習打亂資料的方法

同時打亂資料集和標籤的幾種方式

相關推薦