機器學習演算法的隨機資料生成

2021-09-26 20:10:16 字數 4548 閱讀 5513

文章引用自 

在學習機器學習演算法的過程中,我們經常需要資料來驗證演算法,除錯引數。但是找到一組十分合適某種特定演算法型別的資料樣本卻不那麼容易。還好numpy, scikit-learn都提供了隨機資料生成的功能,我們可以自己生成適合某一種模型的資料,用隨機資料來做清洗,歸一化,轉換,然後選擇模型與演算法做擬合和**。下面對scikit-learn和numpy生成資料樣本的方法做乙個總結。

完整**參見我的github。

numpy隨機資料生成api

numpy比較適合用來生產一些簡單的抽樣資料。api都在random類中,常見的api有:

1) rand(d0, d1, …, dn) 用來生成d0xd1x…dn維的陣列。陣列的值在[0,1)之間

例如:np.random.rand(3,2,2),輸出如下3x2x2的陣列

array([[[ 0.49042678, 0.60643763],

[ 0.18370487, 0.10836908]],

[[ 0.38269728,  0.66130293],

[ 0.5775944 , 0.52354981]],

[[ 0.71705929, 0.89453574],

[ 0.36245334, 0.37545211]]])

2) randn((d0, d1, …, dn), 也是用來生成d0xd1x…dn維的陣列。不過陣列的值服從n(0,1)的標準正態分佈。

例如:np.random.randn(3,2),輸出如下3x2的陣列,這些值是n(0,1)的抽樣資料。

array([[-0.5889483 , -0.34054626],

[-2.03094528, -0.21205145],

[-0.20804811, -0.97289898]])

如果需要服從n(μ,σ2)

的正態分佈,只需要在randn上每個生成的值x上做變換σx+μ

即可,例如:

例如:2*np.random.randn(3,2) + 1,輸出如下3x2的陣列,這些值是n(1,4)的抽樣資料。

array([[ 2.32910328, -0.677016 ],

[-0.09049511, 1.04687598],

[ 2.13493001, 3.30025852]])

3)randint(low[, high, size]),生成隨機的大小為size的資料,size可以為整數,為矩陣維數,或者張量的維數。值位於半開區間 [low, high)。

例如:np.random.randint(3, size=[2,3,4])返回維數維2x3x4的資料。取值範圍為最大值為3的整數。

array([[[2, 1, 2, 1],

[0, 1, 2, 1],

[2, 1, 0, 2]],

[[0, 1, 0, 0],

[1, 1, 2, 1],

[1, 0, 1, 2]]])

再比如: np.random.randint(3, 6, size=[2,3]) 返回維數為2x3的資料。取值範圍為[3,6).

array([[4, 5, 3],

[3, 4, 5]])

4) random_integers(low[, high, size]),和上面的randint類似,區別在與取值範圍是閉區間[low, high]。

5) random_sample([size]), 返回隨機的浮點數,在半開區間 [0.0, 1.0)。如果是其他區間[a,b),可以加以轉換(b - a) * random_sample([size]) + a

例如: (5-2)*np.random.random_sample(3)+2 返回[2,5)之間的3個隨機數。

array([ 2.87037573, 4.33790491, 2.1662832 ])

scikit-learn隨機資料生成api介紹

scikit-learn生成隨機資料的api都在datasets類之中,和numpy比起來,可以用來生成適合特定機器學習模型的資料。常用的api有:

1) 用make_regression 生成回歸模型的資料

2) 用make_hastie_10_2,make_classification或者make_multilabel_classification生成分類模型資料

3) 用make_blobs生成聚類模型資料

4) 用make_gaussian_quantiles生成分組多維正態分佈的資料

3. scikit-learn隨機資料生成例項

3.1 回歸模型隨機資料

這裡我們使用make_regression生成回歸模型資料。幾個關鍵引數有n_samples(生成樣本數), n_features(樣本特徵數),noise(樣本隨機噪音)和coef(是否返回回歸係數)。例子**如下:

複製**

import numpy as np

import matplotlib.pyplot as plt

%matplotlib inline

from sklearn.datasets.samples_generator import make_regression

x, y, coef =make_regression(n_samples=1000, n_features=1,noise=10, coef=true)

plt.scatter(x, y, color=『black』)

plt.plot(x, x*coef, color=『blue』,

linewidth=3)

plt.xticks(())

plt.yticks(())

plt.show()

複製**

輸出的圖如下:

3.2 分類模型隨機資料

這裡我們用make_classification生成三元分類模型資料。幾個關鍵引數有n_samples(生成樣本數), n_features(樣本特徵數), n_redundant(冗餘特徵數)和n_classes(輸出的類別數),例子**如下:

複製**

import numpy as np

import matplotlib.pyplot as plt

%matplotlib inline

from sklearn.datasets.samples_generator import make_classification

x1, y1 = make_classification(n_samples=400, n_features=2, n_redundant=0,

n_clusters_per_class=1, n_classes=3)

plt.scatter(x1[:, 0], x1[:, 1], marker=『o』, c=y1)

plt.show()

複製**

輸出的圖如下:

3.3 聚類模型隨機資料

這裡我們用make_blobs生成聚類模型資料。幾個關鍵引數有n_samples(生成樣本數), n_features(樣本特徵數),centers(簇中心的個數或者自定義的簇中心)和cluster_std(簇資料方差,代表簇的聚合程度)。例子如下:

複製**

import numpy as np

import matplotlib.pyplot as plt

%matplotlib inline

from sklearn.datasets.samples_generator import make_blobs

x, y = make_blobs(n_samples=1000, n_features=2, centers=[[-1,-1], [1,1], [2,2]], cluster_std=[0.4, 0.5, 0.2])

plt.scatter(x[:, 0], x[:, 1], marker=『o』, c=y)

plt.show()

複製**

輸出的圖如下:

3.4 分組正態分佈混合資料

我們用make_gaussian_quantiles生成分組多維正態分佈的資料。幾個關鍵引數有n_samples(生成樣本數), n_features(正態分佈的維數),mean(特徵均值), cov(樣本協方差的係數), n_classes(資料在正態分佈中按分位數分配的組數)。 例子如下:

複製**

import numpy as np

import matplotlib.pyplot as plt

%matplotlib inline

from sklearn.datasets import make_gaussian_quantiles

#生成2維正態分佈,生成的資料按分位數分成3組,1000個樣本,2個樣本特徵均值為1和2,協方差係數為2

x1, y1 = make_gaussian_quantiles(n_samples=1000, n_features=2, n_classes=3, mean=[1,2],cov=2)

plt.scatter(x1[:, 0], x1[:, 1], marker=『o』, c=y1)

複製**

輸出圖如下

以上就是生產隨機資料的乙個總結,希望可以幫到學習機器學習演算法的朋友們。

機器學習演算法中隨機數的生成

numpy,sklearn提供隨機資料生成功能,我們可以自己生成適合某一種模型的資料,用隨機資料來清洗,歸一化,轉換,然後選擇模型與演算法做擬合和 1.numpy隨機資料生成api numpy比較適合用來生產一些簡單的抽樣資料。api都在random類中,常見的api有 1 rand d0,d1,d...

生成隨機資料

生成隨機資料 一 生成int型資料 簡單地生成n個隨機資料 數字大小在int範圍內 include include include int main 每次執行該程式得到的隨機數都是一樣的,因為種子相同 改變種子,每次執行程式可以得到不同的隨機數 得到種子需要乙個函式srand m 引數m決定了種子,...

隨機數生成演算法

看到一些介紹隨機數生成演算法的文章,收集下來,有空深入了解下。c語言中偽隨機數生成演算法實際上是採用了 線性同餘法 具體的計算如下 xi xi 1 a c mod m 其中a,c,m都是常數 一般會取質數 當c 0時,叫做乘同餘法。srand 函式置的seed實際上會作為x0被代入上式中,然後每次呼...