主要有三種預處理形式。
- 均值減法，每個特徵減去平均值，使每個維度中心移到原點。
- 歸一化，使資料在各個維度規模差不多。如果是0中心的，可以用資料除它的標準差，另一種形式是最大最小歸一化，使資料在[-1,1]。
- pca和白化。首先，將資料中心化，再計算資料協方差矩陣。協方差矩陣svd分解，u的列是特徵向量，將已經零中心化的資料投影到特徵基準上。留下方差大的維度，實現降維。白化輸入特徵基準上的資料，每個維度除以特徵值進行歸一化。資料服從多變數的高斯分布，白化後是乙個均值為零，協方差相等矩陣的高斯分布。這種轉換不用在cnn中。
x -= np.mean(x,axis=0) #零中心化
cov = np.dot(x.t,x)/(x.shape[0]) #對角線是方差
u,s,v = np.linalg.svd(cov) #協方差矩陣svd分解
xrot = np.dot(x,u)
xrot_reduced = np.dot(x,u[:100]) #選方差大的維度，降維
xwhite = xrot/np.sqrt(s+1e-5) #白化，可以增加1e-5使更平滑
CS231n課程筆記 神經網路筆記1（下）
內容列表 神經網路結構譯者注 下篇翻譯起始處 小節參考文獻 將神經網路演算法以神經元的形式圖形化。神經網路被建模成神經元的集合，神經元之間以無環圖的形式進行連線。也就是說，一些神經元的輸出是另一些神經元的輸入。在網路中是不允許迴圈的，因為這樣會導致前向傳播的無限迴圈。通常神經網路模型中神經元是分層的...
cs231n 神經網路筆記 部分總結工作1
cs231n神經網路nn 或稱為人工神經網路ann或稱為多層感知器mlp 基礎知識部分集中在ppt的lecture05 lecture07，且有整理的筆記 搜尋關鍵字都能搜到 已經算是非常棒了，此處僅針對個人再做下簡化 整理。神經網路個人理解可以看作是線性函式和非線性函式的組合，所以只要組合得夠好在...
CS231n課程筆記翻譯 神經網路筆記1（下）
筆記譯自斯坦福cs231n課程筆記neural nets notes 1，課程教師andrej karpathy授權翻譯。內容列表 小節參考文獻 將神經網路演算法以神經元的形式圖形化。神經網路被建模成神經元的集合，神經元之間以無環圖的形式進行連線。也就是說，一些神經元的輸出是另一些神經元的輸入。在網...