在之前的練習中，比較小，這節課的方法可以應用到更大的影象上。
在sparse autoencoder（後面會講到）中，一種設計選擇是將輸入層與隱藏層fully connect，這種方式對小的情況下計算量還
可以接受，但對大來說變得不可接受。
一種簡單的解決方式是隱藏層只連線一部分的輸入層，即只對特定的輸入產生反應。
自然影象有一種stationary的性質，即影象的某個部分的統計資訊和該影象的其他部分是一致的，也就是說，在影象某個部分提取的特徵可
以應用到影象的其他部分，並且可以在所有的位置上使用同樣的特徵（不太理解啊）。
更準確的說，我們可以在一副96*96影象上隨機提取乙個patch(比如8*8)的特徵，我們可以將這個8*8的feature detector應用到這副影象的任何地方，
具體說就是，我們將學習到的8*8feature與大影象作convolve，因而在影象的每個位置上都得到乙個不同的feature activation value
為了更好理解，給了乙個具體的例子。假設已經學到了特徵，來自於乙個96*96影象上的乙個8*8的patch,更近一步，假設這是由乙個有100個隱藏單元的
autoencoder完成的。為了得到convolved features，對於96*96的每個8*8區域（參考課程中的**）。
正式的說法是，給定乙個r*c的大圖xlarge，我們首先在乙個小的a*b的pathces xsmall（從大圖中取樣得到）上訓練乙個sparse autoencoder，使及方程
下部分將要討論如何pool這些特徵，來得到更好的用於分類的特徵。
UFLDL 教程學習筆記目錄
ufldl unsupervised feature learning and deep learning tutorial 是由 stanford 大學的 andrew ng 教授及其團隊編寫的一套教程，內容深入淺出，有很強的實用性，學習起來，讓人有種酣暢淋漓的感覺。下邊是我學習的筆記 1.1神經...
UFLDL教程筆記（二）
softmax是邏輯回歸在多分類問題上的擴充套件，適合有k類情況下的分類任務。首先看下邏輯回歸的假設函式 h 11 e tx 更多邏輯回歸請戳 有上面可以看出h 和e tx是正相關的，而softmax回歸和logistic 回歸的在形式上也很類似，其中softmax將x分類為類別j的概率為 p yi...
UFLDL學習筆記系列 1
exercise 1a linear regression 此為斯坦福無監督特徵學習和深度學習教程 ufldl 的學習筆記。我們的目標為從輸入向量x nx in re n x n 目標值yyy。以 房價為例，y yy代表房價，x xx表示描述房子的特徵向量 比如其大小和房間的數目 假設給定大量的樣本...