ufldl(unsupervised feature learning and deep learning)tutorial 是由 stanford 大學的 andrew ng 教授及其團隊編寫的一套教程,內容深入淺出,有很強的實用性,學習起來,讓人有種酣暢淋漓的感覺。
下邊是我學習的筆記:
1.1神經網路
1.2反向傳導演算法
1.3梯度檢驗與高階優化
1.4自編碼演算法與稀疏性
1.5視覺化自編碼器訓練結果
1.6稀疏自編碼器符號一覽表
1.7exercise:sparse autoencoder
2.1向量化程式設計
2.2邏輯回歸的向量化實現樣例
2.3神經網路向量化
2.4exercise:vectorization
3.1主成分分析
3.2白化
3.3實現主成分分析和白化
3.4exercise:pca in 2d
3.5exercise:pca and whitening
4.1softmax回歸
4.2exercise:softmax regression
5.1自我學習
5.2exercise:self-taught learning
6.1從自我學習到深層網路
6.2深度網路概覽
6.3棧式自編碼演算法
6.4微調多層自編碼演算法
6.5exercise: implement deep networks for digit classification
7.1線性解碼器
7.2exercise:learning color features with sparse autoencoders
8.1卷積特徵提取
8.2池化
8.3exercise:convolution and pooling
UFLDL 教程學習筆記(四)
在之前的練習中,比較小,這節課的方法可以應用到更大的影象上。在sparse autoencoder 後面會講到 中,一種設計選擇是將輸入層與隱藏層fully connect,這種方式對小的情況下計算量還 可以接受,但對大來說變得不可接受。一種簡單的解決方式是隱藏層只連線一部分的輸入層,即只對特定的輸...
UFLDL教程筆記(二)
softmax是邏輯回歸在多分類問題上的擴充套件,適合有k類情況下的分類任務。首先看下邏輯回歸的假設函式 h 11 e tx 更多邏輯回歸請戳 有上面可以看出h 和e tx是正相關的,而softmax回歸和logistic 回歸的在形式上也很類似,其中softmax將x分類為類別j的概率為 p yi...
UFLDL學習筆記系列 1
exercise 1a linear regression 此為斯坦福無監督特徵學習和深度學習教程 ufldl 的學習筆記。我們的目標為從輸入向量x nx in re n x n 目標值yyy。以 房價為例,y yy代表房價,x xx表示描述房子的特徵向量 比如其大小和房間的數目 假設給定大量的樣本...