全部筆記的彙總貼：《深度學習》花書-讀書筆記彙總貼
我們可以將監督學習訓練的前饋網路視為表示學習的一種形式。具體地，網路的最後一層通常是線性分類器，如 softmax 回歸分類器。網路的其餘部分學習出該分類器的表示。監督學習訓練模型，一般會使得模型的各個隱藏層（特別是接近頂層的隱藏層）的表示能夠更加容易地完成訓練任務。
無監督學習在深度神經網路的復興上起到了關鍵的、歷史性的作用，它使研究者首次可以訓練不含諸如卷積或者迴圈這類特殊結構的深度監督網路。我們將這一過程稱為無監督預訓練（unsupervised pretraining），或者更精確地，貪心逐層無監督預訓練（greedy layer-wise unsupervised pretraining）。此過程是乙個任務（無監督學習，嘗試獲取輸入分布的形狀）的表示如何有助於另乙個任務（具有相同輸入域的監督學習）的典型示例。
在遷移學習（transfer learning）中，學習器必須執行兩個或更多個不同的任務，但是我們假設能夠解釋p
1p_1
p1變化的許多因素和學習p
2p_2
p2需要抓住的變化相關。這通常能夠在監督學習中解釋，輸入是相同的，但是輸出不同的性質。
在領域自適應（domain adaption）的相關情況下，在每個情景之間任務（和最優的輸入到輸出的對映）都是相同的，但是輸入分布稍有不同。
遷移學習的兩種極端形式是一次學習（one-shot learning）和零次學習（zero-shot learning），有時也被稱為零資料學習（zero-data learning）。只有乙個標註樣本的遷移任務被稱為一次學習；沒有標註樣本的遷移任務被稱為零次學習。
表示學習的乙個重要問題是 『『什麼原因能夠使乙個表示比另乙個表示更好？」 一種假設是，理想表示中的特徵對應到觀測資料的潛在成因，特徵空間中不同的特徵或方向對應著不同的原因，從而表示能夠區分這些原因。這個假設促使我們去尋找表示p(x
)p(x)
p(x)
的更好方法。
分布式表示的概念（由很多元素組合的表示，這些元素之間可以設定成可分離的）是表示學習最重要的工具之一。分布式表示非常強大，因為他們能用具有 k
kk個值的n
nn個特徵去描述k
nk^n
kn個不同的概念。
基於非分布式表示的學習演算法的示例：
我們看到足夠深的前饋網路會比深度不夠的網路具有指數級優勢。這樣的結果也能從諸如概率模型的其他模型中獲得。和-積網路（sum-product network, spn）是這樣的一種概率模型。這些模型使用多項式迴路來計算一組隨機變數的概率分布。
什麼原因能夠使乙個表示比另乙個表示更好？
乙個理想的表示能夠區分生成資料變化的潛在因果因子，特別是那些與我們的應用相關的因素。表示學習的大多數策略都會引入一些有助於學習潛在變差因素的線索。這些線索可以幫助學習器將這些觀察到的因素與其他因素分開。監督學習提供了非常強的線索：每個觀察向量x
xx的標籤y
yy，它通常直接指定了至少乙個變差因素。更一般地，為了利用豐富的未標註資料，表示學習會使用關於潛在因素的其他不太直接的提示。這些提示包含一些我們（學習演算法的設計者）為了引導學習器而強加的隱式先驗資訊。諸如沒有免費午餐定理的這些結果表明，正則化策略對於獲得良好泛化是很有必要的。
學習演算法是如何發現對應潛在因素的特徵：
下一章傳送門：花書讀書筆記（十五）-深度學習中的結構化概率模型
花書讀書筆記（三） 數值計算
全部筆記的彙總貼 深度學習 花書 讀書筆記彙總貼 一種極具毀滅性的捨入誤差是下溢 under ow 當接近零的數被四捨五入為零時發生下溢。另乙個極具破壞力的數值錯誤形式是上溢 over ow 當大量級的數被近似為 infty 或 infty 時發生上溢。必須對上溢和下溢進行數值穩定的乙個例子是 so...
《深度學習》花書 讀書筆記彙總貼（彙總19 19）
本人學習所有系列 彙總帖 第一章 前言 沒啥好說的，自己看看內容就行 花書讀書筆記 一 線性代數 花書讀書筆記 二 概率與資訊理論 花書讀書筆記 三 數值計算 花書讀書筆記 四 機器學習基礎 花書讀書筆記 五 深度前饋網路 花書讀書筆記 六 深度學習中的正則化 花書讀書筆記 七 深度模型中的優化 花...
花書讀書筆記（七） 深度模型中的優化
全部筆記的彙總貼 深度學習 花書 讀書筆記彙總貼 在大多數機器學習問題中，我們關注某些效能度量p pp，其定義於測試集上並且可能是不可解的。因此，我們只是間接地優化p pp。我們希望通過降低代價函式j j j 來提高p pp。這一點與純優化不同，純優化最小化目標j jj本身。優化通常是乙個極其困難的...