15天共讀深度學習Day5

（今天上完課，我們就算是放假了。放假了，也放鬆了，差點就忘了打卡這件事了o(╯□╰)o）

1. 神經網路的特徵就是可以從資料中學習。即可以由訓練資料自動獲取最優權重引數的值。

神經網路的優點是對所有問題都可以用同樣的流程來解決。也就是說，與待處理的問題無關，神經網路可以將資料直接作為原始資料，進行「端對端」的學習。

2.機器學習中，一般將資料分為訓練資料和測試資料兩部分來進行學習和實驗。

首先，使用訓練資料進行學習。尋找最優的引數；訓練資料也可以稱為監督資料。

然後，使用測試資料評價訓練得到的模型的實際能力。

為什麼要將資料分為訓練資料和測試資料呢？

因為我們追求的是模型的泛化能力。為了正確評價模型的泛化能力，就必須劃分為訓練資料和測試資料。

3.泛化能力是指處理未被觀察過的資料（不包含在訓練資料中的資料）的能力。獲得泛化能力是機器學習的最終目標。

4.神經網路的學習通過某個指標表示現在的狀態，然後以這個指標為基準，尋找最優權重引數。神經網路學習中所用的指標稱為損失函式。這個損失函式可以使用任意函式，但一般用均方誤差和交叉熵誤差等。

損失函式時表示神經網路效能的「惡劣程度」的指標，即當前的神經網路對監督資料在多大程度上不擬合，在多大程度上不一致。

（只對某個資料集過度擬合的狀態稱為過擬合，避免過擬合也是機器學習的乙個重要課題）

（1）可以作為損失函式的函式有很多，其中最有名的是均方誤差

均方誤差會計算神經網路的輸出和正確解監督資料的各個元素之差的平方，再求總和。

均方誤差越小，結果就與監督資料更吻合。

（2）交叉熵誤差也被經常用作損失函式。

5.機器學習針對訓練資料計算損失函式的值，找出使該值盡可能小的引數。因此，計算損失函式時必須將所有的訓練資料作為物件。也就是說，如果訓練資料有100個的話，我們就要把這100個損失函式的總和作為學習的指標。

mnist資料集的訓練資料有60000個，如果以全部資料為物件求損失函式的和，則計算過程需要花費較長的時間。如果遇到大資料，這樣做就是很不現實的。因此，我們從全部資料中選出一部分，作為全部資料的「近似」。

神經網路的學習也是從訓練資料中選出一批資料（稱為 mini-batch小批量）然後對每個mini-batch計算損失函式，進行學習。

計算電視收視率時，並不會統計所有家庭的電視機，而是僅以那些被選中的家庭為統計物件。

和收視率一樣，mini-batch的損失函式也是利用一部分樣本資料來近似地計算整體。也就是說，用隨機選擇的小批量資料作為全體訓練資料的近似值。