訓練集的描述：如：
m代表訓練集中例項的數量
x代表特徵/輸入變數
y輸出變數
(x,y)代表訓練集中的例項
(xi,yi)代表第i個觀察例項
h代表學習演算法的解決方案或函式也稱為假設（hypothesis）
[外鏈轉存失敗,源站可能有防盜煉機制,建議將儲存下來直接上傳(img-jm7biptq-1605151502349)(
上面為乙個監督式學習的工作方式，將我們的訓練集資料餵食給這個演算法，然後可以給我們返回乙個函式h代表學習演算法給我們的解決方案，我們可以通過這個函式來根據輸入判斷輸出，就比如根據房子的尺寸估計出房子的**，h函式相當於乙個從x到y的對映，h函式的表達方式有很多種比如最簡單的單變數線性表示，抑或多變數一次線性表示來擬合資料，或者多次冪函式來擬合更為複雜的資料。
非監督式學習與監督式學習的區別主要在於，非監督式學習的訓練集資料並不會包含這個資料例項的正確答案，而是依靠非監督式學習演算法自己去尋找這些資料的各自特點，乙個主要的應用就是應用在聚類演算法上面如：
那麼聚類演算法的作用就是尋找這兩波資料的特點，並對映到h函式中，以求能夠將兩類資料區分出來。
模型和代價函式
什麼是模型，我們可能對模型有些認知，但是又似乎不能一下子說上來，模型就可以簡單的理解為是乙個函式，監督學習中資料分為訓練集和測試集，訓練集相當於歷史的真實資料，測試集相當於需要 的資料。而模型就是根據訓練集得出的乙個函式表示式，將這個模型帶入測試集中就可以 資料了。上圖就是乙個機器學習的過程首先會將...
softmax函式，對數似然代價函式及求導反向傳播
softmax函式為神經網路定義了一種新的輸出層 它把每個神經元的輸入佔當前層所有神經元輸入之和的比值，當作該神經元的輸出。假設人工神經網路第 l 層的第 j 個節點的帶權輸入為 在該層應用softmax函式作為啟用函式，則第 j 個節點的啟用值 a 就為 一般來說，我們只在神經網路最後一層應用so...
代價函式 cost function
在監督學習的回歸問題中，代價函式就是用於找到最優解的目的函式，反應了 函式的準確性。代價函式的值越小，說明在回歸問題的中，電腦程式對資料擬合的越好。也就是假設函式越正確。比如，對於這個假設函式 可以看成是求房價的假設函式 代價函式是 也就是 值與真實值的差的平方和，再除以2m 2倍樣本數量 在假設函...