線性回歸
模型：線性回歸假設輸出與各個輸入之間是線性關係。
資料集設計：真實值為標籤，**所需要的因素為特徵，特徵用來表示樣本的特點。
損失函式：衡量****值與真實值之間的誤差
優化函式：小批量隨機梯度下降函式的演算法過程：a.選取一組模型引數的初始值（例如隨機選取）；對引數進行多次迭代，目的是降低損失函式的值，每次迭代先隨機均勻取樣乙個有固定數目訓練資料樣本所組成的小批量b，然後求小批量中資料樣本的平均損失有關模型引數的導數，最後用此結果與預先設定的學習步長的乘積作為模型引數在本次迭代的減少量。
tip：小批量的損失函式的值要除以樣本的數目。
softmax和分類模型
softmax回歸模型主要解決的是分類問題，從模型來講，是乙個單層神經網路。設計該模型的原因是如果直接使用輸出層的輸出有兩個問題：一是輸出值沒有什麼確定範圍，很難直觀上解釋，二是這些輸出值與真實標籤（離散值）之間的誤差難以衡量。softmax可以將輸出值變換成值為正且和為1的概率分布，公式為：yi=
exp(
oi)/
∑(ex
p(ok
))
y_i=exp(o_i)/\sum(exp(o_k))
yi=ex
p(oi
)/∑
(exp
(ok
))，此運算不改變**類別輸出。
tip：softmax（x
ix_i
xi+c）=softmax(x
ix_i
xi)
多層感知機（multilayer perceptual, mlp）
多層感知機就是含有至少乙個隱藏層的由全連線層組成的神經網路，且每個隱藏層的輸出通過啟用函式進行變換。多層感知機的層數和各隱藏層中隱藏單元個數都是超引數。
機器學習西瓜書 學習筆記（一） 緒論
開始學ml了！第一次用csdn寫blog，聊以自娛，也算是監督和動力叭 基本概念 機器學習 研究如何通過計算的手段，利用經驗來改善系統自身的效能 研究物件 學習演算法 統計學習 是一套以理解資料為目的的龐大工具集 學習演算法 在計算機上從資料中產生模型的演算法l mathcal l 模型 學習器 從...
Abee 吃掉西瓜 西瓜書學習筆記（七）
內容包含 第八章 整合學習一般是多個個體學習器以某種策略結合起來，其中的個體學習器可以是同質 homogeneous 的，成為 基學習演算法 也可以是異質 heterogenous 的，個體學習器成為元件學習器 component learner 目前的整合學習主要分兩類 1.序列進行的序列化方法，...
西瓜書 學習筆記 （1）緒論
個人自學筆記，內容摘自原書 個人理解，不一定正確，若有誤，歡迎指出。機器學習的定義 假設用p來評估電腦程式在某任務類t上的效能，若乙個程式通過利用經驗e在任務t中獲得了效能改善，則我們就說關於t和p，該程式對e進行了學習。mitchell,1997 通俗地說，機器學習即是通過學習演算法，從經驗 資料...