寫在前面的一些廢話
伴隨課程以及自習，學得既算系統也算零散。學校多統計，演算法講解幾近寥寥。自古以來，統計系的教授多半樂於指摘機器學習與人工智慧，但學科總又不得不與之掛鉤密切，且多隨其發展潮起潮落。內部糾紛，不足為外人道已。只有深受其紛雜概念困擾的學習者，感觸頗深。不隨時總結，建立知識庫，實在容易迷失。
對《利用python進行資料分析》重點章節粗略研習，繪製思維導圖加深記憶，成效喜聞樂見。但考慮到涉及的原理與演算法，知識點繁多，思維導圖不利於初學記憶與學習，故擇些要點闡述與加深印象。(注：原理與演算法總結多出自於《python大戰機器學習》，有興趣者可自行閱讀研習。) 文章閱讀適合對像：有一定統計基礎，希望串知識點，查漏補缺。
總結多數機器學習演算法框架，可發現組成部分：
1. 明確樣本輸入與輸出；
2. 構建待學習模型；
3. 確定損失函式/目標函式(平方損失函式等)；
4. 明確模型目標(最小化、最大化)；
5. 求解方法(最小二乘法、極大似然估計、牛頓迭代法、拉格朗日等)；
6. 求解結果形式；
其中，由於不同的模型方法，涉及的損失函式不盡相同，部分涉及引數的引進與構建。此時，求解過程多半需要引數優化與交叉驗證。
正文
1.1 線性模型概述
線性模型中的「線性」其實是一系列一次特徵的線性組合，在二維空間中是一條直線，在三位空間是乙個平面，推廣至n維空間，為廣義線性模型。
廣義線性模型包括：嶺回歸、lasso回歸、elastic net、邏輯回歸、線性判別分析等。
模型形式：
其中，1.2 演算法精華
1.2.1 普通線性回歸
則有：
令：
則：令當當
其中，1.2.2 廣義線性模型
考慮單調可導函式h(·)，令
1.2.3 邏輯回歸原理
對於多分類邏輯回歸問題：設離散隨機變數y的取值集合為[1,2,…,k]，則求解模型為
1.2.4 線性判別分析(lda)
機器學習線性模型學習筆記
參考 周志華機器學習第三章 給定由d個屬性描述的示例x x1 x2 x d 其中xi是x在第i個屬性上的取值，線性模型試圖學得乙個通過屬性的線性組合來進行 函式，即 f x w 1x1 w2x2 wdx d b 一般用向量形式寫成 f x w tx b 其中w w1 w2 w d w和b學得之後，模...
機器學習 線性模型
這篇文章總結了 3 種線性模型 線性回歸 對數線性回歸和邏輯斯蒂回歸 logistic regression，lr，對數機率回歸 假設資料集 d 其中 x i x x dots x y in r 也就是，資料集 d 共包含 m 個樣本，每個樣本含有 d 個屬性.線性回歸的目標是找到引數 w w 1,...
機器學習筆記5 線性模型（二）
四 線性判別分析 線性判別分析 linear discriminant analysis，lda 的思想是 把全體美女集中到操場上，在操場上畫出一條白直線，設法將每位美女都投影到這條線上，使女神的投影點盡可能集中到一起，女漢子的投影點盡可能集中到一起，而且女神們投影點的中心和女漢子們投影點的中心盡可...