機器學習系列主要為 我在國科大研一期間，在《機器學習方法與應用》課程中所學知識概述，以及課後補充學習的內容。
回歸和分類的區別：回歸**的目標函式是連續值，分類**的目標函式是離散值
最小二乘法（最小均方差lms）：基於**值和真實值的均方差最小化的方法來估計引數w和b
廣義線性回歸：將線性回歸的**值再做乙個非線性的函式變化去逼近真實值，這樣得到的模型統稱為廣義線性回歸。這個非線性函式稱為聯絡函式，理論可以是任意函式。比如當聯絡函式被指定為指數函式的時候，得到的回歸模型稱為對數線性回歸（將真實值的對數作為線性回歸逼近的目標）。
logistic回歸：將回歸**值劃分為0，1兩類值，聯絡函式可以為單位階躍函式，但是單位階躍函式在臨界點不連續。希望找到能在一定程度上近似單位階躍函式的替代函式，並且在臨界點連續且單調可微，logistic函式正式這樣乙個常用函式（y=e^z/(1+e^z)。logistic函式形似s，是sigmoid函式的典型代表，可將線性函式的**值轉換為乙個接近0或者接近1的值，在**值為0時，變化很陡，其對應的模型為logistic回歸模型。名字雖然是回歸，但卻是一種分類方法。
logistic回歸的優點：①可以直接對分類可能性進行**，將y視為樣本x作為正例的概率；②無需事先假設資料分布，這樣就避免了假設分布不準確所帶來的問題；③是任意階可導的凸函式，可直接應用現有數值優化演算法取最優解。
機器學習（三） 線性回歸
矩陣是二維陣列的另一種說法。矩陣的維數即行數 列數。aij指第i行，第j列的元素。向量是一種特殊的矩陣，是只有一列的矩陣。通常在書寫時，使用大寫字母表示矩陣，小寫字母表示向量。mn矩陣乘以no矩陣變成m o矩陣。通過構建兩個矩陣可以快速地把這三個假設函式應用到4個房子的尺寸中，得到12種基於3個假設...
機器學習 回歸
有別於分類問題，回歸問題，主要是通過特徵來構造乙個函式，並用這個函式求得的值來近似的估計我們需要 的值。回歸的種類有很多，當然我一時之間不能夠完全的總結出所有的回歸分析方法，但是我們在以後的學習中慢慢的補充。作為乙個初學者，以下的總結可能有一些個人的誤區，所以如果出現什麼錯誤的話，我希望各個讀者能夠...
機器學習 回歸
機器學習之路 python支援向量機回歸svr 波士頓地區房價 python3 學習使用api 支援向量機的兩種核函式模型進行 原始碼 git from sklearn.datasets import load boston from sklearn.cross validation import ...