線性回歸：
回歸和分類的區別是要**的目標函式是連續值
f (x
)=wx
+bf(x) = wx + b
f(x)=w
x+bw=(
w1;w
2;……
;wm)
w = (w1; w2;……;wm)
w=(w1;
w2;…
…;wm)ww
w和bb
b通過最小二乘法確定，基於**值和真實值的均方差最小化估計引數
令上式為0即可求出w
ww和b
bb的最優解如下：
廣義線性回歸：
當問題為非線性問題時，將線性回歸的**值做乙個非線性函式變化去逼近真實值
理論上，g(x
)g(x)
g(x)
可以為任意函式
邏輯斯蒂回歸：
對於分類問題，只要將**的結果形成對映即可，以二分類為例
但是這個函式時不連續的，所以需要尋找乙個連續的函式
補充知識：
似然函式：
統計學中，似然函式是一種關於統計模型引數的函式。給定輸出x時，關於引數θ的似然函式l(θ|x)（在數值上）等於給定引數θ後變數x的概率：l(θ|x)=p(x=x|θ)。
極大似然估計：
它是建立在極大似然原理的基礎上的乙個統計方法，極大似然原理的直觀想法是，乙個隨機試驗如有若干個可能的結果a，b，c，… ，若在一次試驗中，結果a出現了，那麼可以認為實驗條件對a的出現有利，也即出現的概率p(a)較大。極大似然原理的直觀想法我們用下面例子說明。設甲箱中有99個白球，1個黑球；乙箱中有1個白球．99個黑球。現隨機取出一箱，再從抽取的一箱中隨機取出一球，結果是黑球，這一黑球從乙箱抽取的概率比從甲箱抽取的概率大得多，這時我們自然更多地相信這個黑球是取自乙箱的。一般說來，事件a發生的概率與某一未知引數 有關， 取值不同，則事件a發生的概率 也不同，當我們在一次試驗中事件a發生了，則認為此時的 值應是t的一切可能取值中使 達到最大的那乙個，極大似然估計法就是要選取這樣的t值作為引數t的估計值，使所選取的樣本在被選的總體**現的可能性為最大。
極大似然估計，只是一種概率論在統計學的應用，它是引數估計的方法之一。說的是已知某個隨機樣本滿足某種概率分布，但是其中具體的引數不清楚，引數估計就是通過若干次試驗，觀察其結果，利用結果推出引數的大概值。極大似然估計是建立在這樣的思想上：已知某個引數能使這個樣本出現的概率最大，我們當然不會再去選擇其他小概率的樣本，所以乾脆就把這個引數作為估計的真實值。
DataWhale學習 線性回歸任務一
machine learning類似與泛函，通過輸入資料找到乙個goodness of function，從而pick the best function 中心極限定理 中心極限定理指的是給定乙個任意分布的總體。我每次從這些總體中隨機抽取 n 個抽樣，一共抽 m 次。然後把這 m 組抽樣分別求出平均...
學習總結 線性表一
抽象資料型別線性表的基本運算 initlist l 初始化線性表，構造乙個空的線性表。destroylist l 銷毀線性表，釋放線性表l占用的記憶體空間。listempty l 判斷線性表是否為空表，若l為空表，則返回真，否則返回假。listlength l 求線性表的長度返回l中元素的個數。di...
機器學習 演算法一 線性回歸
監督學習 給定資料集 部分資料集已有標籤，對其進行學習，再分類 分類問題 無監督學習 給定一系列數，讓機器自己發現規律。聚類問題 回歸問題 是指要 乙個連續值的輸出，比如房價 線性回歸是很常見的一種回歸，用來 或者分類，主要解決線性問題 m 訓練集樣本數 x 輸入變數 y 輸出變數 h 假設函式，給...