目錄
1：最小二乘法
2：回歸
3：線性回歸
4.邏輯回歸（logistic regression）
這篇部落格很好，通俗易懂。
最小二乘法是用來做函式擬合或者求函式極值的方法
個人理解：就是一種函式擬合的方法，通過求解使目標值和理論值誤差最小的引數，得到擬合函式，而求解的方法就是通過求導數，然後得到方程組，求解方程組之後就可以得到引數。個人不恰當的理解，最小二乘法就是最小誤差法。
這一篇部落格也不錯。
假設線性回歸是個黑盒子，那按照程式設計師的思維來說，這個黑盒子就是個函式，然後呢，我們只要往這個函式傳一些引數作為輸入，就能得到乙個結果作為輸出。那回歸是什麼意思呢？其實說白了，就是這個黑盒子輸出的結果是個連續的值。如果輸出不是個連續值而是個離散值那就叫分類。那什麼叫做連續值呢？非常簡單，舉個栗子：比如我告訴你我這裡有間房子，這間房子有40平，在地鐵口，然後你來猜一猜我的房子總共值多少錢？這就是連續值，因為房子可能值80萬，也可能值80.2萬，也可能值80.111萬。再比如，我告訴你我有間房子，120平，在地鐵口，總共值180萬，然後你來猜猜我這間房子會有幾個臥室？那這就是離散值了。因為臥室的個數只可能是1， 2， 3，4，充其量到5個封頂了，而且臥室個數也不可能是什麼1.1， 2.9個。所以呢，對於ml萌新來說，你只要知道我要完成的任務是**乙個連續值的話，那這個任務就是回歸。是離散值的話就是分類。（ps:目前只討論監督學習）
線性回歸無非就是找乙個線性函式來擬合資料而已，也就是找一根直線，這條直線能夠盡可能的擬合圖中的點，這就是線性回歸。
簡單來說， 邏輯回歸（logistic regression）是一種用於解決二分類（0 or 1）問題的機器學習方法，用於估計某種事物的可能性。
邏輯回歸（logistic regression）與線性回歸（linear regression）都是一種廣義線性模型（generalized linear model）。邏輯回歸假設因變數 y 服從伯努利分布，而線性回歸假設因變數 y 服從高斯分布。 因此與線性回歸有很多相同之處，去除sigmoid對映函式的話，邏輯回歸演算法就是乙個線性回歸。可以說，邏輯回歸是以線性回歸為理論支援的，但是邏輯回歸通過sigmoid函式引入了非線性因素，因此可以輕鬆處理0/1分類問題。
個人理解：那是不是可以不恰當的理解成邏輯回歸就是線性回歸加上了乙個sigmoid函式,引入了非線性因素，把實數對映到0-1之間。
線性回歸，最小二乘法
回歸的定義 對於乙個點集，使用乙個函式去擬合該點集，使點集與擬合函式間的誤差最小，如果這個函式曲線是一條直線，則是線性回歸，如果曲線是二次曲線，則是二次回歸。廣義線性回歸 廣義線性模型是線性模型的擴充套件，其特點是不強行改變資料的自然度量，資料可以具有非線性和非恆定方差結構 59 主要是通過聯結函式...
線性回歸 最小二乘法（二）
上篇文章中介紹了單變數線性回歸，為什麼說時單變數呢，因為它只有單個特徵，其實在很多場景中只有單各特徵時遠遠不夠的，當存在多個特徵時，我們再使用之前的方法來求特徵係數時是非常麻煩的，需要乙個特徵係數乙個偏導式，而卻最要命的時特性的增長時及其迅猛的，幾 十 幾百 幾千 單變數線性回歸 多變數線性回歸 所...
線性回歸之最小二乘法
線性回歸是很常見的一種回歸，線性回歸可以用來 或者分類，主要解決線性問題。線性回歸過程主要解決的就是如何通過樣本來獲取最佳的擬合線。最常用的方法便是最小二乘法，它是一種數學優化技術，它通過最小化誤差的平方和尋找資料的最佳函式匹配。假設擬合直線為y ax b 對任意樣本點 x i,yi 誤差為e yi...