建模筆記一些統計引數的解釋

r-squared（值範圍0-1）：描述的輸入變數對輸出變數的解釋程度。在單變數線性回歸中r-squared 越大，說明擬合程度越好。

然而只要增加了更多的變數，無論增加的變數是否和輸出變數存在關係，則r-squared 要麼保持不變，要麼增加。

so, 需要adjusted r-squared ,它會對那些增加的且不會改善模型效果的變數增加乙個懲罰向。

結論：如果單變數線性回歸，則使用 r-squared評估，多變數，則使用adjusted r-squared。

在單變數線性回歸中，r-squared和adjusted r-squared是一致的。

另外，如果增加更多無意義的變數，則r-squared 和adjusted r-squared之間的差距會越來越大，adjusted r-squared會下降。但是如果加入的特徵值是顯著的，則adjusted r-squared也會上公升

回歸係數的標準誤差就是它的標準差，統計量的標準差一般叫做標準誤差，回歸係數的估計其實就是均值估計哦。回歸的標準誤應該是模型中隨機擾動項（誤差項）的標準差的估計值。它的平方實際上就是隨機擾動項（誤差項）的方差的無偏估計量，它實際上又叫做誤差均方，等於殘差的平方和/（樣本容量-待估引數的個數）。

在引數估計中有一類方法叫做「最大似然估計」,因為涉及到的估計函式往往是是指數型族,取對數後不影響它的單調性但會讓計算過程變得簡單,所以就採用了似然函式的對數,稱「對數似然函式」。

根據涉及的模型不同,對數函式會不盡相同,但是原理是一樣的,都是從因變數的密度函式的到來,並涉及到對隨機干擾項分布的假設。

最大似然估計法的基本思想

極大似然原理的直觀想法是：乙個隨機試驗如有若干個可能的結果a，b，c，…。若在一次試驗中，結果a出現，則一般認為試驗條件對a出現有利，也即a出現的概率很大。

最大似然估計法的思想很簡單：在已經得到試驗結果的情況下，我們應該尋找使這個結果出現的可能性最大的那個x作為真x的估計。求x的極大似然估計就歸結為求l(x)的最大值點，而由於對數函式是單調增函式，所以對l(x)取log。

對log（l(x)）關於x求導數，並命其等於零，得到的方程組稱為似然方程組。解方程組log（l(x)），又能驗證它是乙個極大值點，則它必是l(x)的最大值點，即為所求的最大似然估計。

建模筆記 一些統計引數的解釋