最小二乘法
擬合優度檢驗
顯著性檢驗
回歸**
殘差分析
多元線性回歸
參考總結
相關關係是值變數的數值之間存在這依存關係，即乙個變數的數值會隨著另乙個變數或幾個變數的數值變化而呈現出一定的變化規律。
例如：人的身高和體重的關係，居民收入增長率與物價指數的關係等等
相關關係的分類
也可根據相關關係的變數個數分類：分為單相關關係、復相關關係和偏相關關係。
單相關關係是指兩個變數之間的關係，分為自變數和因變數，也稱為二元變數相關分析；最小二乘法（又稱最小平方法）是一種數學優化技術。它通過最小化誤差的平方和尋找資料的最佳函式匹配。復相關關係是指三個或三個以上變數之間的關係，即乙個因變數對兩個或兩個以上自變數的相關關係，也稱多重相關關係；
偏相關關係是指在乙個因變數與多個自變數相關的情況下，只關心因變數與其中乙個自變數的關係，遮蔽其他自變數對因變數的影響。
利用最小二乘法可以簡便地求得未知的資料，並使得這些求得的資料與實際資料之間誤差的平方和為最小。
比如溫度與冰淇淋銷量的關係，參考大神部落格如何理解最小二乘法
把上述的值畫在笛卡爾座標系中，溫度為橫座標，銷量為縱座標，分別記作y
iy_i
yi，此時溫度與銷量的關係看上去像是呈線性關係，如下圖：
可假設這種線性關係為
f (x
)=ax
+bf(x) = ax + b
f(x)=ax+b
最小二乘法思想： 每個點都向y 做垂線，垂線的長度就是$| y-y_i|$，可以理解為測量值和真實值之間的誤差。當誤差值最小時，得到的f(x
)f(x)
f(x)
值便時真值。
誤差最小時，分別對a，b求偏導，
帶入上面溫度與銷量的資料，可解出：
即下面這條直線：
得到線性關係後，我們還可以對其他溫度下冰淇淋的銷量做**。
擬合優度（goodness of fit）是指回歸直線對觀測值的擬合程度，是用來測量模型的回歸程度好壞的。
擬合優度檢驗是假設檢驗的一種，用來檢測觀測數與根據模型計算得到的理論數之間的一種假設檢驗，以便於判斷該假設或模型是否與實際觀測數吻合。
具體步驟可參考：擬合優度檢驗
我們知道，在假設檢驗中有兩類錯誤：
1.原假設實際為真，但根據樣本資料判別為拒絕，此類錯誤被稱為「棄真」錯誤，即將真的當作假的。
2.原假設實際為假，但根據樣本資料判別為接受，此類錯誤被稱為「取偽」錯誤，即將假的當作真的。
通常把第一類錯誤出現的概率記為α，第二類錯誤出現的概率記為β。通常只限定犯第一類錯誤的最大概率α， 不考慮犯第二類錯誤的概率β。我們把這樣的假設檢驗稱為顯著性檢驗，並且稱概率α稱為顯著性水平。
回歸分析**法，是在分析市場現象自變數和因變數之間相關關係的基礎上，建立變數之間的回歸方程，並將回歸方程作為**模型，根據自變數在**期的數量變化來**因變數，關係大多表現為相關關係。
回歸**法的步驟：
1．根據**目標，確定自變數和因變數
明確**的具體目標，也就確定了因變數。如**具體目標是下一年度的銷售量，那麼銷售量y就是因變數。通過市場調查和查閱資料，尋找與**目標的相關影響因素，即自變數，並從中選出主要的影響因素。
2．建立回歸**模型
依據自變數和因變數的歷史統計資料進行計算，在此基礎上建立回歸分析方程，即回歸分析**模型。
3．進行相關分析
回歸分析是對具有因果關係的影響因素（自變數）和**物件（因變數）所進行的數理統計分析處理。只有當變數與因變數確實存在某種關係時，建立的回歸方程才有意義。因此，作為自變數的因素與作為因變數的**物件是否有關，相關程度如何，以及判斷這種相關程度的把握性多大，就成為進行回歸分析必須要解決的問題。進行相關分析，一般要求出相關關係，以相關係數的大小來判斷自變數和因變數的相關的程度。
4．檢驗回歸**模型，計算**誤差
回歸**模型是否可用於實際**，取決於對回歸**模型的檢驗和對**誤差的計算。回歸方程只有通過各種檢驗，且**誤差較小，才能將回歸方程作為**模型進行**。
5．計算並確定**值
利用回歸**模型計算**值，並對**值進行綜合分析，確定最後的**值。
殘差是指觀測值與**值（擬合值）之間的差，即是實際觀察值與回歸估計值的差。
在回歸分析中，測定值與按回歸方程**的值之差，並且殘差服從正態分佈，通常可以根據分析殘差的分布情況來校驗模型的合理性。參考殘差分析
解決方法可參考多重共線性問題的幾種解決方法
在建立回歸模型時，首要問題是如何確定回歸自變數，若遺漏了重要的變數，回歸方程的效果肯定不會太好，但是當變數過多時，某些變數可能會重疊，某些程度上會增大計算量，回歸方程穩定性也差，直接影響到回歸方程的使用。
逐步回歸是變數選擇裡面的一種方法，基本步驟如圖：
關於顯著性檢驗，你想要的都在這兒了！！（基礎篇）
如何理解最小二乘法？
回歸分析**法
為啥一定要用殘差圖檢查你的回歸分析？
自變數選擇與逐步回歸
這一章的理論性比較強，後面需要參考例題進行應用。
統計學第九周學習
這週的學習內容是引數估計實踐，主要是使用python對我們上週學習的理論知識進行實踐。正態分佈下的置信區間 def norm conf data,confidence 0.95 sample mean np.mean data sample std np.std data,ddof 1 sample...
統計學習第十二周 回歸分析
學習內容 一元線性回歸 相關關係 最小二乘法 擬合優度檢測 顯著性檢驗 回歸 殘差分析 多元線性回歸 多重共線性 變數選擇與逐步回歸 一 一元線性回歸 1.相關關係 相關關係是值變數的數值之間存在這依存關係，即乙個變數的數值會隨著另乙個變數或幾個變數的數值變化而呈現出一定的變化規律。例如 人的身高和...
統計學第九周 引數估計python實現
統計學第九周 引數估計複習 引數估計，根據從總體中隨機取樣獲得樣本，根據取樣樣本來估計總體分布中引數的過程。方法 估計形式上分 點估計與區間估計 估計的方法有矩法估計，最小二乘法估計，似然估計，貝葉斯估計等等 問題一般有 未知引數的估計量 在一定置信度下求解估計量的精度 實戰2.1 coding u...