回歸分析
1.回歸分析基本原理
所謂回歸分析法，就是在掌握大量觀察資料基礎上，利用數理統計方法建立因變數與自變數之間的回歸關係函式表示式（簡稱為回歸方程序）。回歸分析是一種**性的建模技術，它研究的是因變數（目標）和自變數（**器）之間的關係，這種因變數與自變數的不確定性的關係（相關性關係）。這種技術通常用於**分析，時間序列模型以及發現變數之間的因果關係。
2.為什麼使用回歸分析？
如上所述，回歸分析估計了兩個或多個變數之間的關係。回歸分析的好處良多。具體如下：
1.它表明自變數和因變數之間的顯著關係；
2.它表明多個自變數對乙個因變數的影響強度。
回歸分析也允許我們去比較那些衡量不同尺度的變數之間的相互影響，如**變動與**活動數量之間聯絡。
3.有多少種回歸技術？
有各種各樣的回歸技術用於**。這些技術主要有三個度量（自變數的個數，因變數的型別以及回歸線的形狀）。總共有7種：線性回歸，邏輯回歸，多項式回歸，stepwise regression逐步回歸，ridge regression嶺回歸，lasso regression套索回歸，elasticnet回歸
4. linear regression線性回歸
它是最為人熟知的建模技術之一。線性回歸通常是人們在學習**模型時首選的技術之一。在這種技術中，因變數是連續的，自變數可以是連續的也可以是離散的，回歸線的性質是線性的。
線性回歸使用最佳的擬合直線（也就是回歸線）在因變數（y）和乙個或多個自變數（x）之間建立一種關係。用乙個方程式來表示它，即y=a+b*x + e，其中a表示截距，b表示直線的斜率，e是誤差項。這個方程可以根據給定的**變數來**目標變數的值。
一元線性回歸和多元線性回歸的區別在於，多元線性回歸有（>1）個自變數，而一元線性回歸通常只有1個自變數。現在的問題是「我們如何得到乙個最佳的擬合線呢？」。
1）獲得最佳擬合線（a和b的值）
這個問題可以使用最小二乘法輕鬆地完成。最小二乘法也是用於擬合回歸線最常用的方法。對於觀測資料，它通過最小化每個資料點到線的垂直偏差平方和來計算最佳擬合線。因為在相加時，偏差先平方，所以正值和負值沒有抵消。
2）最小二乘法原理
要點：
自變數與因變數之間必須有線性關係
多元回歸存在多重共線性，自相關性和異方差性。
線性回歸對異常值非常敏感。它會嚴重影響回歸線，最終影響**值。
多重共線性會增加係數估計值的方差，使得在模型輕微變化下，估計非常敏感。結果就是係數估計值不穩定
在多個自變數的情況下，我們可以使用向前選擇法，向後剔除法和逐步篩選法來選擇最重要的自變數
3）線性回歸方程的顯著性檢驗
f檢驗法
在一元線性回歸模型中，若b=0,則x的變化不會引起y的變化，即y與x不具有線性相關關係。因此，線性回歸方程的顯著性檢驗可以通過回歸方程的f檢驗來完成。
步驟1：提出假設：b=0, :b0,
步驟2：在成立時，統計量 f（1，n-2）對於給定的顯著性水平，查f分布表得到檢驗的臨界值。
步驟3：對於一組樣本計算ssr和sse,並由此得到f值。
t檢驗
儘管相關係數r是對變數y與x之間線性關係密切程度的乙個度量，但是相關係數r是根據樣本資料計算得到的，因而具有一定的隨機性，樣本容量越小，其隨機性就越大。因此也需要通過樣本相關係數r對總體的相關係數做出判斷。由於相關係數r的分布密度函式比較複雜，實際應用中需要對r作變換。令
則統計量t服從t(n-2)分布。於是關於總體是否線性相關的問題就變成對總體相關係數=0的假設檢驗，也就是只要對統計量t進行t檢驗就行了。
2.logistic regression邏輯回歸
邏輯回歸是用來計算「事件=success」和「事件=failure」的概率。當因變數的型別屬於二元（1 / 0，真/假，是/否）變數時，我們就應該使用邏輯回歸。
logit函式，通過觀測樣本的極大似然估計值來選擇引數，而不是最小化平方和誤差（如在普通回歸使用的）。
2.1極大似然估計引數求解步驟：
(1) 寫出似然函式：
這裡，n為樣本數量，似然函式表示n個樣本(事件)同時發生的概率。
(2) 對似然函式取對數：
(3) 將對數似然函式對各引數求偏導數並令其為0，得到對數似然方程組。
(4) 從方程組中解出各個引數。
要點：
它廣泛的用於分類問題。
邏輯回歸不要求自變數和因變數是線性關係。它可以處理各種型別的關係，因為它對**的相對風險指數or使用了乙個非線性的log轉換。
為了避免過擬合和欠擬合，我們應該包括所有重要的變數。有乙個很好的方法來確保這種情況，就是使用逐步篩選方法來估計邏輯回歸。
它需要大的樣本量，因為在樣本數量較少的情況下，極大似然估計的效果比普通的最小二乘法差。
自變數不應該相互關聯的，即不具有多重共線性。然而，在分析和建模中，我們可以選擇包含分類變數相互作用的影響。
如果因變數的值是定序變數，則稱它為序邏輯回歸。
如果因變數是多類的話，則稱它為多元邏輯回歸。
2.2 logistic回歸建模步驟
1）根據分析目的設定指標變數（因變數與自變數），然後收集資料
2）y取1的概率是p=p(y=1|x)，取0的概率是1-p，用 和自變數列出線性回歸方程，估計出模型中的回歸係數
4）進行回歸係數的顯著性檢驗：在多元線性回歸中，回歸方程顯著並不意味著每個自變數對y的影響都顯著，為了從回歸方程中剔除那些次要的、可有可無的變數，為了從回歸方程中剔除那些次要的、可有可無的變數，重新建立更為簡單的回歸方程，需要對每個自變數進行顯著性檢驗，檢驗結果由引數估計表得到。採用逐步回歸法，首先剔除掉最不顯著的因變數，重新構造回歸方程，一直到模型和參與的回歸係數都通過檢驗。
5）模型應用：輸入自變數的取值，就可以得到**的變數的值，或者根據**變數的值去控制自變數的取值。
logistic回歸模型的建模步驟如下圖所示：
3. polynomial regression多項式回歸
對於乙個回歸方程，如果自變數的指數大於1，那麼它就是多項式回歸方程。
在這種回歸技術中，最佳擬合線不是直線。而是乙個用於擬合資料點的曲線。
4. stepwise regression逐步回歸
在處理多個自變數時，我們可以使用這種形式的回歸。在這種技術中，自變數的選擇是在乙個自動的過程中完成的，其中包括非人為操作。這一壯舉是通過觀察統計的值，如r-square，t-stats和aic指標，來識別重要的變數。逐步回歸通過同時新增/刪除基於指定標準的協變數來擬合模型。下面列出了一些最常用的逐步回歸方法：
標準逐步回歸法做兩件事情。即增加和刪除每個步驟所需的**。
向前選擇法從模型中最顯著的**開始，然後為每一步新增變數。
向後剔除法與模型的所有**同時開始，然後在每一步消除最小顯著性的變數。
這種建模技術的目的是使用最少的**變數數來最大化**能力。這也是處理高維資料集的方法之一。
5. ridge regression嶺回歸
嶺回歸分析是一種用於存在多重共線性（自變數高度相關）資料的技術。在多重共線性情況下，儘管最小二乘法（ols）對每個變數很公平，但它們的差異很大，使得觀測值偏移並遠離真實值。嶺回歸通過給回歸估計上增加乙個偏差度，來降低標準誤差。
6. lasso regression套索回歸
它類似於嶺回歸，lasso （leastabsolute shrinkage and selection operator）也會懲罰回歸係數的絕對值大小。此外，它能夠減少變化程度並提高線性回歸模型的精度。
7.elasticnet回歸
elasticnet是lasso和ridge回歸技術的混合體。它使用l1來訓練並且l2優先作為正則化矩陣。當有多個相關的特徵時，elasticnet是很有用的。lasso 會隨機挑選他們其中的乙個，而elasticnet則會選擇兩個。
如何正確選擇回歸模型？
在多類回歸模型中，基於自變數和因變數的型別，資料的維數以及資料的其它基本特徵的情況下，選擇最合適的技術非常重要。以下是你要選擇正確的回歸模型的關鍵因素：
1）資料探索是構建**模型的必然組成部分。在選擇合適的模型時，比如識別變數的關係和影響時，它應該首選的一步。比較適合於不同模型的優點，我們可以分析不同的指標引數，如統計意義的引數，r-square，adjusted r-square，aic，bic以及誤差項，另乙個是mallows』 cp準則。這個主要是通過將模型與所有可能的子模型進行對比（或謹慎選擇他們），檢查在你的模型中可能出現的偏差。
2）交叉驗證是評估**模型最好額方法。在這裡，將你的資料集分成兩份（乙份做訓練和乙份做驗證）。使用觀測值和**值之間的乙個簡單均方差來衡量你的**精度。如果你的資料集是多個混合變數，那麼你就不應該選擇自動模型選擇方法，因為你應該不想在同一時間把所有變數放在同乙個模型中。
3）它也將取決於你的目的。可能會出現這樣的情況，乙個不太強大的模型與具有高度統計學意義的模型相比，更易於實現。
4）回歸正則化方法（lasso，ridge和elasticnet）在高維和資料集變數之間多重共線性情況下執行良好。
回歸分析演算法
1889年，英國著名統計學家francils galton在研究父代與子代身高之間的關係時發現 身材較高的父母，他們的孩子也較高，但這些孩子的平均身高並沒有他們的父母的平均身高高 身材較矮的父母，他們的孩子也較矮，但這些孩子的平均身高卻比他們父母的平均身高高。galton把這種後代的身高向中間值靠近...
機器學習（2） 回歸演算法 回歸分析
在統計學中，回歸分析 regression analysis 指的是確定兩種或兩種以上變數間相互依賴的定量關係的一種統計分析方法。回歸分析按照涉及的變數的多少，分為一元回歸和多元回歸分析 按照因變數的多少，可分為 簡單回歸 分析和多重回歸分析 按照 自變數和 因變數之間的關係型別，可分為 線性回歸 ...
python資料分析回歸演算法
1，線性回歸，多元回歸，邏輯回歸 回歸即用乙個函式 資料之間的關係。線性回歸指用線性函式的方式來研究變數之間關係。多元回歸是指線性函式中變數有多個。邏輯回歸是線性回歸的拓展，資料分析中有兩類問題 回歸和分類。回歸的問題採用回歸的方法，分類的問題採用分類的方法。邏輯回歸是用線性回歸的方法來 分類問題。...