逐步回歸就是從自變數x中挑選出對y有顯著影響的變數，已達到最優
用step()函式
匯入資料集
cement<-data.frame(
x1=c( 7, 1, 11, 11, 7, 11, 3, 1, 2, 21, 1, 11, 10),
x2=c(26, 29, 56, 31, 52, 55, 71, 31, 54, 47, 40, 66, 68),
x3=c( 6, 15, 8, 8, 6, 9, 17, 22, 18, 4, 23, 9, 8),
x4=c(60, 52, 20, 47, 33, 22, 6, 44, 22, 26, 34, 12, 12),
y =c(78.5, 74.3, 104.3, 87.6, 95.9, 109.2, 102.7, 72.5,
93.1,115.9, 83.8, 113.3, 109.4)
)> lm.sol<-lm(y ~ x1+x2+x3+x4, data=cement)
> summary(lm.sol)
call:
lm(formula = y ~ x1 + x2 + x3 + x4, data = cement)
residuals:
min 1q median 3q max
-3.1750 -1.6709 0.2508 1.3783 3.9254
coefficients:
estimate std. error t value pr(>|t|)
(intercept) 62.4054 70.0710 0.891 0.3991
x1 1.5511 0.7448 2.083 0.0708 .
x2 0.5102 0.7238 0.705 0.5009
x3 0.1019 0.7547 0.135 0.8959
x4 -0.1441 0.7091 -0.203 0.8441
---signif. codes: 0 『***』 0.001 『**』 0.01 『*』 0.05 『.』 0.1 『 』 1
residual standard error: 2.446 on 8 degrees of freedom
multiple r-squared: 0.9824,adjusted r-squared: 0.9736
f-statistic: 111.5 on 4 and 8 df, p-value: 4.756e-07
可以看出效果不明顯
所以要進行逐步回歸進行變數的篩選有forward：向前，backward:向後，both：2邊，預設情況both
lm.step<-step(lm.sol)
start: aic=26.94
y ~ x1 + x2 + x3 + x4
df sum of sq rss aic
- x3 1 0.1091 47.973 24.974
- x4 1 0.2470 48.111 25.011
- x2 1 2.9725 50.836 25.728
47.864 26.944
- x1 1 25.9509 73.815 30.576
step: aic=24.97
y ~ x1 + x2 + x4
df sum of sq rss aic
47.97 24.974
- x4 1 9.93 57.90 25.420
- x2 1 26.79 74.76 28.742
- x1 1 820.91 868.88 60.629
> lm.step$anova
step df deviance resid. df resid. dev aic
1 na na 8 47.86364 26.94429
2 - x3 1 0.10909 9 47.97273 24.97388
顯然去掉x3會降低aic
此時step()函式會幫助我們自動去掉x3
summary(lm.step)
call:
lm(formula = y ~ x1 + x2 + x4, data = cement)
residuals:
min 1q median 3q max
-3.0919 -1.8016 0.2562 1.2818 3.8982
coefficients:
estimate std. error t value pr(>|t|)
(intercept) 71.6483 14.1424 5.066 0.000675 ***
x1 1.4519 0.1170 12.410 5.78e-07 ***
x2 0.4161 0.1856 2.242 0.051687 .
x4 -0.2365 0.1733 -1.365 0.205395
---signif. codes: 0 『***』 0.001 『**』 0.01 『*』 0.05 『.』 0.1 『 』 1
residual standard error: 2.309 on 9 degrees of freedom
multiple r-squared: 0.9823,adjusted r-squared: 0.9764
f-statistic: 166.8 on 3 and 9 df, p-value: 3.323e-08
很顯然x2和x4效果不好
可以用add1()和drop1()函式進行增減刪除函式
> drop1(lm.step)
single term deletions
model:
y ~ x1 + x2 + x4
df sum of sq rss aic
47.97 24.974
x1 1 820.91 868.88 60.629
x2 1 26.79 74.76 28.742
x4 1 9.93 57.90 25.420
我們知道除了aic標準外，殘差和也是重要標準，除去x4後殘差和變為9.93
更新式子
> lm.opt<-lm(y ~ x1+x2, data=cement)
> summary(lm.opt)
call:
lm(formula = y ~ x1 + x2, data = cement)
residuals:
min 1q median 3q max
-2.893 -1.574 -1.302 1.363 4.048
coefficients:
estimate std. error t value pr(>|t|)
(intercept) 52.57735 2.28617 23.00 5.46e-10 ***
x1 1.46831 0.12130 12.11 2.69e-07 ***
x2 0.66225 0.04585 14.44 5.03e-08 ***
---signif. codes: 0 『***』 0.001 『**』 0.01 『*』 0.05 『.』 0.1 『 』 1
residual standard error: 2.406 on 10 degrees of freedom
multiple r-squared: 0.9787,adjusted r-squared: 0.9744
f-statistic: 229.5 on 2 and 10 df, p-value: 4.407e-09
顯然效果很好
逐步回歸（R語言）
r軟體提供了非常方便地進行逐步回歸分析的計算函式step 它是以aic資訊統計量為準則，通過選擇最小的aic資訊統計量。來達到提出或新增變數的目的。實現如下 data3.1 lmo3.1 lm3.1.for summary lm3.1.for 輸出結果如下 由上述結果可以看到，前進法一次引入了x5,...
Matlab 逐步回歸
例 hald,1960 hald 資料是關於水泥生產的資料。某種水泥在凝固時放出的熱量 y 單位 卡 克 與水泥中 4 種化學成品所佔的百分比有關 在生產中測得 12 組資料，見表5，試建立 y 關於這些因子的 最優 回歸方程。對於例 4 中的問題，可以使用多元線性回歸 多元多項式回歸，但也可以考慮...
python逐步回歸法 逐步回歸的快速實現
forward selection,which involves starting with no variables in the model,testing the addition of each variable using a chosen model comparison criteri...