1.邏輯回歸是怎麼防止過擬合的?為什麼正則化可以防止過擬合?(大家用自己的話介紹下)
防止過擬合方法:
演算法層面-正則化:
l1正則,通過增大正則項導致更多引數為0,引數係數化降低模型複雜度,從而抵抗過擬合。
l2正則,通過使得引數都趨於0,變得很小,降低模型的抖動,從而抵抗過擬合。
資料層面:
加大樣本量。
通過特徵選擇減少特徵量。
過擬合的時候,擬合函式的係數往往非常大,而正則化是通過約束引數的範數使其不要太大,所以可以在一定程度上減少過擬合情況。
2.用logiftic回歸來進行實踐操作,資料不限
來**客戶是否訂購定期存款與年齡、婚否、教育水平等因素的關係
from sklearn.linear_model import logisticregression執行結果:from sklearn.model_selection import train_test_split
from sklearn.preprocessing import standardscaler
from sklearn.metrics import classification_report
import pandas as pd
# 讀取資料
data = pd.read_csv('./bank.csv')
# 資料預處理
data=data.dropna()
# data['education'].unique()
# data.loc[data['education']=='primary','education']=0
# data.loc[data['education']=='secondary','education']=1
# data.loc[data['education']=='tertiary','education']=2
# data.loc[data['education']=='unknown','education']=3
# data['marital'].unique()
# data.loc[data['marital']=='married','marital']=0
# data.loc[data['marital']=='single','marital']=1
# data.loc[data['marital']=='divorced','marital']=2
# data['housing'].unique()
# data.loc[data['housing']=='yes','housing']=1
# data.loc[data['housing']=='no','housing']=0
# # data.info()
# 歸類(y - 客戶是否訂購了定期存款?)
data.loc[data['y']=='yes','y']=1
data.loc[data['y']=='no','y']=0
data['y'].value_counts()
# 資料分割
x_data = data.drop(["y"], axis=1)
y_data = data["y"]
x_train, x_test, y_train, y_test = train_test_split(x_data, y_data, test_size=0.3)
# 標準化處理
std = standardscaler()
x_train = std.fit_transform(x_train)
x_test = std.transform(x_test)
# 構建和訓練模型
lg = logisticregression()
lg.fit(x_train, y_train)
print('lg.coef_:\n', lg.coef_)
lg_predict = lg.predict(x_test)
print('準確率:\n', lg.score(x_test, y_test))
print('召回率:\n', classification_report(y_test, lg_predict, labels=[0, 1], target_names=['未訂購', '訂購 ']))
7 邏輯回歸實踐
1.邏輯回歸是怎麼防止過擬合的?為什麼正則化可以防止過擬合?1 首先什麼是過擬合?過擬合是指訓練模型時過於嚴格,學習能力太強,導致訓練出的模型過於複雜,學習到了很多無關緊要的特徵,過度擬合的問題通常發生在變數 特徵 過多的時候。這種情況下訓練出的方程總是能很好的擬合訓練資料,此時的代價函式可能非常接...
7 邏輯回歸實踐
1.邏輯回歸是怎麼防止過擬合的?為什麼正則化可以防止過擬合?大家用自己的話介紹下 是通過正則化來防止的。過擬合的時候,擬合函式的係數往往非常大,而正則化是通過約束引數的範數使其不要太大,所以可以在一定程度上減少過擬合情況。如下圖所示,過擬合,就是擬合函式需要顧忌每乙個點,最終形成的擬合函式波動很大。...
7 邏輯回歸實踐
1.邏輯回歸是怎麼防止過擬合的?為什麼正則化可以防止過擬合?大家用自己的話介紹下 邏輯回歸通過正則化來防止過擬合 正則化可以防止過擬合是因為過擬合的時候,擬合函式的係數往往非常大,而正則化是 通過約束引數的範數使其不要太大,所以可以在一定程度上減少過擬合情況,以l2正則化為例,正則項會使權重趨於0,...