回歸原理第二天

2021-09-11 19:29:28 字數 2000 閱讀 1828

邏輯回歸與線性回歸的聯絡與區別

邏輯回歸和線性回歸都是屬於廣義上的回歸模型,線性回歸是屬於監督學習的其中一種方法,就是**具有一串具有連續變數的資料。而邏輯回歸呢,就是比較偏向於分類,但它也是屬於回歸,所以本質還是線性回歸,可以對資料**進行概率計算,但最主要還是偏向於分類

邏輯回歸的原理

運用回歸方程來近可能的接近真實值,通過二類線性對資料進行分類,可以直接用在sigmoid函式上的對映。來更容易的看出概率的大小從而做出決策

邏輯回歸損失函式推導和優化

經過假設函式二分類後得到聯合概率統一公式p(y|x,θ)=hθ(x)y⋅(1−hθ(x))1−y,

最大化樣本後的概率公式:

然後通過轉化為最小化,這差集就是損失函式

用來優化的方法可以使用牛頓法,隨機梯度下降等等。

正則化與模型評估指標

正則化可以防止過度擬合,

擬合的主要原因:具有過多的特徵項

解決方法:選擇性的減少特徵數量模型選擇演算法

正則化十結構化風險最小策略的實現,是在經驗風險上加乙個正則化或懲罰項,模型越複雜,正則化項就越大。

邏輯回歸的優缺點

優點:速度快,適合二分類問題

簡單,容易分辨區分

能很容易的嵌入新模型

缺點:在資料和場景應用過程中具有侷限性

樣本不均衡問題解決辦法:

1.可以擴大資料的採集項

2.嘗試一些其他指標

3.對資料進行重採集,重新訓練

4.加入人工資料

5.嘗試不同的模型方法

6.增加模型的懲罰項

sklearn引數

class sklearn.linear_model.logisticregression(

penalty=』l2』, 引數型別:str,可選:『l1』 or 『l2』, 預設: 『l2』。該引數用於確定懲罰項的範數

dual=false, 引數型別:bool,預設:false。雙重或原始公式。使用liblinear優化器,雙重公式僅實現l2懲罰。

tol=0.0001, 引數型別:float,預設:e-4。停止優化的錯誤率

c=1.0, 引數型別:float,預設;1。正則化強度的導數,值越小強度越大。

fit_intercept=true, 引數型別:bool,預設:true。確定是否在目標函式中加入偏置。

intercept_scaling=1, 引數型別:float,預設:1。僅在使用「liblinear」且self.fit_intercept設定為true時有用。

class_weight=none, 引數型別:dict,預設:none。根據字典為每一類給予權重,預設都是1.

random_state=none, 引數型別:int,預設:none。在打亂資料時,選用的隨機種子。

solver=』warn』, 引數型別:str,可選:, 預設:liblinear。選用的優化器。

max_iter=100, 引數型別:int,預設:100。迭代次數。multi_class=』warn』, 引數型別:str,可選:,預設:ovr。如果選擇的選項是』ovr』,

那麼二進位制問題適合每個標籤。對於「多項式」,最小化的損失是整個概率分布中的多項式損失擬合,即使資料是二進位制的。當solver  ='liblinear』時,'multinomial』不

可用。如果資料是二進位制的,或者如果solver =『liblinear』,『auto』選擇』ovr』,否則選擇』multinomial』。

verbose=0, 引數型別:int,預設:0。對於liblinear和lbfgs求解器,將詳細設定為任何正數以表示詳細程度。

warm_start=false, 引數型別:bool,預設:false。是否使用之前的優化器繼續優化。

n_jobs=none,引數型別:bool,預設:none。是否多執行緒

編譯原理第二天

優化 任務 對前階段產生的中間 進行加工變換,以期在最後階段產生更高效的目標 原則 程式的等價變換原則 編譯過程 任務 把中間 變換成特定機器上的目標 依賴於硬體系統結構和機器指令的含義 目標 三種形式 彙編指令 需要進行彙編 絕對指令 可直接執行 編譯結構 詞法分析器 單詞符號 語法分析器 語法單...

上班第二天

本想坐晚一班車的,誰知道這晚一班的也只是晚了 五 六分鐘,不高興再在站台上等,也只好小跑到車門上去了,果然,八點十分就到了。白天那個困啊 今天的工作內容和昨天一樣,做到後來我實在覺得測的差不多了,想幹些其他的,但這初來乍到的,也不好幹其他的呀,況且領導辦公室就在我旁邊。今天的工作總結有兩點 1 別把...

第二天實習

今天我早早到了銀行,開始給大家抹桌子,算是向愛妃學習吧。之後向wqy學習做表的方法,他很耐心。今天一天也就是做了這麼乙個表,但是還向dh學習了另外一些業務的處理,收穫不小。中午吃了雞腿 肉串和芸豆,好開心啊。我越來越喜歡自己的實習了。今天好多自己班上的同學來面試實習生,希望她們都能上!今天我沒有去同...