演算法工程師 面試題與解答

2021-09-25 23:27:45 字數 2047 閱讀 2150

可以用於分類任務,速度快,能容易地更新模型吸收新的資料。

不可以,僅能用於線性問題。只有當目標和特徵是線性關係時,才能用邏輯回歸。在應用邏輯回歸時注意兩點:一是當知道模型是非線性時,不適用邏輯回歸;二是當使用邏輯回歸時,應注意選擇和目標為線性關係的特徵。

深度學習可能存在過擬合問題——高方差,有兩個解決方法,乙個是正則化,另乙個是準備更多的資料,這是非常可靠的方法,但你可能無法時時刻刻準備足夠多的訓練資料或者獲取更多資料的成本很高,但正則化通常有助於避免過擬合或減少你的網路誤差。

2. l1和l2的異同點

相同點:都用於避免過擬合

不同點:l1可以讓一部分特徵的係數縮小到0,從而間接實現特徵選擇。所以l1適用於特徵之間有關聯的情況。

l2讓所有特徵的係數都縮小,但是不會減為0,它會使優化求解穩定快速。所以l2適用於特徵之間沒有關聯的情況

交叉熵:二分類

均值方差:回歸問題

softmax:多分類

sigmoid:二分類

0-1損失函式:二分類

絕對值損失:回歸問題

絕對值損失函式

...... 這部分問得太瑣碎了,我能記起來的問題就這麼多了。我的感覺,這部分問題大多數不是問得很深,所以不至於被問得啞口無言,總有得扯;但是要想給出乙個特別深刻的回答,還是需要對機器學習的基礎演算法了解比較透徹。

(4)深度學習基礎

這部分的準備,我推薦花書(bengio的deep learning)和 @魏秀參 學長的《解析卷積神經網路-深度學習實踐手冊》

下面是我在面試中被問到過的問題:

是由於反向傳播過程中鏈式求導梯度累積導致的,網路層數過多時,當w乘梯度都大於1時產生梯度**,小於1時產生梯度消失;

解決方法:

預訓練加微調

- 梯度剪下、權重正則(針對梯度**)

- 使用不同的啟用函式

- 使用batchnorm

- 使用殘差結構

- 使用lstm網路

使用正則化;加bn層;增加資料量;bagging方法;

sigmoid:可以將特徵對映到0-1之間,可以用於二分類

tanh:將特徵對映到-1到1之間,它是零中心的,不會導致梯度下降時的晃動;可以用於大部分網路之中;

relu:非線性啟用函式,開銷小,可以緩解梯度消失,稀疏特徵,加快收斂速度,可以用於中間卷積網路層後;

使用leaky relu,可以在負半軸也有較小的斜率,這樣求導時也會有一定的梯度。

batch size越大,收斂速度越快,但是需要更多的輪數才能獲得小batch size同等的精度。

相對於正則化,可以減少使用正則化或者不用;

加快收斂速度;

防止過擬合;

減輕梯度消失;

卷積層提取特徵,

池化層下取樣來獲得更大的感受野,

全連線層整合特徵,為後續的分類做基礎。

直觀上理解:不要依賴於任何乙個特徵,因為該單元的輸入可能隨時被清除,因此該單元通過這種方式傳播下去,並為單元的四個輸入增加一點權重,通過傳播所有權重,dropout將產生收縮權重的平方範數的效果,和之前講的l2正則化類似;實施dropout的結果實它會壓縮權重,並完成一些預防過擬合的外層正則化;l2對不同權重的衰減是不同的,它取決於啟用函式倍增的大小。

1、沒有對資料進行歸一化

2、忘記檢查輸入和輸出

3、沒有對資料進行預處理

4、沒有對資料正則化

5、使用過大的樣本

6、使用不正確的學習率

7、在輸出層使用錯誤的啟用函式

8、網路中包含壞梯度

9、初始化權重錯誤

10、過深的網路

11、隱藏單元數量錯誤

12、優化演算法不對,一般用adam居多。

13、資料隨機性太強,同時網路結構太複雜(樣本空間太大,同時樣本數量不夠,網路函式空間也大)

14、學習率過大。網路可能快要收斂了,卻忽然在下乙個epoch走向了錯誤的方向,最終導致不收斂。

減少引數,整合特徵通道,公升維和降維。

新浪php工程師面試題

1 cookie session的聯絡和區別,多台web伺服器如何共享session?2 http協議中的post和get有何區別?3 一段php 寫出輸出結果 這個程式 a 0 b 0 if a 3 0 b 3 0 4 reqiure的include都可包含檔案,二者的區別何在?5 php中web...

大資料工程師面試題

你曾經參與或主導過哪些大資料型別的專案?專案目標是什麼?你具體擔負的哪個角色?使用哪些演算法?使用哪些統計方法?如果解決使用者商品匹配的話,你會採用什麼型別的模型?二部圖模型有什麼缺陷?對應有什麼改進模型?標籤系統有什麼特徵?有什麼問題?使用者行為分析有什麼模型?說說你曾經專案中的模型迭代過程?成功...

測試工程師面試題

下面的題不排序,有筆試題,也有面試題 4 怎麼劃分缺陷的等級?5 怎麼評價軟體工程師?6 軟體工程師的素質是什麼?7 怎麼看待軟體測試?8 軟體測試是乙個什麼樣的行業?9 圖書 圖書號,圖書名,作者編號,出版社,出版日期 作者 作者姓名,作者編號,年齡,性別 用sql語句查詢年齡小於平均年齡的作者姓...