2018 8 4 YY電話面經

2021-08-22 05:55:14 字數 2497 閱讀 8170

1 問 了專案中人臉識別專案具體流程:

回答了比較傳統的方式:人臉識別包括了人臉檢測,人臉識別兩部分。

2 家具分類中存在很相似的,如何去通過模型演算法或者訓練過程中如何去解決這個問題?

3 回答隨機梯度下降的概念,(stochastic gradient descent, sgd),其中動量項、學習率,權值衰減三個項的概念。

推薦乙個部落格  

在使用隨機梯度下降(sgd)的學習方法時,一般來說有以下幾個可供調節的引數:

學習率決定了權值更新的速度,設定得太大會使結果越過最優值,太小會使下降速度過慢。僅靠人為干預調整引數需要不斷修改學習率

在實際運用中,為了避免模型的over-fitting,需要對cost function加入規範項,在sgd中我們加入$−ηλw_i$這一項來對cost function進行規範化。

這個公式的基本思路是減小不重要的引數對結果的影響,而有用的權重則不會受到weight decay的影響,這種思路與dropout的思路原理上十分相似。

link 1

link 2

一種提高sgd尋優能力的方法,具體做法是每次迭代減小學習率的大小。

在許多**中,另一種比較常見的方法是迭代30-50次左右直接對學習率進行操作

靈感來自於牛頓第一定律,基本思路是為尋優加入了「慣性」的影響,這樣一來,當誤差曲面中存在平坦區sgd可以一更快的速度學習。

注意:這裡的表示方法並沒有統一的規定,這裡只是其中一種

link 1

link 2

link 3

link 4

訓練網路時,通常先對網路的初始權值按照某種分布進行初始化,如:高斯分布。初始化權值操作對最終網路的效能影響比較

大,合適的網路初始權值能夠使得損失函式在訓練過程中的收斂速度更快,從而獲得更好的優化結果。但是按照某類分布隨機初始化網路權值時,存在一些不確定因素,並不能保證每一次初始化操作都能使得網路的初始權值處在乙個合適的狀態。不恰當的初始權值可能使得網路的損失函式在訓練過程中陷入區域性最小值,達不到全域性最優的狀態。因此,如何消除這種不確定性,是訓練深度網路是必須解決的乙個問題。 

momentum 動量能夠在一定程度上解決這個問題。momentum 動量是依據物理學的勢能與動能之間能量轉換原理提出來的。

當 momentum 動量越大時,其轉換為勢能的能量也就越大,就越有可能擺脫區域性凹域的束縛,進入全域性凹域。momentum 動量主

要用在權重更新的時候。

一般,神經網路在更新權值時,採用如下公式 w = w - learning_rate * dw

引入momentum後,採用如下公式:v = mu * v - learning_rate * dw

w = w + v

其中,v初始化為0,mu是設定的乙個超變數,最常見的設定值是0.9。可以這樣理解上式:如果上次的momentum(

在梯度下降法的求解過程中,只需求解損失函式的一階導數,計算的代價比較小,這使得梯度下降法能在很多大規模資料集上得到應用。梯度下降法的含義是通過當前點的梯度方向尋找到新的迭代點。

隨機梯度下降的想法很簡單,就是不直接計算梯度的精確值,而是用梯度的無偏估計代替之作為下降方向

基本思想可以這樣理解:我們從山上的某一點出發,找乙個最陡的坡走一步(也就是找梯度方向),到達乙個點之後,再找最陡的坡,再走一步,直到我們不斷的這麼走,走到最「低」點(最小花費函式收斂點)。

如上圖所示,得到了區域性最優解。x,y表示的是theta0和theta1,z方向表示的是花費函式,很明顯出發點不同,最後到達的收斂點可能不一樣。當然如果是碗狀的,那麼收斂點就應該是一樣的。

隨機梯度下降的代價函式如下: 

隨機梯度下降演算法中,我們的步驟如下:

將所有資料打亂。

重複執行梯度下降計算,注意,這裡每一次計算θjθj不是遍歷全部的訓練集m,而是從m個訓練集裡取出1個樣本來計算。所以每次梯度下降的計算只需要乙個樣本代入計算。這一點是和批量梯度下降最大的不同。

隨機梯度下降過程中,相比於批量梯度下降,會更曲折一些,但每一次的迭代都會更快,因為我們不需要對所有樣本求和,每一次只需要保證擬合乙個樣本即可。

實際上,執行隨機梯度下降和批量梯度下降這兩種演算法的收斂形式是不同的,你會發現隨機梯度下降最終會在靠近全域性最小值的區域內徘徊,而不是直接逼近全域性最小值並停留在那裡。但實際上這並沒有太大問題,只要引數最終移動到某個非常靠近全域性最小值的區域內,這也會得到乙個較為不錯的假設。

由於隨機梯度下降每一次的梯度下降計算只需要計算單個樣本,而不是像批量梯度下降那樣每次計算全部樣本,所以隨機梯度下降的下降過程會很快。

4 介紹一下深度殘差網路的模型結構,特點,乙個基本的殘差模組中間的啟用函式一般放在什麼位置,取什麼啟用函式。

海康電話面經

流程 技術問題 不像阿里,網易這些網際網路大廠,海康主要是以做安防產品,所以基本上對什麼分布式,大資料,微服務這些聽起來高大上的基本不太問,下面是幾個還記得住的技術訪問的問題。技術環節答的稀爛,本身是沒打算換工作的,週末培訓的時候無聊看boss直聘順手點了下 所以也沒準備面試題什麼的。class s...

有讚電話面經

部分內容為網上搜尋總結,並非自己的,感謝各位 水平垂直居中的方法 我只回答出了盒子模型的三種情況,當時腦子空白沒想到要分型別走,所以建議思路要清晰,先大體分類,然後每個類別幾種方法 1 對於單行文字 text align line height text align center line heig...

面經筆記 深信服電話面試

接到 我是懵逼的,因為早上睡了懶覺,剛到實驗室就來個 首先問是否方便,然後說你簡歷寫了cuda程式設計,其主要應用在了 工程中的cuda是不是你寫的?我說應用在三維影象處理,cuda是我引入工程並實現的。我發現每個公司都對cuda很感興趣,會cuda的一定要提前準備好常見的面試問題。他說除了cuda...