缺點
tanh 缺點
relu 缺點
leakly relu 缺點
- 優點
- 相對於leaky relu來說，啟用值更平滑
- 缺點
- 其他的leaky relu的缺點一併繼承下來了。
如何初始化cnn？（理論）
如何初始化cnn？（實踐）
如何分析初始化引數結果好壞？
比較好的初始化結果
什麼叫梯度消失，梯度**
bn是什麼，為什麼能提高收斂速度
為什麼能提高收斂速度?
tips
bn（實踐）
各個優化器的優缺點 缺點
momentum動量缺點
自適應學習率的優化演算法
缺點rmsprop缺點
adam（結合了動量和rmsprop，通用方案）
手畫一下lstm
梯度裁剪
介紹一下殘差網路
□ 解決梯度瀰漫問題
□ 解決模型退化問題
q:既然說中間層是不必要的，那麼為什麼不直接把這些層去掉呢？可事實上，resnet的結果比淺層網路的結果好的多，這應該怎麼解釋呢？
風格轉換的原理
內容特徵
## 怎麼解決過擬合
->低方差->清晰的正交化方案
資料預處理一般步驟有哪些？
如何用指標和方案去評判乙個優秀的模型?
cnn模型加速與壓縮彙總
1. 合理設計模型2. 權值剪枝（程式設計稀疏矩陣）
3. 權值量化（聚類）
4. 二值化（bwn，xnornet）
5. 霍夫曼編碼
6. 奇異值分解（projection層）
7. 1x1卷積的恰當使用減少通道量
8. 卷積分解為deepwise conv和pointwise
conv可大幅度減小計算量和參數量1/（dk^2）
9. group conv（可節省1/g計算量）
10. channel shuffle
11. 蒸餾法
12. 低秩分解
13. 模型裁剪
神經網路中的超引數主要包括1. 學習率 η，
2. 正則化引數 λ，
3. 神經網路的層數 l
4. 每乙個隱層中神經元的個數 j
學習的回合數epoch
6. 小批量資料 minibatch 的大小
由神經網路的機理進行選擇
7. 輸出神經元的編碼方式
8. 代價函式的選擇
9. 權重初始化的方法
10. 神經元啟用函式的種類
11 . 寬泛策略的核心在於簡化和監控
12. 參加訓練模型資料的規模
機器學習常見問題整理？
答 理解實際問題，抽象成數學模型 分類 回歸 聚類 獲取資料 特徵預處理與特徵選擇 訓練模型與調優 模型診斷 過擬合 欠擬合等 模型融合 上線執行。答 監督學習 非監督學習 半監督學習 強化學習。答 兩者達到的效果是一樣的，都是試圖去減少特徵資料集中的屬性 特徵 的數目 但是兩者所採用的方式方法卻不...
面試常見問題
面試時，有幾個問題是公司面試人員常常會提出的，針對這些問題好好準備，在面試時也就不會啞口無言，無言以對了，下面就面試十大必考題做出分析,也許對hr經理也是乙個 1 為什麼想進本公司？這通常是面試官最先問到的問題。此時面試官就開始評斷錄用與否了，建議大家先判斷自己去應徵的工作性質，是專業能力導向呢，或...
面試常見問題
1.如果我們不能提供你所要求的薪水，你還願意來我們公司嗎？你的期望薪水是多少？你想得到的薪水是多 少？如果達不到你的要求，怎麼辦？答 我認為工作最重要的是合作開心，薪酬是其次的，不過我原來的月薪是 元，如果跳槽的話就希望 自己能有點進步，如果不是讓您太為難的話，您看這個工資是不是可以有一點提高?2....