lstm
attention
tranformer
機器學習演算法
正則化nlp
機器學習和深度學習對比
sql卷積
解釋卷積層的最佳方法是想象有一束手電筒光正從影象的左上角照過。假設手電筒光可以覆蓋 5 x 5 的區域，想象一下手電筒光照過輸入影象的所有區域。在機器學習術語中，這束手電筒被叫做過濾器（filter，有時候也被稱為神經元（neuron）或核（kernel）），被照過的區域被稱為感受野（receptive field）。過濾器同樣也是乙個陣列（其中的數字被稱作權重或引數），當過濾器在影象上滑動（卷積運算）時，過濾器中的值會與影象中的原始畫素值相乘（又稱為計算點積），這些乘積被加在一起計算出乙個結果。
參數量：（卷積核高 * 卷積核寬 + 1）* 卷積核數目（同時也是輸出的feature_map的channel） #考慮了bias
運算量：卷積核高 * 卷積核寬 * 卷積核的通道數 * 待運算的feature_map的height * 待運算的feature_map的width * 待運算的feature_map的channel
池化同時也被叫做下取樣（downsampling）層，這一層大幅減小了輸入卷的空間維度（長度和寬度改變了，但深度沒變）。這到達了兩個主要目的，第乙個是減少權重引數的數目，因此降低了計算成本；第二是它可以控制過擬合（overfitting）。
全連線層
在全連線中計算量和引數比始終為1，就是源於全連線的特性。
參數量 = 計算量：輸出的feature_map的height * 輸出的feature_map的width * 輸出的feature_map的channel * 全連線層輸出的元素個數
反向傳播
梯度下降法：
lr回歸有易於實現、解釋性好以及容易擴充套件等優點，是乙個分類演算法。
線性回歸完成的是回歸擬合任務，而對於分類任務，我們同樣需要一條線，但不是去擬合每個資料點，而是把不同類別的樣本區分開來。
梯度下降法
批量梯度下降（batch gradient descent），也就是梯度下降法最原始的形式，對全部的訓練資料求得梯度後再對θ進行更新，優點是每步都趨向全域性最優解；缺點是對於大量資料，由於每步要計算整體資料的梯度，訓練過程慢；
隨機梯度下降（stochastic gradient descent），每一步隨機選擇乙個樣本的梯度對θ進行更新，優點是訓練速度快；缺點是每次的前進方向不好確定，容易陷入區域性最優；
微型批量梯度下降（mini-batch gradient descent），每步選擇mini-batch個資料進行批量梯度下降更新θ，屬於批量梯度下降和隨機梯度下降的一種折中，非常適合並行處理。
欠擬合（unerfitting），高偏差（bias），沒有很好地擬合訓練資料，存在較大偏差；
過擬合（overfitting），高方差（variance），對訓練資料擬合過於好，泛化效能差，上下波動厲害。
我們用機器演算法解析資料，學習資料，並從中做出理智的判定；而深度學習用於建立可自我學習和可理智判定的人工「神經網路」，我們可以說深度學習是機器學習的子領域。
深度學習對資料的依賴程度很高，當資料量小時，深度學習演算法表現不佳。深度學習依賴於高階裝置，而傳統學習依賴於低端裝置。
ucloud演算法崗面試
1面 30min 0.自我介紹 1.手撕 二叉樹的層次遍歷 2.問了一下我的地平線專案 3.svm的原理過程 4.無人機專案詳細介紹 5.手寫resnet50的 用gluon框架 這個intel問到過，還好複習了 6.問了一下雲計算公司的ai團隊是做什麼的 2面 hr 15min 0.有什麼offe...
2017暑期實習面試總結 機器學習演算法崗
雖然心裡念叨該早點準備3月開始的這波面試，但由於生病等種種原因，又或者可以說我是乙個輕微拖延症患者吧，直到3月初被內推了阿里才真正開始準備。截止目前，還算幸運，拿到了幾個offer。就先行做乙個總結吧，算是對這乙個半月的小記了。阿里 螞蟻金服風控部門，機器學習演算法崗。3.2 一面，杭州螞蟻金服，1...
面試貼之演算法崗 深度學習
做個總結記錄吧，有些問題還是不錯的。1 平時用什麼損失函式比較多點？怎麼理解熵的概念？2 談談極大似然估計？3 標準差，方差，期望？4 maxpooling求導？5 常用的框架？6 模型評價指標？7 未來幾年的技術發展？8 有沒有考慮過影象處理技術除了現階段的應用還有哪些應用領域？9 說一下你最熟悉...