深度學習分為三部分：定義一系列方程，計算方程的loss，然後選出最好的方程
深度學習神經網路類似於人類的大腦的神經網路，每個方程可以看做乙個神經元，不同神經元連線會產生不同結果，在這裡我們介紹一下fully connect feedforward network
每個神經元都與下一層全部的神經元連線即fully connect，如圖所示
fully connect神經網路結構，由輸入、隱藏層和輸出組成，每個神經元與下一層神經元全連線
一連串的vector乘上matrix
舉例：手寫數字識別
輸入是256維畫素代表的向量，輸出每個數字的概率
計算標記與計算值之間的差距，即loss
減小這個total loss，乙個是找乙個function，乙個是找引數
方法是gradient descent:
學習：
學習日誌 深度學習 李巨集毅 網路壓縮
網路中有很多神經元的輸出總是0,或者有某些權重非常接近0,那麼這些划水的就可以被去掉了.修剪過程 評估 去除 再訓練 為什麼要修剪?而不是直接訓小的網路呢.1.大的網路的區域性最優比較少,容易收斂 2.大樂透假設 大的網路設定了乙個隨機權重 通過訓練和修剪之後,得到了小的網路.如果用乙個和該小網路相...
學習日誌 深度學習 李巨集毅 指標網路
需要解決的都是一些演算法問題,比如 在輸入點中選擇盡可能少的點,使這些點的連線能包住其他所有點 因為輸入和輸出都是序列,符合s2s的情景 但是有乙個問題 s2s在輸出的時候是在乙個範圍內做多道選擇題,也就是必須給出答案的範圍 當輸入的數量發生變化,超出訓練時的最大範圍之後,模型就失效了 拋棄了seq...
李巨集毅機器學習 8 深度學習初試
keras keras是希臘語中牛角的意思 horn 官網 例子 學習和使用更簡單 可以把模型儲存起來方便下次訓練，需要時再載入 mnist 簡單使用 定義乙個模型 model sequential 新增input layer和第一層hidden layer input是28 28的矩陣 第一層hi...