為了更好地準確率，模型越來越大
不同硬體消耗的能量不同
* 谷歌的tpu是一種asic，專門用於深度學習
計算機中的數字是離散的，不可能窮盡。
fixed point只有8位，谷歌tpu就是使用了這種小數。節約能源，金錢
神經網路可以在引數減少的情況下，保持準確率（某些引數是冗餘的）
alex net引數從1600萬降到了600萬
通過prune,retrain，可以去掉90%的引數而幾乎不影響正確率
人腦突觸數量也會在成年後進行prune
weight sharing
將權重和梯度聚類處理，引數值變得更加離散化
霍夫曼編碼：
出現次數多的權重用更少的位數表示
換個思路，直接做compact的網路。這樣的網路還可以壓縮，且不降低正確率
低秩矩陣近似
將卷積，全連線拆成多個步驟去做,可以加速
二值化，三值化
三值化的alex net可以和普通alex net有一樣的正確率
wino grad
3*3的卷積可以用如下方式實現，乘法操作次數更少
tpu中含有乙個關鍵的矩陣乘法單元（很高效）
tpu很小，功耗低
roofline理論用來評價模型在計算平台上所能達到的理論效能,可檢視如下鏈結
解決方案：壓縮模型
硬體：eie
parallel處理
資料並行處理
模型並行處理
mixed precision: 乘法用16位數字，加法用32位數字
model distilidatoin 讓幾個高階模型教出乙個學生
使用概率類別作為輸入標籤會有更好的效果
dense sparse dense training
英偉達volta gpu中含有120個tensor core
WP7基礎學習 第十五講
wp7 15 注 本節主講對xna，遊戲開發的簡介，簡單了解一些，不過課程中的audio,input,也可用於其他的應用開發，有對應的命名空間！xna在silverlight中的應用 1.xna基本知識 2.audio sound song 3.microphone 4.input 1.xna基本知...
深度學習（花書）學習筆記 第十五章 表示學習
本章的表示學習主要就是通過無監督訓練學習特徵的意思。這種沒有具體的演算法，就是介紹表示學習的應用和大概的分支，至於如何進行表示學習，沒有詳細介紹。感覺可以直接跳過。貪心演算法在無監督訓練中的應用，每層只關心當前，進行訓練。無監督指低層訓練的網路在訓練高層時不會改變。後面就是通過實驗證明無監督預訓練好...
反余弦函式的導數 第十五講 高階導數
本節內容是高階導數 二階及其以上的導數 為了便於大家理解我引入了 求導運算元 的說法 這純屬個人說法，非官方 另外有錯誤的地方還請指出，我及時糾正。小夥伴們一起學習吧 二階導數定義 如果函式 注 導函式 求導運算元 二階求導運算元 不是平方的意思，該運算元是乙個整體，表示原函式對自變數 然而對 相應...