知識蒸餾被廣泛用於模型壓縮和遷移學習。
開山之作 distilling the knowledge in a neural network 。文章提出一種方法，把多個模型的知識提煉給單個模型。
知識蒸餾，可以將乙個網路的知識轉移到另乙個網路，兩個網路可以是同構或者異構。做法是先訓練乙個teacher網路，然後使用這個teacher網路的輸出和資料的真實標籤去訓練student網路。知識蒸餾，可以用來將網路從大網路轉化成乙個小網路，並保留接近於大網路的效能；也可以將多個網路的學到的知識轉移到乙個網路中，使得單個網路的效能接近emsemble的結果。
知識蒸餾（knowledge distillation）簡述（一）
【經典簡讀】知識蒸餾(knowledge distillation) 經典之作
知識蒸餾 帶你認識深度學習中的知識蒸餾（一）
摘要 知識蒸餾 knowledge distillation 是模型壓縮的一種常用的方法 1.1 概念介紹 知識蒸餾 knowledge distillation 是模型壓縮的一種常用的方法，不同於模型壓縮中的剪枝和量化，知識蒸餾是通過構建乙個輕量化的小模型，利用效能更好的大模型的監督資訊，來訓練這...
深度學習 AI的進化之匙
10月19日，英國 自然 雜誌發表 報道，一款新版的 阿爾法狗 alphago 電腦程式能夠從空白狀態起，在不需要任何人類輸入的條件下，無師自通，自學成才。近日，阿爾法狗的新一代 alphago zero，在沒有任何外在輸入棋譜的情況下 通過三天自習輕鬆擊敗了它的前輩。這則新聞引起了又一輪對人工智慧...
實戰深度學習
回顧上一節的內容，介紹稀疏編碼。p2 稀疏編碼的推理。p3 p6 ista演算法解釋。p7 p9 用於稀疏編碼推理的座標下降 p10 回顧上一節課的內容，主要講解隨機梯度下降法。p2 l2 正則化。p3 l1 正則化。p4 偏差 方差權衡。p5 本課程主要內容包括 kaggle 實戰分析 dogs ...